基于深度学习的骨龄自动评估方法

随着深度学习技术在语义加工，人脸识别等领域的成功应用，深度学习方法在自动化骨龄评估中也有了一些尝试。深度学习方法与传统模式识别方法相比，其最大的优点在于无需构造手工特征，将特征提取和分类相结合。传统方法中，因依赖于手工调参，特征参数数量有限；而深度学习可以挖掘到的特征数量成千上万。随着深度学习网络层数的提高，网络不仅提取出了浅层特征，也挖掘到了更抽象的深层特征。这些网络自动提取的多层次特征结构，其泛化性通常都会优于手工构造的特征。

2016年，Stern等人采用传统图像分割的方法，将TW法中20个关键手骨ROI区域提取出来。然后将每个ROI区域图像分别输入深度学习卷积神经网络（Convolutional Neural Network, CNN）进行特征提取，最终将各ROI区域所得的特征组合起来，经过全连接层得到最终的骨龄预测值。CNN是一种典型的前馈神经网络，它由卷积神经层、池化层和全连接层等模块构成，对复杂图像的处理表现出了较好的适应性。

同年，Spampinato等人首次采用深度学习方法完成了全自动的骨龄评估。该方法提出了一种基于CNN的BoNet网络，在公共数据集The Digital Hand Atlas Database上测得的平均绝对误差为0.8年。这是当年所有骨龄自动评估系统在同一数据集上取得的最佳表现。BoNet网络包含5个卷积层，在卷积层之后设计了一个形变层，用于处理非刚性物体形变。网络还包含一个全连接层，连接到输出神经元。此外，他们还测试了OverFeat、GoogleNet和OxfordNet等预先训练过的CNN网络，测试结果显示均可取得有效的预测骨龄，表明深度学习方法在该公共数据集上具有较好的鲁棒性。

2017年，麻省总医院的Lee等人在该院的10525张手腕部X光片上采用深度学习方法进行了骨龄评估研究。其初始网络使用了在ImageNet数据库预先训练的权重，再在骨龄X线图像上进行微调。在输入网络前，每张骨龄X线图像都进行了前处理，包括利用CNN分割网络生成手掌二值掩码图像，来去掉图片背景；图像增强，边缘锐化等。该研究仅选取了5-18岁的手腕部X光片。

在Lee的工作之后，Ren等人提出一种引入了包括模糊和精细注意力机制输入的骨龄评估回归网络。其模糊注意力输入为手型识别和对比增强后的骨龄X线图像，

而精细注意力输入为Hessian矩阵的边缘增强图像。实验结果显示，引入注意力机制能够提高骨龄评估的准确性。

2017年北美放射学会上举办骨龄识别挑战赛bone age challenge。该比赛旨在开发一种算法，可以最准确地确定儿科手部X射线图像上的骨龄。该小儿骨龄挑战赛使用从斯坦福儿童医院和科罗拉多儿童医院获得的骨龄X线图像作为数据集，共有14036图像。这些数据开放给所有参赛者，用来训练骨龄自动评估模型。该比赛在全世界范围内提高了骨龄自动评估问题的影响力，不少针对骨龄评估的网络结构被提出：

取得比赛第一名的队伍采用了基于Inception V3的特征提取模块，同时根据骨龄评价标准，将性别信息一同作为回归网络的输入。该网络的输入大小为500×500，且加入了数据扩充步骤。第二名队伍首先对数据进行了对比增强，之后将整幅图像有重叠地切成了49块，全部作为网络的输入。最终，选取单张图像中，每块输入图像预测骨龄的中位数作为最终的骨龄输出。第三名队伍提出了一种全新的网络结构Ice Module，该结构参数量远小于Inception V4，只有其1%的参数量。他们将整张图像切割为五块作为训练数据，在预测时，将不同块预测骨龄的均值作为最终的输出。

综上，前人基于深度学习的骨龄评估方法，其采用端到端的输出方式，步骤简单，精度更高，且对复杂图像的鲁棒性也更高。然而，目前几乎所有深度学习的骨龄评估方法，都直接输出骨龄，并不能给医生详细的结果解释和手骨特征描述。无论是从提供信息的全面性上，还是对结果的可解释性上，该类方法仍旧存在不足，影响了输出结果的可信度。

另外，相关工作大多直接输入骨龄全图，很少采用如手骨信息等先验知识。尽管Ren等人引入了注意力机制，在网络中输入了手骨边缘掩码，但其掩码同时也强调了软组织边缘的信息，仍然存在优化的空间。