手骨分割工作综述

1. 手骨分割的意义

    在手骨X光图像的骨龄评价方法中，G-P图谱法对照的依据为关键手骨的发育情况。而在TW计分法中的骨成熟度标准包括：①骨化中心的出现；②长骨的骺干融合；③骨化中心相对大小和相对距离；④骨化中心各关节面的出现；⑤骨化中心是否相互接触。关键骨化中心的出现与否以及其尺寸，都是骨龄评价的重要依据。比如，在TW3中，头状骨骨化中心的纵向直径大小是判断其属于等级4或等级5的评价标准，近端指骨骨化中心直径与骨干宽的大小是判断其是否属于等级3的依据等。通过精确的手骨分割，能够帮助自动判断关键骨化中心是否出现，也能为自动测量其尺寸提供基础，从而减轻医生评价骨龄时的工作量。

    在基于传统特征的骨龄自动评估方法中，大部分都包括预处理、关键区域检测、手骨分割、特征提取、测量五个步骤，手骨分割是其中的重要步骤之一，直接决定了后续特征提取的准确性。比如，Mahmoodi等人的工作中，近端指骨骨骺和干骺端骨之间的宽度比例为评估骨龄的重要参数，Aifeng Zhang等人发现腕骨中钩状骨和头状骨的直径、离心率、实心率和三角形变等特征对自动评估骨龄也有重要帮助。因此，精确的手骨分割，能够帮助提高骨龄自动评估方法的准确度。

    另外，近年来迅猛发展的基于深度学习的骨龄自动评估方法，采用端到端的输出方式，步骤简单且精度更高，对复杂图像的鲁棒性也更高。然而，大部分基于深度学习的骨龄评估工作，都采用端到端的网络结构，只能输出骨龄，并不能给医生详细的结果解释和手骨特征描述。无论是从提供信息的全面性上，还是对结果的可解释性上，该类方法仍旧存在不足。事实上，这点问题是现在深度学习在医疗领域应用的普遍问题。经2019年发布的《中国医学影像AI白皮书》统计，有39%的医生认为AI产品的可信度问题影响了AI医疗的发展。如果在骨龄评估的深度学习网络中加入手骨先验信息，能够为解释网络的输出结果提供新的视角。

2. 前人工作

    图像分割任务，可以看作是一个逐像素点的像素分类问题。前人手骨分割方面的工作，除早期的部分研究采用了手动分割方法，其余大致可归纳为基于图像处理的手骨分割和基于深度学习的手骨分割方法。

2.1 基于图像处理的手骨分割方法

    前人基于传统图像处理的手骨分割工作主要采用了以下四种方法：

2.1.1 基于阈值的分割

    基于图像灰度计算一个或多个阈值，并将每个像素点与阈值相比较，是图像分割中应用最广泛的一类方法，其实现难点如何在于寻找合适的灰度阈值，主要可分为全局阈值和自适应阈值两种。全局阈值只有一个固定阈值，如进行图像二值化；而自适应阈值的典型算法如OTSU算法，其核心思想是类间方差最大，能够自适应的寻找阈值。

    为了将手骨与周围的软组织及背景区分开，许多相关研究在前处理阶段都使用了基于阈值的分割方法，包括二值阈值、动态阈值、双阈值等。由于手掌和背景的对比较强，这类方法在提取手掌时效果较好。但因软组织和手骨在X光片中的灰度对比不强，且边缘容易有噪声影响，单独使用阈值分割无法取得理想的分割效果。

2.1.2 基于区域的分割

    主要包括区域生长和分裂合并两大类，这类方法将临近像素间的相似性作为分割的判断依据，分割过程的后续操作依赖于前续结果的判断。典型算法包括种子生长法、分水岭算法等，其核心思想是通过图像梯度大小判断像素点间的变化剧烈程度，从而找到区域轮廓。

    Manos等人在他们的手骨分割研究中采用了区域生长的区域合并的方法，其实验结果标明，区域生长算法高度依赖于前处理的边缘检测的准确度。Han等人采用分水岭算法和梯度向量流方法进行手骨分割的预处理，这两种方法的效果都很依赖待分割物体边缘的梯度大小。另外，图像上手骨内部信号不均匀也会影响该类方法的效果。 

2.1.3 基于边缘检测的分割

    通过检测出具有灰度阶跃的边缘位置，确定图像分割的边界。边缘检测算子一般是原图像的梯度或二阶导数。常用的边缘检测算子包括Sobel算子、Canny算子等。

    Pietka等人使用了Sobel梯度算子进行边缘检测，并根据经验选择合适的阈值，获得指骨及其骨骺的边缘分割图。该方法中，指骨及其骨骺的图像分割仅依靠梯度检测，分割准确度较差。Pal和King将模糊集算法应用于手腕骨X光片的边缘检测中并取得了成功。该算法包括在检测其边缘之前使用对比度增强操作以及模糊属性平面中的平滑来预先增强区域之间的对比度，然后使用模糊分类器从空间域提取属性平面，最终实现边缘检测。Aifeng Zhang等人通过Canny边缘检测器进行边缘检测，找出腕骨ROI区域。然而，手腕部X光图像上的部分手骨和软组织信号存在重叠，导致灰度对比减弱，影响这类方法的稳定性。

2.2.1.4 基于轮廓模型的分割

    这类方法又称为基于能量泛函函数的图像分割，其核心思想是将寻找图像分割轮廓转变为求解能量泛函最小值的问题。函数自变量为一条曲线，使用这条曲线来逼近目标轮廓，求解能量泛函的最小值可通过求解函数对应的欧拉方程实现。典型的算法包括：snake主动轮廓模型、水平集方法、主动形状模型（ASM）、主动外观模型（AAM）等，在手骨分割研究中具有广泛的应用。

    Michael和Nelson[30]在HANDX手骨测量系统中采用了主动轮廓算法进行了手骨分割。但该分割算法对噪声较为敏感，特别是边缘附近的噪声会严重影响手骨的最终分割效果。Mahmoodi等人采用了分水岭算法提取了手部轮廓。在确定轮廓后，再通过骨块形状的先验知识结合主动形状模型完成了指骨分割。Niemeijer、Giordano等人都引入了主动形状模型进行了腕骨的分割。Lindner 等人在snake主动轮廓模型的基础上，提出了基于随机森林和约束局部模型的自动标定方法。其结果表明：在保证形状模型训练样本数量的前提下，该方法具有较好的分割准确度。BoneXpert系统通过主动外观模型算法自动分割出手骨和腕骨部位的15块骨头。该系统能够预测的年龄范围不包含2岁以下的儿童，且无法处理图像质量较差或手骨有形变的X光片。

    2017年，Simu等人对比了不同分割方法在手骨分割任务上的效果。文章指出，手骨分割是骨龄评估的重要步骤，然而，由于手腕部X射线图像上的两组对比都不强，包括手骨和软组织对比及软组织和背景对比，且图像灰度分布不均匀，难以获得精确的手骨分割图像。因此，作者比较了如OTSU自适应阈值方法、基于Tsallis熵的二值方法、K均值聚类方法、粒子群算法和本征能量最小化（Multi-plicative intrinsic component optimization，MICO）等多达11中方法在手骨分割问题的效果。实验结果显示，本征能量最小化方法能够取得最好的分割效果。

3. 前人手骨分割工作的不足

    在手腕部X光图像上进行手骨分割有以下几个难点，这导致了前人基于图像处理方法的手骨分割效果总体不佳：

A）在使用不同的设备和对不同年龄被试进行手部X光扫描时，手部X光片的图像的对比会有偏差。一旦输入的手骨照片不符合分割算法的参数设定，这种偏差就会影响分割效果的一致性和精确性；

B）松质骨，骨骼和软组织区域的成像会有一定的重叠范围，导致骨骼边缘模糊，加大了分割难度；

C）同一块骨头中存在非均匀性，比如松质骨或者皮质骨内部X射线图像强度是非均匀分布的，这导致骨内的灰度变化范围大，需要做滤波等前处理，然而这些操作也会导致骨头边缘的对比下降；

D）手腕部X光图像上不同位置的局部灰度分布也有差异。一方面，手掌的不同位置的软组织厚度、手骨分布情况等因素不同，导致了不同位置的灰度大小存在差异。这意味着很难选择出一组适用于整幅图像的参数。比如远端指骨部分的信号强度普遍偏小，而腕部的信号强度更大。另一方面，致密骨的边缘与软组织区域之间的灰度强度差异和软组织区域与背景之间的灰度强度差异也不同，这些因素使分割问题变得更加复杂；

E）前人的分割方法大多存在各自的局限性，比如只能够适用于部分年龄阶段的图像，或者算法性能依赖于扫描技师的操作。

    更为重要的是，前人手骨分割的工作，只是骨龄评估总框架中的一环，往往没有单独对手骨分割的效果进行评价，只通过最终输出骨龄评估的准确度进行评价。然而，一旦如特征提取等后续处理阶段以失败的手骨分割结果作为输入，那么最终评估的骨龄并不可靠。在为数不多的讨论手骨分割的工作中，对骨骺的检测成功率为86%，而对远端指骨骨骺的检测率只有50%。这意味着手骨分割的稳定性不高，将直接影响后续特征提取和骨龄评估的效果。