《卷积神经网络与计算机视觉》 —2.2.2尺度不变特征变换

2.2.2尺度不变特征变换

SIFT［Lowe，2004］提供了一组对象的特征，这些特征对于对象缩放和旋转是健壮的。SIFT算法由四个主要步骤组成，将在以下小节中讨论。

1.尺度空间的极值侦测

第一步旨在确定对缩放和方向不变的潜在关键点。 虽然可以使用几种技术来检测尺度空间中的关键点位置，但SIFT使用高斯差分（DoG），高斯差分是将两个不同尺度的图像（其中一个尺度为σ，另一个是其k倍，即k×σ）的高斯模糊进行差分得到的。对于高斯金字塔中的图像的不同分组执行该过程，如图2.4a所示。

然后，在所有尺度和图像位置上搜索DoG图像以寻找局部极值。例如，将图像中的像素与其当前图像中的八个邻居以及上下尺度中的九个邻居进行比较，如图2.4b所示。如果它是所有这些邻居中的最小值或最大值，则它是潜在的关键点。这意味着关键点最好在该尺度表示。

图2.4使用子八度高斯差分(suboctave DoG)金字塔进行尺度空间特征检测。a）将子八度高斯金字塔的相邻级别相减以产生DoG。b）通过将像素与其26个邻居进行比较来检测所得三维体中的极值（图片来自［Lowe，2004］，经许可使用）

2.关键点精确定位

此步骤通过查找具有低对比度或在边缘上局部性较弱的那些点，从潜在关键点列表中移除不稳定点。为了拒绝低对比度关键点，计算尺度空间的泰勒级数展开以获得更准确的极值位置，并且如果每个极值处的强度小于阈值，则拒绝该关键点。

此外，DoG功能沿边缘具有强响应，这导致在边缘上具有大的主曲率，但在DoG函数中的垂直方向上具有小曲率。为了移除位于边缘上的关键点，关键点处的主曲率是由关键点的位置和尺度的2×2 Hessian矩阵计算的。如果第一和第二特征值之间的比率大于阈值，则拒绝关键点。

3.方位定向

为了实现图像旋转的不变性，基于其局部图像属性为每个关键点分配一个不变的方向。 然后可以相对于该方向表示关键点描述符。用于查找方向的算法包括以下步骤：

1）关键点的尺度用于选择具有最接近尺度的高斯模糊图像。

2）在该尺度下为每个图像像素计算梯度大小和方向。

3）如图2.5所示，从关键点周围的局部区域内像素的梯度方向构建方位直方图，覆盖360°方向范围，由36个区间组成。

4）局部方位直方图中的最高峰对应于局部梯度的主导方向。此外，在最高峰的80％范围内的任何其他局部峰也被认为是具有该方向的关键点。

图2.5通过创建由梯度的模加权的所有梯度方向的直方图，然后在该分布中找到显著峰值，计算主导方向的估计

4.关键点描述符

局部梯度的主导方向（直方图中的最高峰）也用于创建关键点描述符。梯度方向相对于关键点的方向旋转，然后由方差为1.5倍关键点尺度的高斯分布加权。然后，将关键点周围的16×16邻域分成16个大小为4×4的子块。对于每个子块，创建8分组的方向直方图。这样形成一个名为SIFT描述符的特征向量，包含128个元素。图2.6说明了从示例图像中提取的关键点的SIFT描述符。

图2.6SIFT检测器和描述符的一个示例：a）输入图像；b）一些检测到的关键点及其对应的比例和方向；c）SIFT描述符——每个关键点周围的16×16邻域被分为16个 4×4大小的子块

5.SIFT描述符的复杂性

总之，SIFT尝试标准化所有图像（如果图像被损坏，SIFT会缩小图像；如果图像被缩小，则SIFT将其放大）。这对应于这样一种想法，即如果可以在尺度为σ时的图像中检测到关键点，那么如果图像被放大，则我们将需要更大的维度kσ来捕获相同的关键点。然而，SIFT和许多其他手工工程特征的数学思想非常复杂，需要多年的研究。例如，Lowe ［2004］花了将近10年的时间来设计和调整SIFT参数。正如将在第4章、第5章和第6章中所示，CNN还通过合并若干卷积层对图像执行一系列变换。然而，与SIFT不同，CNN从图像数据中学习这些变换（例如，缩放、旋转、平移），而不需要复杂的数学思想。