1. 特征工程。该阶段主要实现对图像边缘、角点等特征位置的检测；对检测的局部特征生成具有鲁棒性、独特性、多量性、可扩展性的定量描述——特征描述子
   基于特征描述子使用数值计算方法，结合重投影误差等匹配性能指标筛选匹配特征点对。该阶段还会对不同的特征检测算法、特征匹配策略进行性能比较、评估与分析。
2. 图像配准。该阶段主要实现对无匹配点的滤除——增强抗噪能力与鲁棒性；图像映射的单应性估计；基于单应性矩阵将图像进行透视变换与拷贝，保持待拼接图像间坐标描述的一致性。
3. 图像美化。该阶段主要用于消除图像配准阶段产出图像的明显拼接缝隙和毛刺，主要实现图像均衡化——基于像素调整平衡不同拼接图像间的光照强度差异；基于加权平滑图像拼接的缝隙处；基于拉普拉斯金字塔方法进行图像融合，使拼接图像更自然、美观。

2 软件架构设计

3 特征匹配

主要采用：暴力匹配、最值匹配、交叉匹配、KNN匹配、RANSAC匹配

单纯靠特征匹配是不够的，因为会引入大量误匹配点，需要进行匹配优化

Lowe’s匹配优化：Lowe’s 匹配优化算法核心原理是：通过 $K$近邻查找算法，选择 $K$个和目标特征点最相似的点，若这 $K$个匹配对间的区别足够大，则选择最相似的作为目标特征点的匹配点，否则舍弃。

由于本项目针对的目标图像尺寸较小，因此通常选择 $K=2$，即最近邻匹配。 2个点间的区别用距离比率

$$\alpha =\frac{d\left( F_{dst},F_a \right)}{d\left( F_{dst},F_b \right)}$$

来衡量，比率阈值根据不同的特征检测算法有所不同，达到此比率则认为目标特征点的两个匹配对区别足够大，可以加入优秀匹配点集。

此外上述的距离相似度度量 $d$对不同的检测算法亦有区别，本项目中对于ORB、BRISK等二进制描述算法采用汉明距离度量，在保证精度的情况下大幅提高匹配效率；对于SIFT、SURF等浮点型描述算法则采用 $L2$范数度量。

值得注意的是，在算法开始前需要比较两个输入特征描述子的尺寸，因为在特征匹配时匹配器有两个参数——查询索引(Query Index)与匹配索引(Train Index)，当使用特征较多的描述子去查询特征较少的描述子时可能发生向量越界的情况，因此算法统一使用小特征描述子去查询大特征描述子中对应的匹配点。

可以看出，优化的效果还是很明显的

4 生成特征描述子

主要采用了下面四种方法

从实验结果看，SIFT算法性能最佳

5 图像拼接与配准

方法是计算相邻两张待拼接图片间的单应性矩阵，然后将其中一张图片通过单应性矩阵映射到另一张图片的坐标系即可。

考虑到RANSAC算法能够对计算单应性矩阵选取的参数进行迭代，并根据内集合的评判结果选取效果更好的匹配关键点计算得到的单应性矩阵，最终计算得到的单应性矩阵能适应最大数量的关键点，因此使用RANSAC算法计算得到的单应性矩阵应用于图像拼接后能得到最好的效果。

自定义RANSAC单应性矩阵算法应用于图像拼接的结果与使用findHomography库函数的RANSAC方法的结果对比如图所示。

同时对比代码的运行结果如图所示，可以看出自定义的RANSAC求解算法和库函数中直接调用的RANSAC计算方式会产生约为0.5%的误差，可以视为算法的误差，可能由在单应性矩阵计算过程中变量类型转换过程中，变量在float和double类型之间转换产生的数据溢出和对于置信度取值不同等原因导致，在实际应用中可忽略不计。

6 图像平滑与美化

方法：拉普拉斯金字塔融合

最终效果：

==限于篇幅，本文的完整工程代码请关注下方公众号回复“CV005”获取==

---

🚀 计算机视觉基础教程说明

章号                                    内容
  0               色彩空间与数字成像
  1               计算机几何基础
  2               图像增强、滤波、金字塔
  3               图像特征提取
  4               图像特征描述
  5               图像特征匹配
  6               立体视觉
  7               项目实战

🔥 更多精彩专栏：

• 《机器人原理与技术》
• 《计算机视觉教程》
• 《机器学习》
• 《嵌入式系统》
• 《数值优化方法》
• …
  
  

👇配套代码 · 优质体验 · 系统知识 请关注👇