OpenCV 特征点检测与图像匹配
特征点又称兴趣点、关键点，它是在图像中突出且具有代表意义的一些点，通过这些点我们可以用来识别图像、进行图像配准、进行3D重建等。本文主要介绍OpenCV中几种定位与表示关键点的函数。
一、Harris角点
角点是图像中最基本的一种关键点，它是由图像中一些几何结构的关节点构成，很多都是线条之间产生的交点。Harris角点是一类比较经典的角点类型，它的基本原理是计算图像中每点与周围点变化率的平均值。
（1）
（2）
其中I(x+u,y+u)代表了点(x,y)邻域点的灰度值。通过变换可以将上式变化为一个协方差矩阵求特征值的问题(2)，具体数学原理本文不过多描述。
OpenCV的Hairrs角点检测的函数为cornerHairrs()，但是它的输出是一幅浮点值图像，浮点值越高，表明越可能是特征角点，我们需要对图像进行阈值化。我们使用一张建筑图像来显示：
|
1
2
3
4
5
6
7
8
9
10
11
|
int main ( )
{
Mat image = imread ( "../buliding.png" ) ;
Mat gray ;
cvtColor ( image , gray , CV_BGR2GRAY ) ;
Mat cornerStrength ;
cornerHarris ( gray , cornerStrength , 3 , 3 , 0.01 ) ;
threshold ( cornerStrength , cornerStrength , 0.001 , 255 , THRESH_BINARY ) ;
return 0 ;
}
|
首先我们来说明一下cornerHairrs()这个函数参数的意思：
前2参数是输入与输出，输入是一个灰度图像，输出是一个浮点图像，第三个参数指定角点分析的邻域，第4个参数实际上在角点求取过程中计算梯度图像的核窗口大小，第5个参数是它原理公式(2)中的一个系数。
从上面的例子的结果我们可以看到，有很多角点都是粘连在一起的，我们下面通过加入非极大值抑制来进一步去除一些粘在一起的角点。
非极大值抑制原理是，在一个窗口内，如果有多个角点则用值最大的那个角点，其他的角点都删除，窗口大小这里我们用3*3，程序中通过图像的膨胀运算来达到检测极大值的目的，因为默认参数的膨胀运算就是用窗口内的最大值替代当前的灰度值。程序的最后使用了一个画角点的函数将角点显示在图像中，这个函数与本系列第5篇中画角点的函数是一致的。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
|
int main ( )
{
Mat image = imread ( "../buliding.png" ) ;
Mat gray ;
cvtColor ( image , gray , CV_BGR2GRAY ) ;
Mat cornerStrength ;
cornerHarris ( gray , cornerStrength , 3 , 3 , 0.01 ) ;
double maxStrength ;
double minStrength ;
// 找到图像中的最大、最小值
minMaxLoc ( cornerStrength , &minStrength , &maxStrength ) ;
Mat dilated ;
Mat locaMax ;
// 膨胀图像，最找出图像中全部的局部最大值点
dilate ( cornerStrength , dilated , Mat ( ) ) ;
// compare是一个逻辑比较函数，返回两幅图像中对应点相同的二值图像
compare ( cornerStrength , dilated , locaMax , CMP_EQ ) ;
Mat cornerMap ;
double qualityLevel = 0.01 ;
double th = qualityLevel * maxStrength ; // 阈值计算
threshold ( cornerStrength , cornerMap , th , 255 , THRESH_BINARY ) ;
cornerMap . convertTo ( cornerMap , CV_8U ) ;
// 逐点的位运算
bitwise_and ( cornerMap , locaMax , cornerMap ) ;
drawCornerOnImage ( image , cornerMap ) ;
namedWindow ( "result" ) ;
imshow ( "result" , image ) ;
waitKey ( ) ;
return 0 ;
}
void drawCornerOnImage ( Mat & image , const Mat &binary )
{
Mat_ < uchar > :: const_iterator it = binary . begin < uchar > ( ) ;
Mat_ < uchar > :: const_iterator itd = binary . end < uchar > ( ) ;
for ( int i = 0 ; it != itd ; it ++ , i ++ )
{
if ( * it )
circle ( image , Point ( i % image . cols , i / image . cols ) , 3 , Scalar ( 0 , 255 , 0 ) , 1 ) ;
}
}
|
现在我们得到的效果就比默认的函数得到的结果有相当的改善。
由于cornerHarris的一些缺点，OpenCV提供了另一个相似的函数GoodFeaturesToTrack()它用角点间的距离限制来防止角点粘连在一起。
|
1
2
3
4
|
goodFeaturesToTrack ( image , corner ,
500 , // 最多检测到的角点数
0.01 , // 阈值系数
10 ) ; // 角点间的最小距离
|
它可以得到与上面基本一致的结果。
二、FAST特征点
harris特征在算法复杂性上比较高，在大的复杂的目标识别或匹配应用上效率不能满足要求，OpenCV提供了一个快速检测角点的类FastFeatureDetector，而实际上FAST并不是快的意思，而是Features from Accelerated Segment Test，但这个算法效率确实比较高，下面我们来看看这个类的用法。
OpenCV里为角点检测提供了统一的接口，通过类下面的detect方法来检测对应的角点，而输出格式都是vector<KeyPoint>。
|
1
2
3
4
5
6
7
|
vector < KeyPoint > keypoints ;
FastFeatureDetector fast ( // 定义检测类
40 ) ; //40是检测的阈值
fast . detect ( image , keypoints ) ;
drawKeypoints ( image , keypoints , image , Scalar ( 255 , 0 , 0 ) ,
DrawMatchesFlags :: DRAW_OVER_OUTIMG ) ;
|
其中drawKeypoints是OpenCV提供的在图像上画角点的函数。它的参数可以让我们选择用不同的方式标记出特征点。
三、尺度不变的SURF特征
surf特征是类似于SIFT特征的一种尺度不变的特征点，它的优点在于比SIFT效率要高，在实际运算中可以达到实时性的要求，关于SURF的原理这里就不过多的介绍，网络上这类的文章很多。
类似于FAST特征点的求法，SURF也可以使用通用接口求得，而SURF特征的类为SurfFeatureDetector，类似的SIFT特征点的检测类为SiftFeatureDetector。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/nonfree/features2d.hpp>
using namespace cv ;
int main ( )
{
Mat image = imread ( "../buliding.png" ) ;
vector < KeyPoint > keypoints ;
SurfFeatureDetector surf ( 2500. ) ;
surf . detect ( image , keypoints ) ;
drawKeypoints ( image , keypoints , image , Scalar ( 255 , 0 , 0 ) ,
DrawMatchesFlags :: DRAW_RICH_KEYPOINTS ) ;
namedWindow ( "result" ) ;
imshow ( "result" , image ) ;
waitKey ( ) ;
return 0 ;
}
|
这里有一个值得说明的问题是：OpenCV2.4版本后好像把SurfFeatureDetector这个类的定义移到了头文件nonfree/features2d.hpp
中，所以头文件中要加入该文件，并且要把opencv_nonfree24xd.lib加入属性表的链接器熟悉的输入中，其中x换成你当前opencv的版本号。
最终的显示效果如下：
四、SURF特征的描述
在图像配准中，特征点的描述往往不是位置这么简单，而是使用了一个N维向量来描述一个特征点，这些描述子之间可以通过定义距离公式来比较相近程度。
SurfDescriptorExtractor 是一个提取SURF特征点以及其描述的类。
下面是一个宽景图像的拼接配准的例子：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
|
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/nonfree/features2d.hpp>
#include <opencv2/legacy/legacy.hpp>
using namespace cv ;
int main ( )
{
Mat image1 = imread ( & quot ; . . / b1 . png & quot ; ) ;
Mat image2 = imread ( & quot ; . . / b2 . png & quot ; ) ;
// 检测surf特征点
vector & lt ; KeyPoint & gt ; keypoints1 , keypoints2 ;
SurfFeatureDetector detector ( 400 ) ;
detector . detect ( image1 , keypoints1 ) ;
detector . detect ( image2 , keypoints2 ) ;
// 描述surf特征点
SurfDescriptorExtractor surfDesc ;
Mat descriptros1 , descriptros2 ;
surfDesc . compute ( image1 , keypoints1 , descriptros1 ) ;
surfDesc . compute ( image2 , keypoints2 , descriptros2 ) ;
// 计算匹配点数
BruteForceMatcher & lt ; L2 & lt ; float & gt ; & gt ; matcher ;
vector & lt ; DMatch & gt ; matches ;
matcher . match ( descriptros1 , descriptros2 , matches ) ;
std :: nth_element ( matches . begin ( ) , matches . begin ( ) + 24 , matches . end ( ) ) ;
matches . erase ( matches . begin ( ) + 25 , matches . end ( ) ) ;
// 画出匹配图
Mat imageMatches ;
drawMatches ( image1 , keypoints1 , image2 , keypoints2 , matches ,
imageMatches , Scalar ( 255 , 0 , 0 ) ) ;
namedWindow ( & quot ; image2 & quot ; ) ;
imshow ( & quot ; image2 & quot ; , image2 ) ;
waitKey ( ) ;
return 0 ;
}
|
程序中我们选择了25个配准点，得到最后的匹配如下：
参考：http://www.cnblogs.com/ronny/p/opencv_road_9.html
总结：感觉特征点检测与匹配，从开始找亮点，后面慢慢演化，亮点位置加方向和距离，变成向量。
文章来源: blog.csdn.net，作者：网奇，版权归原作者所有，如需转载，请联系作者。
原文链接：blog.csdn.net/jacke121/article/details/54881317
- 点赞
- 收藏
- 关注作者
评论（0）