当前位置：首页 > 编程日记 > 正文

SURF与SIFT比较分析

编程日记 2024-10-09 22:00:01

opencv3.2 SURF实现特征点匹配

opencv3.2中SurfFeatureDetector、SurfDescriptorExtractor、BruteForceMatcher这三个的使用方法已经和原先2.4版本前不一样了。

使用方法示例如下：

 Ptr<SURF> detector = SURF::create(minHessian);detector->detect(img_1, keypoints_1);Ptr<SURF> extractor = SURF::create();extractor->compute(img_1, keypoints_1, descriptors_1);Ptr<DescriptorMatcher> matcher = DescriptorMatcher::create("BruteForce");//这里填写使用的匹配方式
matcher->match(descriptors_1, descriptors_2, matches);

debug版本detect函数运行时会报错，内存访问错误什么的，，，，，
具体原因还不知道，网上查找资料修改图片type为CV_8U，和给vector手动分配空间，实测没有用，但是改为release版本可以使用。

代码：

#include<opencv2/features2d/features2d.hpp>
#include<opencv2/opencv.hpp>
#include<opencv2/highgui/highgui.hpp>
#include<opencv2/xfeatures2d/nonfree.hpp>
#include<opencv2/core/core.hpp>#include<iostream>
using namespace std;
using namespace cv;
using namespace cv::xfeatures2d;
int main()
{Mat srcImage1 = imread("3.jpg", 1);Mat srcImage2 = imread("4.jpg",1);if (!srcImage1.data || !srcImage2.data){cout << "读取图片出错" << endl;return false;}imshow("原始图1",srcImage1);imshow("原始图2", srcImage2);int minHessian = 100;Ptr<SurfFeatureDetector> detector = SurfFeatureDetector::create(minHessian);vector<cv::KeyPoint> key_points_1, key_points_2;Mat dstImage1, dstImage2;detector->detectAndCompute(srcImage1,Mat(), key_points_1,dstImage1);detector->detectAndCompute(srcImage2,Mat(), key_points_2,dstImage2);//可以分成detect和computeMat img_keypoints_1, img_keypoints_2;drawKeypoints(srcImage1,key_points_1,img_keypoints_1,Scalar::all(-1),DrawMatchesFlags::DEFAULT);drawKeypoints(srcImage2, key_points_2, img_keypoints_2, Scalar::all(-1),DrawMatchesFlags::DEFAULT);Ptr<DescriptorMatcher> matcher = DescriptorMatcher::create("FlannBased");vector<DMatch>mach;matcher->match(dstImage1,dstImage2,mach);double Max_dist = 0;double Min_dist = 100;for (int i = 0; i < dstImage1.rows; i++){double dist = mach[i].distance;if (dist < Min_dist)Min_dist = dist;if (dist > Max_dist)Max_dist = dist;}cout << "最短距离" << Min_dist << endl;cout << "最长距离" << Max_dist << endl;vector<DMatch>goodmaches;for (int i = 0; i < dstImage1.rows; i++){if (mach[i].distance < 2 * Min_dist)goodmaches.push_back(mach[i]);}Mat img_maches;drawMatches(srcImage1,key_points_1,srcImage2,key_points_2,goodmaches,img_maches);for (int i = 0; i < goodmaches.size(); i++){cout << "符合条件的匹配：" << goodmaches[i].queryIdx << "--" << goodmaches[i].trainIdx << endl;}imshow("效果图1", img_keypoints_1);imshow("效果图2", img_keypoints_2);imshow("匹配效果",img_maches);waitKey(0);return 0;
}

SURF与SIFT

共同点：

SIFT/SURF为了实现不同图像中相同场景的匹配，主要包括三个步骤：

1、尺度空间的建立；

2、特征点的提取；

3、利用特征点周围邻域的信息生成特征描述子

4、特征点匹配。

推荐：http://blog.csdn.net/cy513/archive/2009/08/05/4414352.aspx

如果两幅图像中的物体一般只是旋转和缩放的关系，加上图像的亮度及对比度的不同，要在这些条件下要实现物体之间的匹配，SIFT算法的先驱及其发明者想到只要找到多于三对物体间的匹配点就可以通过射影几何的理论建立它们的一一对应。

如何找到这样的匹配点呢？SIFT/SURF作者的想法是首先找到图像中的一些“稳定点”，这些点是一些特殊的点，不会因为视角的改变、光照的变化、噪音的干扰而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点。这样如果两幅图像中有相同的景物，那么这些稳定点就会在两幅图像的相同景物上同时出现，这样就能实现匹配。因此，SIFT/SURF算法的基础是稳定点。

SIFT/SURF提取的稳定点，首先都要求是局部极值。但是，当两个物体的大小比例不一样时，大图像的局部极值点在小图像的对应位置上有可能不是极值点。于是SIFT/SURF都采用图像金字塔的方法，每一个截面与原图像相似，这样两个金字塔中就有可能包含大小最近似的两个截面了。

这样找到的特征点会比较多，经过一些处理后滤掉一些相对不稳定的点。

接下来如何去匹配相同物体上对应的点呢？SIFT/SURF的作者都想到以特征点为中心，在周围邻域内统计特征，将特征附加到稳定点上，生成特征描述子。在遇到旋转的情况下，作者们都决定找出一个主方向，然后以这个方向为参考坐标进行后面的特征统计，就解决了旋转的问题。

共同的大问题有以下几个：

1、为什么选用高斯金字塔来作特征提取？

为什么是DOG的金字塔？因为它接近LOG，而LOG的极值点提供了最稳定的特征，而且DOG方便计算（只要做减法。）

为什么LOG的极值点提供的特征最稳定，有参考文献，未看。

(7.12补充：)直观理解：特征明显的点经过不同尺度的高斯滤波器进行滤波后，差别较大，所以用到的是DOG。

但是直观上怎么理解？如果相邻Octave的sigma不是两倍关系还好理解：如果两幅图像只是缩放的关系，那么假设第一个Octave找到了小一倍图像的极值点，那么大一倍图像的极值点会在下一个Octave找到相似的。但是现在，如果把大一倍图像进行一次下采样（这样和小的图像就完全一样了），进行Gauss滤波时，两个图像滤波系数（sigma）是不一样的，不就找不到一样的极值点了么？不理解。

2、Hessian矩阵为什么能用来筛选极值点？

SIFT先利用非极大抑制，再用到Hessian矩阵进行滤除。SURF先用Hessian矩阵，再进行非极大抑制。SURF的顺序可以加快筛选速度么？（Hessian矩阵滤除的点更多？）

至于SURF先用Hessian矩阵，再进行非极大抑制的原因，是不管先极大值抑制还是判断Hessian矩阵的行列式，金字塔上的点的行列式都是要计算出来的。先判断是否大于0只要进行1次判断，而判断是否是极大值点或者极小值点要与周围26个点比较，只比较1次肯定快。

而在SIFT中，构建的高斯金字塔只有一座（不想SURF是有3座），要进行非极大抑制可以直接用金字塔的结果进行比较。而如果计算Hessian矩阵的行列式，还要再计算Dxx、Dxy、Dyy。因此先进行非极大抑制。这两个步骤的先后与SIFT/SURF的实际计算情况有关的，都是当前算法下的最佳顺序，而不是说哪种先计算一定更好。

3、为什么采用梯度特征作为局部不变特征？

这与人的视觉神经相关。采用梯度作为描述子的原因是，人的视觉皮层上的神经元对特定方向和空间频率的梯度相应很敏感，经过SIFT作者的一些实验验证，用梯度的方法进行匹配效果很好。

4、为什么可以采用某些特征点的局部不变特征进行整幅图像的匹配？

从直观的人类视觉印象来看，人类视觉对物体的描述也是局部化的，基于局部不变特征的图像识别方法十分接近于人类视觉机理，通过局部化的特征组合，形成对目标物体的整体印象，这就为局部不变特征提取方法提供了生物学上的解释，因此局部不变特征也得到了广泛应用。

还有：

图像中的每个局部区域的重要性和影响范围并非同等重要，即特征不是同等显著的，其主要理论来源是Marr的计算机视觉理论和Treisman的特征整合理论，一般也称为“原子论”。该理论认为视觉的过程开始于对物体的特征性质和简单组成部分的分析，是从局部性质到大范围性质。

SIFT/SURF都是对特征点的局部区域的描述，这些特征点应该是影响重要的点，对这些点的分析更加重要。所以在局部不变特征的提取和描述时也遵循与人眼视觉注意选择原理相类似的机制，所以SIFT/SURF用于匹配有效果。

不同点的比较：

总结

	SIFT	SURF
尺度空间	DOG与不同尺度的图片卷积	不同尺度的box filters与原图片卷积
特征点检测	先进行非极大抑制，再去除低对比度的点。再通过Hessian矩阵去除边缘的点	先利用Hessian矩阵确定候选点，然后进行非极大抑制
方向	在正方形区域内统计梯度的幅值的直方图，找max对应的方向。可以有多个方向。	在圆形区域内，计算各个扇形范围内x、y方向的haar小波响应，找模最大的扇形方向
特征描述子	1616的采样点划分为44的区域，计算每个区域的采样点的梯度方向和幅值，统计成8bin直方图，一共448=128维	2020s的区域划分为44的子区域，每个子区域找55个采样点，计算采样点的haar小波响应，记录∑dx, ∑dy,∑\|dx\|,∑\|dy\|，一共44*4=64维

SURF—金字塔仅仅是用来做特征点的检测。在计算描述子的时候，haar小波响应是计算在原图像（利用积分图）。而SIFT是计算在高斯金字塔上（注意不是高斯差分金字塔。）

性能的比较：

论文：A comparison of SIFT, PCA-SIFT and SURF 对三种方法给出了性能上的比较，源图片来源于Graffiti dataset，对原图像进行尺度、旋转、模糊、亮度变化、仿射变换等变化后，再与原图像进行匹配，统计匹配的效果。效果以可重复出现性为评价指标。

比较的结果如下：

method	Time	Scale	Rotation	Blur	Illumination	Affine
Sift	common	best	best	common	common	good
Pca-sift	good	good	good	best	good	best
Surf	best	common	common	good	best	good

由此可见，SIFT在尺度和旋转变换的情况下效果最好，SURF在亮度变化下匹配效果最好，在模糊方面优于SIFT，而尺度和旋转的变化不及SIFT，旋转不变上比SIFT差很多。速度上看，SURF是SIFT速度的3倍。

参考:

http://apps.hi.baidu.com/share/detail/32318290

http://blog.csdn.net/ijuliet/archive/2009/10/07/4640624.aspx

http://blog.csdn.net/cy513/article/details/4414352

http://www.cnblogs.com/mysunnyday/archive/2011/08/31/2160298.html

https://blog.csdn.net/xxzxxzdlut/article/details/72926011

https://www.dkcj.cn/info/22341.html

python文件和目录

# -*- coding: utf-8 -*-import osdef printFile(rootDir):allFiles os.listdir(rootDir) #列出文件夹下所有文件和目录for i in range(0, len(allFiles)):# print(rootDir allFiles[i])path os.path.join(rootDir, allFiles[i])if not os.path.isfile(path):print(path, &q…

编程日记2024/10/09 21:50:00

你不怕他离职吗？

图片来自“wikiart” 这是我同事在晚上11点多跟我聊微信时问起的一个问题，我觉得这个问题还是挺有代表性的，所以我还是决定就这个问题展开聊聊我对这句话的看法。我同事之所以这么说，是因为他的组员，也就是问题中的那个他&#x…

编程日记2024/10/09 21:40:00

tensorflow 1

import tensorflow as tf import numpy as np import matplotlib.pylab as pltdef tfDemo1():#create datax_data np.random.rand(100).astype(np.float32)y_data x_data * 0.1 0.3#create tensorflow structureWeightstf.Variable(tf.random_uniform([1],-1.0,1.0)) #一维&…

编程日记2024/10/09 21:30:01

SLAM资源整理

资源整理浙大3D Group VINS orbslam2 orbslam2 video study https://www.bilibili.com/video/BV1bK4y197kB/?spm_id_fromautoNext orbslam2 csdn https://blog.csdn.net/ncepu_chen/category_9874746.html https://www.zhihu.com/column/c_1114864226103037952 https:…

编程日记2024/10/09 21:20:00

Golang微服务开发实践

github: github.com/yun-mu/Micr… 微服务概念学习：可参考 Nginx 的微服务文章微服务最佳实践：可参考微服务最佳实践 demo 简介服务： consignment-service（货运服务）user-service（用户服务）l…

编程日记2024/10/09 21:10:00

Linux ssh/scp/docker学习

文章目录Linux ssh/scp/docker使用学习1. ssh 登录2. scp传输文件3. docker4. git checkout 替换指定分支的单个文件Linux ssh/scp/docker使用学习 1. ssh 登录 sudo ssh fireflyip (登录账号密码) scp -r company/data_depthfill/ firefly192.168.105.6:/tmp/ 2…

编程日记2024/10/09 21:00:00

tensorflow mnist 1

import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import keras.backend.tensorflow_backend as KTFdef add_layer(inputs,in_size,out_size,activation_functionNone):#Weights是一个矩阵，[行，列]为[in_size,out_s…

编程日记2024/10/09 20:50:00

framework7使用笔记

2019独角兽企业重金招聘Python工程师标准>>> myApp.addView(.view-main, {}); 以上这句代码一定要添加 ，否则链接的页面不能正常加载 --------------------------------------------- 如果初始化时定义了preprocess，则页面上链接的自动加载将…

编程日记2024/10/09 20:40:00

Linux:检查当前运行级别的五种方法

2019独角兽企业重金招聘Python工程师标准>>> 运行级就是Linux操作系统当前正在运行的功能级别。存在七个运行级别，编号从0到6。系统可以引导到任何给定的运行级别。运行级别由数字标识。每个运行级别指定不同的系统配置，并允许访问不同的进程…

编程日记2024/10/09 20:30:01

概率机器人资料整理

机器人算法仿真 https://atsushisakai.github.io/PythonRobotics/ 最大熵对应的概率分布及其优化推导 https://www.cnblogs.com/yychi/p/9401807.html 矩阵计算网址 http://www.yunsuan.info/matrixcomputations/index.html

编程日记2024/10/09 20:20:00

LLVM官方文档翻译---- LLVM原子指令与并发指引

英文原文地址：http://llvm.org/docs/Atomics.html 译文原文地址：http://blog.csdn.net/wuhui_gdnt/article/details/52485591 注：该文章转载已经得到译者授权。 --------------------------------------------------------------------------…

编程日记2024/10/09 20:10:00

matplotlib画图

import matplotlib.pyplot as plt import numpy as npdef test1():# 从[-1,1]中等距去50个数作为x的取值x np.linspace(-1, 1, 50)print(x)y 2*x 1y1 2**x 1# 第一个是横坐标的值，第二个是纵坐标的值plt.plot(x, y)plt.plot(x, y1)# 必要方法，用于将…

编程日记2024/10/09 20:00:00

学习新对象字面量语法

目标使用简写属性名称使用简写方法名称使用计算属性名称问题哪些部分是冗余的? const person{name:name,address:address,sayHello:function(){/*......*/},sayName:function(){/*......*/}sayAddress:function(){/*......*/}} 复制代码简写属性名称 //ES5 const message{te…

编程日记2024/10/09 19:50:00

ORB-SLAM2代码/流程详解

ORB-SLAM2代码详解文章目录ORB-SLAM2代码详解1. ORB-SLAM2代码详解01_ORB-SLAM2代码运行流程1 运行官方Demo1.2. 阅读代码之前你应该知道的事情1.2.1 变量命名规则1.3 理解多线程1.3.1 为什么要使用多线程?1.3.2 多线程中的锁1.4 SLAM主类System1.4.1 System类是ORB-SLAM2系统…

编程日记2024/10/09 19:40:00

VS2010 CUDA 5.5 Win7 64位配置以及项目创建配置

一.安装CUDA5.5以及配置VS助手 1、安装之前必须确认自己电脑的GPU支持CUDA。在设备管理器中找到显示适配器（Display adapters)，找到自己电脑的显卡型号，如果包含在http://www.nvidia.com/object/cuda_gpus.html的列表中，说明支持…

编程日记2024/10/09 19:30:00

HTC VIVE SDK 中的例子 hellovr_opengl 程序流程分析

最近Vive的VR头盔设备很火，恰逢项目需求，所以对 SDK 中的例子 hellovr_opengl 做了比较细致的代码分析，先将流程图绘制如下，便于大家理解。在ViVe头盔中实现立体效果的技术核心： 如果要外挂Vive的VR设备实现立体效果&…

编程日记2024/10/09 19:20:00

Proximal Algorithms 4 Algorithms

目录 Proximal minimization解释\(f(x) g(x)\)解释1 最大最小算法不动点解释Forward-backward 迭代解释加速 proximal gradient method交替方向方法 ADMM解释1 自动控制解释2 Augmented Largranians解释3 Flow interpretation解释4 不动点特别的情况 \(f(x) g(Ax)\)Proximal …

编程日记2024/10/09 19:10:00

C# TripleDES NoPadding 时对待加密内容进行补字节（8个字节为一个Block）

补一个空格（半角）： private static byte[] FormatData(String str) {var yu str.Length % 8;if (yu 0) return Encoding.GetEncoding(Consts.Charset).GetBytes(str);var size 8 - yu;var arr new byte[str.Length size];var data Enco…

编程日记2024/10/09 19:00:00

keras Regressor 回归

import numpy as np np.random.seed(1337) # for reproducibility from keras.models import Sequential from keras.layers import Dense import matplotlib.pyplot as plt # 可视化模块import tensorflow as tf import keras.backend.tensorflow_backend as KTF# create som…

编程日记2024/10/09 18:50:00

13、JsonResponse响应介绍

转载于:https://blog.51cto.com/yht1990/2406566

编程日记2024/10/09 18:40:00

keras Classifier 分类

import numpy as np np.random.seed(1337) # for reproducibility from keras.models import Sequential from keras.layers import Dense, Activation from keras.optimizers import RMSprop import matplotlib.pyplot as plt # 可视化模块import tensorflow as tf import ke…

编程日记2024/10/09 18:30:01