哈里斯边角侦测
特征检测 |
---|
![]() |
边缘检测 |
角检测 |
斑点检测 |
脊检测 |
霍夫变换 |
结构张量 |
仿射不变特征检测 |
特征描述 |
尺度空间 |
哈里斯边角侦测(Harris Corner Detector)是被广泛运用在电脑视觉的演算法,主要是用于从影像中找出代表边角的特征点。最早是由Chris Harris 和Mike Stephens在1988年所提出,在当时是莫拉维克边角侦测器的改进版本[1]。与 莫拉维克边角侦测器相比,不是对局部小块区域作45度角移动,而是考量了方向性值直接算出边角的微分值,这个方法在当时已被证明可以更准确地去分辨出边角。自从哈里斯边角侦测器被提出后,后续有很多演算法试著去改良它,而这类的演算法也在很多影像处理的应用上被采用作为前处理。
概要介绍
[编辑]角落的概念就是它相邻的区域有两条截然不同方向的边,换句话说,角落也是两条边的接点,而这条边的附近有剧烈的亮度变化[2]。边角是影像重要的特征,基本上边角的特性不会受到旋转、平移以及影像亮度的影响。虽然边角只是一张影像中的一小部分,但是通常却代表著一张影像中最重要的特征,因为它们的资讯相较于整张影像,富有代表性且可以被应用在影像接合,动作追踪,建立二维马赛克,立体视觉,以及相关的电脑视觉领域。
为了找出影像中的边角,科学家们提出了很多不同种的边角测试器包含Kanade-Lucas-Tomasi (KLT) 算子,哈里斯算子是其中最简单,有效,及可信赖的方法。这两种受欢迎的方法均是以局部结构矩阵来当作基础,相较于Kanade-Lucas-Tomasi (KLT)边角侦测,就算影像经过旋转或者是亮度的调整,哈里斯边角侦测具有良好的结果重现性,因此,它更被常使用在立体匹配及影像资料库检索。虽然仍有不少的缺点及限制,哈里斯边角侦测依然在电脑视觉的应用中是相当重要且基础的技术。
在不失去一般性的状况下,我们假设使用的是一张二维的灰阶影像。在这里以代表这张影像,假设我们现在针对一小块局度区域移动了,以代表这两块小区域的加总平方差(SSD),可以写作
可以用泰勒展开去近似,以和分别代表在和方向的偏微分,于是可以近似成
所以可以写成
如果以矩阵的形式来表达,
其中代表结构张量,
一般而言,哈里斯边角侦测演算法可以分成下列几个步骤:
- 彩色影像转换成灰阶影像
- 空间微分的计算
- 建构结构张量
- 计算哈里斯响应
- 非极大值抑制
彩色影像转换成灰阶影像
[编辑]如果输入是一张彩色影像,第一步便是转换成灰阶影像,可以加快处理速度
空间微分的计算
[编辑]第二步是计算整张图的 。
建构结构张量
[编辑]有了的资讯后,我们便可以建构结构张量。
计算哈里斯响应
[编辑]在这一步,我们会运用下列的近似的式子来计算结构张量矩阵的最小的特征值:
另外一种常见的哈里斯响应是
而k是一个由经验所订出来的常数,。
非极大值抑制
[编辑]由于只靠前面的步骤选出的特征点很可能会在一小块区域有很多个,我们希望能在局部区域选出值最大的,因此会设定各个拥有局部最大值的特征点的距离不能太接近,如此便可以有效选出比较分散在整张图的特征点。
1. 哈里斯-拉普拉斯边角侦测[7]
2. Differential Morphological Decomposition Based Corner Detector[8]
3. Multi-scale Bilatera Structure Tensor Based Corner Detector[9]
应用
[编辑]1. 影像对齐,影像缝合,影像配准[10]
2. 建立二维马赛克[11]
3. 三维场景建模及重建[12]
4. 动作侦测[13]
5. 物体识别[14]
6. 基于内容的影像检索[15]
7. 影片追踪[16]
更多
[编辑]- Structure tensor
- Harris affine region detector
- Corner detection
- Feature detection (computer vision)
- Computer vision
- List of computer vision topics
参考资料
[编辑]- ^ 1.0 1.1 Chris Harris and Mike Stephens (1988). "A Combined Corner and Edge Detector". Alvey Vision Conference. 15.
- ^ Konstantinos G. Derpanis (2004). The harris corner detector. York University.
- ^ Harris Operator Corner Detection using Sliding Window Method - Google Scholar. scholar.google.com. [2015-11-29].
- ^ The Comparison and Application of Corner Detection Algorithms - Google Scholar. scholar.google.com. [2015-11-29].
- ^ Bellavia, F.; Tegolo, D.; Valenti, C. Improving Harris corner selection strategy. IET Computer Vision. 2011-03-01, 5 (2) [2018-07-05]. doi:10.1049/iet-cvi.2009.0127. (原始内容存档于2018-11-27).
- ^ Rosten, Edward; Drummond, Tom. Leonardis, Aleš; Bischof, Horst; Pinz, Axel , 编. Machine Learning for High-Speed Corner Detection. Lecture Notes in Computer Science. Springer Berlin Heidelberg. 2006-05-07: 430–443 [2018-07-05]. ISBN 978-3-540-33832-1. doi:10.1007/11744023_34#page-1. (原始内容存档于2020-08-08) (英语).
- ^ A Comparison of Affine Region Detectors - Google Scholar. scholar.google.com. [2015-11-29].
- ^ Gueguen, L.; Pesaresi, M. Multi scale Harris corner detector based on Differential Morphological Decomposition. Pattern Recognition Letters: 1714–1719. [2018-07-05]. doi:10.1016/j.patrec.2011.07.021. (原始内容存档于2017-10-14).
- ^ A Multi-scale Bilateral Structure Tensor Based Corner Detector - Google Scholar. scholar.google.com. [2015-11-29].
- ^ Kang, Juan; Xiao, Chuangbai; Deng, M.; Yu, Jing; Liu, Haifeng. Image registration based on harris corner and mutual information. 2011 International Conference on Electronic and Mechanical Engineering and Information Technology (EMEIT). 2011-08-01, 7: 3434–3437. doi:10.1109/EMEIT.2011.6023066.
- ^ Underwater Mosaic Creation using Video sequences from Different Altitudes - Google Scholar. scholar.google.com. [2015-12-02].
- ^ Automated reconstruction of 3D scenes from sequences of images - Google Scholar. scholar.google.com. [2015-12-02].
- ^ Liu, Meng; Wu, Chengdong; Zhang, Yunzhou. Multi-resolution optical flow tracking algorithm based on multi-scale Harris corner points feature. Control and Decision Conference, 2008. CCDC 2008. Chinese. 2008-07-01: 5287–5291. doi:10.1109/CCDC.2008.4598340.
- ^ Object Recognition from Local Scale-Invariant Features - Google Scholar. scholar.google.com. [2015-11-29].
- ^ Salient Points for Content Based Retrieval - Google Scholar. scholar.google.com. [2015-12-02].
- ^ Tracking and Recognition of Objects using SURF Descriptor and Harris Corner Detection - Google Scholar. scholar.google.com. [2015-12-02].
引用错误:在<references>
标签中name属性为“harris2”的参考文献没有在文中使用
引用错误:在<references>
标签中name属性为“dey2”的参考文献没有在文中使用
引用错误:在<references>
标签中name属性为“derpanis2”的参考文献没有在文中使用