×
斯蒂芬·高格利茨；托拜厄斯·霍勒；马修·特克

用于视觉跟踪的兴趣点检测器和特征描述符的评估。 （英语） Zbl 1235.68264号

国际期刊计算。视觉。 94，第3期，335-360（2011）.
摘要：实时视觉跟踪的应用可以在许多领域找到，包括视觉里程计和增强现实。兴趣点检测和特征描述是基于特征跟踪的基础，针对这些任务提出了多种算法。在这项工作中，我们提出了（1）一个精心设计的具有地面真实感的平面纹理视频序列数据集，其中包括各种几何变化、照明条件和运动模糊级别，可以作为各种跟踪相关问题的试验台，以及（2）基于该试验台，对基于检测描述子的视觉摄像机跟踪进行了综合定量评价。我们评估了单个算法参数的影响，分别比较了检测和描述的算法，以及作为跟踪解决方案的所有检测-描述组合。与现有评估相比，现有评估针对不同的任务，如对象识别，对视觉跟踪的有效性有限，我们的评估针对所有相关因素（性能度量、测试床、候选算法）中的应用。据我们所知，这是第一个全面比较这些算法的工作，尤其是在视频流中。

引用于5文件

MSC公司：

68T45型 机器视觉和场景理解

关键词：

兴趣点检测器；特征描述符；视觉跟踪；数据集；评价

软件：

PCA-SIFT公司；快速SLAM；MonoSLAM公司；SIFT公司；冲浪
PDF格式BibTeX公司 XML格式引用
\textit{S.Gauglitz}等人，《国际计算杂志》。视觉。94，第3号，335--360（2011；Zbl 1235.68264）
全文： DOI程序

参考文献：

[1] Adams，A.、Gelfand，N.和；Pulli，K.（2008）。取景器对齐。计算机图形论坛，27（2），597-606。doi:10.1111/j.1467-8659.2008.01157.x·Zbl 05653281号 ·doi:10.1111/j.1467-8659.2008.01157.x
[2] Agrawal，M.、Konolige，K.和；Blas，M.R.（2008）。CenSurE：用于实时特征检测和匹配的中心环绕极值。《欧洲计算机视觉会议论文集》（ECCV'08）（第5305卷，第102-115页）。doi:10.1007/978-3-540-88693-88。
[3] 贝克，S.，&；Matthews，I.（2001年）。图像对齐算法的等效性和效率。IEEE计算机视觉和模式识别会议论文集（CVPR'01）（第1卷，第1090–1097页）。
[4] Baker，S.、Scharstein，D.、Lewis，J.P.、Roth，S.和Black，M.J；Szeliski，R.（2007）。光流数据库和评估方法。IEEE计算机视觉国际会议（ICCV'07）论文集（第1-8页）。doi:10.1109/ICCV.2007.4408903。
[5] Bay，H.、Ess，A.、Tuytelaars，T.和；Van Gool，L.（2008）。加速稳健功能（SURF）。计算机视觉和图像理解，110，346–359。doi:10.1016/j.cviu.2007.09.014·Zbl 05363027号 ·doi:10.1016/j.cviu.2007.09.014
[6] Beaudet，P.R.（1978年）。旋转不变图像操作符。《国际模式识别联合会议论文集》（第579-583页）。
[7] Belongie，S.、Malik，J.和；Puzicha，J.（2002）。使用形状上下文进行形状匹配和对象识别。IEEE模式分析和机器智能汇刊，24（4），509–522。doi:10.1109/34.993558·Zbl 05111066号 ·doi:10.1109/34.993558
[8] 本希曼，S.，&amp；Malis，E.（2004）。使用有效的二阶最小化实时基于图像的飞机跟踪。《IEEE/RSJ智能机器人和系统国际会议论文集》（第943–948页）。
[9] Bleser，G.和；Stricker，D.（2008）。通过高效的图像处理和视觉惯性传感器融合实现高级跟踪。IEEE虚拟现实会议记录（VR'08）（第137-144页）。doi:10.1109/VR.2008.4480765。
[10] Brown，M.和；Lowe，D.（2002）。兴趣点组中的不变特征。英国机器视觉会议论文集（BMVC’02）。
[11] Calonder，M.、Lepetit，V.和；Fua，P.（2008）。用于快速学习和识别的关键点签名。第11届欧洲计算机视觉会议（ECCV'08）会议记录，法国马赛。
[12] Campbell，J.、Sukthankar，R.和；Nourbakhsh，I.（2004年）。极端地形下视觉里程计的光流评估技术。《IEEE/RSJ智能机器人和系统国际会议论文集》（第4卷，第3704-3711页）。
[13] 卡内罗，G.，&；Jepson，A.D.（2003）。基于多尺度相位的局部特征。《IEEE计算机视觉和模式识别会议论文集》（CVPR'03）（第1卷，第736-743页）。
[14] Carrera，G.、Savage，J.和；Mayol-Cuevas，W.（2007年）。强大的特征描述符可实现高效的基于视觉的跟踪。第十二届伊比利亚美洲模式识别大会会议记录（第251-260页）。doi:10.1007/978-3-540-76725-1.27。
[15] Chekhlov，D.、Pupilli，M.、Mayol-Cuevas，W.和；Calway，A.（2006年）。使用预测多分辨率描述符的实时鲁棒单目SLAM。第二届国际视觉计算研讨会论文集。
[16] Chekhlov，D.、Pupilli，M.、Mayol，W.和；Calway，A.（2007）。使用比例预测和基于样本的特征描述的鲁棒实时可视SLAM。《IEEE计算机视觉和模式识别会议论文集》（CVPR'07）（第1-7页）。doi:10.1010/CVPR.2007.383026。
[17] Cheng，Y.、Maimone，M.W.和；Matthies，L.（2006）。火星探测车上的视觉里程计–确保准确驾驶和科学成像的工具。IEEE机器人；《自动化杂志》，13（2），54–62。doi:10.1109/MRA.2006.1638016。 ·doi:10.1109/MRA.2006.1638016
[18] Chum、O.和；Matas，J.（2005年）。与PROSAC匹配–渐进样本共识。《IEEE计算机视觉和模式识别会议论文集》（CVPR'05）（第220-226页）。doi:10.1109/CVPR.2005.221。
[19] Davison，A.J.、Reid，I.D.、Molton，N.D.和；Stasse，O.（2007）。MonoSLAM：实时单摄像机SLAM。IEEE模式分析和机器智能汇刊，29（6），1052-1067。doi:10.1109/TPAMI.2007.1049·Zbl 05340861号 ·doi:10.1109/TPAMI.2007.1049
[20] DiVerdi，S.和；Höller，T.（2008）。平视和俯视：一种基于视觉的移动混合现实跟踪模式。IEEE可视化与计算机图形学汇刊，14（3），500–512。doi:10.1109/TVCG.2008.26·Zbl 05339884号 ·doi:10.1109/TVCG.2008.26
[21] DiVerdi，S.、Wither，J.和；Höller，T.（2008）。Envisor：为混合现实构建在线环境地图。IEEE虚拟现实会议记录（VR'08）（第19-26页）。doi:10.1109/VR.2008.4480745。
[22] 伊德·E·；Drummond，T.（2006年a）。单目SLAM中的边缘标志。《第17届英国机器视觉会议论文集》（BMVC’06），爱丁堡（第1卷，第7-16页）。
[23] 伊德·E·；Drummond，T.（2006年b）。可扩展单目SLAM。《IEEE计算机视觉和模式识别会议论文集》（CVPR'06）（第1卷，第469-476页）。doi:10.1109/CVPR.2006.263。
[24] 易卜拉希米（Ebrahimi，M.）；Mayol-Cuevas，W.（2009年）。SUSurE：用于实时应用的加速环绕极值特征检测器和描述符。在关于特征检测器和描述符的研讨会中：最新技术和更高水平。IEEE计算机视觉和模式识别会议（CVPR'09）。
[25] Fiala，M.（2005）。ARTag是一种使用数字技术的基准标记系统。《IEEE计算机视觉和模式识别会议论文集》（CVPR'05）（第2卷，第590-596页），美国华盛顿特区，doi:10.1109/CVPR.2005.74。
[26] 医学硕士费希勒；Bolles，R.C.（1981）。随机样本一致性：模型拟合的范例，应用于图像分析和自动制图。ACM通信，24（6），381–395。doi:10.1145/358669.358692。 ·数字对象标识代码：10.1145/358669.358692
[27] Förstner，W.（1994）。低层特征提取框架。《第三届欧洲计算机视觉会议论文集》（ECCV'94），美国新泽西州塞考克斯（第二卷，第383–394页）。
[28] Freeman，W.T.，&；Adelson，E.H.（1991）。可控过滤器的设计和使用。IEEE模式分析和机器智能汇刊，13（9），891-906。doi:10.1009/34.93808·Zbl 05112299号 ·数字对象标识代码：10.1109/34.93808
[29] Gauglitz，S.、Höller，T.、Krahwinkler，P.和；Roßmann，J.（2009）。用于评估视觉跟踪的探测器和描述符的设置。第八届IEEE国际混合增强现实研讨会论文集（ISMAR'09）。
[30] Gauglitz，S.、Höller，T.和；Turk，M.（2010年）。用于视觉跟踪的兴趣点探测器的数据集和评估（技术报告2010-06）。加州大学圣巴巴拉分校计算机科学系·Zbl 1235.68264号
[31] C.哈里斯；Stephens，M.（1988年）。结合了角点和边缘检测器。第四届ALVEY视觉会议记录（第147-151页）。
[32] Hartley，R.和；Zisserman，A.（2004）。计算机视觉中的多视图几何（第二版）。剑桥：剑桥大学出版社·Zbl 1072.68104号
[33] 霍恩，B.K.P.（1987）。使用单位四元数的绝对方向的闭式解。美国光学学会杂志，A，光学，图像科学和；愿景，4（4），629–642·doi:10.364/JOSAA.4.000629文件
[34] Julier，S.J.和；Uhlmann，J.K.（1997）。卡尔曼滤波器对非线性系统的新扩展。在I.Kadar（Ed.）中，《SPIE信号处理、传感器融合和；目标识别VI（第3068卷，第182-193页）。doi:10.1117/12.280797。
[35] Kadir，T.、Zisserman，A.和；Brady，M.（2004年）。仿射不变显著区域检测器。《第八届欧洲计算机视觉会议论文集》（ECCV'04）（第228-241页）·Zbl 1098.68786号
[36] 加藤，H.，&；Billinghurst，M.（1999）。基于视频的增强现实会议系统的标记跟踪和HMD校准。第二届IEEE和ACM增强现实国际研讨会论文集（IWAR’99）（第85页），美国华盛顿特区。
[37] Ke，Y.和；Sukthankar，R.（2004年）。PCA-SIFT：局部图像描述符的更独特表示。《IEEE计算机视觉和模式识别会议论文集》（CVPR'04）（第2卷，第506-513页）。doi:10.1109/CVPR.2004.183。
[38] 厨房、L.和；Rosenfeld，A.（1982）。灰度角点检测。模式识别字母，1（2），95–102。doi:10.1016/0167-8655（82）90020-4。 ·doi:10.1016/0167-8655（82）90020-4
[39] Klein，G.和；Murray，D.（2007年）。小型AR工作区的并行跟踪和映射。第六届IEEE和ACM国际混合增强现实研讨会（ISMAR'07）会议记录，日本奈良。
[40] Klein，G.和；Murray，D.（2008）。提高基于关键帧的SLAM的灵活性。《第十届欧洲计算机视觉会议论文集》（ECCV'08），法国马赛（第802-815页）。
[41] Klein，G.和；Murray，D.（2009年）。在照相手机上进行并行跟踪和映射。第八届IEEE国际混合增强现实研讨会论文集（ISMAR'09）（第83-86页）。doi:10.1109/ISMAR.2009.5336495。
[42] Lee，S.和；Song，J.B.（2004）。使用光流传感器进行移动机器人定位。国际控制、自动化和系统杂志，2（4），485-493。
[43] Lee，T.和；Höller，T.（2008）。用于无标记增强现实的混合特征跟踪和用户交互。IEEE虚拟现实会议记录（VR'08）（第145-152页）。doi:10.1109/VR.2008.4480766。
[44] Lepetit，V.和；Fua，P.（2006）。使用随机树进行关键点识别。IEEE模式分析和机器智能汇刊，28（9），1465-1479。doi:10.1109/TPAMI.2006.188·Zbl 05112265号 ·doi:10.10109/TPAMI.2006.188
[45] A.莱文；Szeliski，R.（2004）。视觉里程计和地图相关性。《IEEE计算机视觉和模式识别会议论文集》（CVPR'04）（第1卷，第611-618页）。doi:10.1109/CVPR.2004.266。
[46] Lieberknecht，S.、Benhimane，S.和Meier，P；Navab，N.（2009年）。基于模板的跟踪算法的数据集和评估方法。IEEE国际混合增强现实研讨会论文集（ISMAR'09）。
[47] Lindeberg，T.（1994）。尺度空间理论：分析不同尺度结构的基本工具。应用统计学杂志，21（2），224–270·doi:10.1080/757582976
[48] Lowe，D.G.（1999）。基于局部尺度不变特征的目标识别。《IEEE计算机视觉国际会议论文集》（ICCV'99），科孚（第1150–1157页）。
[49] Lowe，D.G.（2004）。具有与比例不变关键点不同的图像特征。国际计算机视觉杂志，60（2），91–110·Zbl 02244065号 ·doi:10.1023/B:VISI.0000029664.99615.94
[50] Matas，J.、Chum，O.、Urban，M.和；Pajdla，T.（2002）。来自最大稳定极值区域的稳健宽基线立体声。《英国机器视觉会议论文集》（BMCV'02）（第384-393页）。
[51] Matthies，L.和；Shafer，S.A.（1987年）。立体导航中的建模错误。IEEE机器人与自动化杂志，3（3），239-248·doi:10.1109/JRA.1987.1087097
[52] McCarthy，C.D.（2005）。移动机器人导航光流技术的性能（硕士论文）。墨尔本大学计算机科学与软件工程系。
[53] Mikolajczyk，K.，&；Schmid，C.（2001）。基于尺度不变兴趣点的索引。IEEE计算机视觉国际会议论文集（ICCV'01）（第1卷，第525页）。doi:10.1109/ICCV.2001.10069。
[54] Mikolajczyk，K.，&；Schmid，C.（2002）。仿射不变兴趣点检测器。《第七届欧洲计算机视觉会议论文集》（ECCV'02）（第128–142页），英国伦敦·Zbl 1034.68642号
[55] Mikolajczyk，K.，&；Schmid，C.（2004）。缩放（&amp；S）；仿射不变兴趣点检测器。国际计算机视觉杂志，60（1），63–86。doi:10.1023/B:VISI.0000027790.02288.f2·Zbl 02244064号 ·doi:10.1023/B:VISI.0000027790.02288.f2
[56] Mikolajczyk，K.，&；Schmid，C.（2005）。局部描述符的性能评估。IEEE模式分析和机器智能汇刊，27（10），1615-1630。doi:10.1109/TPAMI.2005.188·Zbl 05112483号 ·doi:10.1109/TPAMI.2005.188
[57] Mikolajczyk，K.，Tuytelaars，T.，Schmid，C.，Zisserman，A.，Matas，J.，Schafalitzky，F.，Kadir，T；van Gool，L.（2005）。仿射区域检测器的比较。国际计算机视觉杂志，65（7），43–72·Zbl 05062660号 ·数字对象标识代码：10.1007/s11263-005-3848-x
[58] Mohanna，F.和；Mokhtarian，F.（2006年）。使用一致性和准确性度量对角检测器的性能进行评估。计算机视觉和图像理解，102（1），81–94。doi:10.1016/j.cviu.2005.11.001·Zbl 05135546号 ·doi:10.1016/j.cviu.2005.11.001
[59] 蒙特梅洛，M.、特伦，S.、科勒，D.和；Wegbreit，B.（2002年）。FastSLAM：同时定位和映射问题的分解解决方案。《AAAI人工智能全国会议记录》（第593-598页）。
[60] 蒙特梅洛，M.、特伦，S.、科勒，D.和；Wegbreit，B.（2003年）。FastSLAM 2.0：一种改进的粒子滤波算法，用于同时定位和映射，可证明收敛。《国际人工智能联合会议论文集》（IJCAI'03）（第1151-1156页）。
[61] Moravec，H.（1980年）。视觉机器人漫游车在现实世界中的避障和导航（技术报告CMU-RI-TR-80-03）。卡内基梅隆大学机器人研究所。
[62] Moreels，P.和；Perona，P.（2007）。基于三维对象的特征检测器和描述符评估。国际计算机视觉杂志，73（3），263-284。doi:10.1007/s11263-006-9967-1·Zbl 05146335号 ·doi:10.1007/s11263-006-9967-1
[63] Moreno-Noguer，F.、Lepetit，V.和；Fua，P.（2007）。pnp问题的精确非迭代o（n）解。IEEE计算机视觉国际会议论文集（ICCV'07）（第1-8页）。doi:10.1109/ICCV.2007.4409116。
[64] Neira，J.和；Tardos，J.D.（2001）。使用联合兼容性测试的随机映射中的数据关联。IEEE机器人与自动化汇刊，17（6），890-897。doi:10.1109/70.976019。 ·数字对象标识代码：10.1109/70.976019
[65] Nistér，D.、Naroditsky，O.和；Bergen，J.（2004）。目视里程计。《IEEE计算机视觉和模式识别会议论文集》（CVPR'04）（第1卷，第652-659页）。doi:10.1109/CVPR.2004.1315094·Zbl 1185.68740号
[66] 奥祖萨尔，M.，Fua，P.，&；Lepetit，V.（2007）。十行代码中的快速关键点识别。在美国明尼苏达州明尼阿波利斯IEEE计算机视觉和模式识别会议（CVPR'07）的会议记录中，doi:10.1109/CVPR.2007.383123。
[67] Park，Y.、Lepetit，V.和；Woo，W.（2008）。增强现实的多个3D目标跟踪。第七届IEEE和ACM国际混合增强现实研讨会论文集（ISMAR'08）（第117-120页）。doi:10.1109/ISMAR.2008.4637336。
[68] Rosten，E.和；Drummond，T.（2005）。融合点和线，实现高性能跟踪。IEEE计算机视觉国际会议论文集（ICCV'05）（第2卷，第1508-1511页）。doi:10.1109/ICCV.2005.104。
[69] Rosten，E.和；Drummond，T.（2006）。用于高速角点检测的机器学习。IEEE欧洲计算机视觉会议论文集（ECCV'06）（第1卷，第430-443页）。doi:10.1007/11744023_34。
[70] Schafalitzky，F.和；Zisserman，A.（2002年）。无序图像集的多视图匹配，或“How Do I Organize My Holiday Snaps？”。《第七届欧洲计算机视觉会议论文集》（ECCV'02）（第1卷，第414-431页），英国伦敦·Zbl 1034.68662号
[71] 施密德，C.，&amp；Mohr，R.（1997）。用于图像检索的局部灰度值不变量。IEEE模式分析和机器智能汇刊，19530-535·Zbl 05111475号 ·doi:10.1109/34.589215
[72] Schmid，C.、Mohr，R.和；Bauckhage，C.（2000年）。兴趣点检测器的评估。国际计算机视觉杂志，37（2），151-172·Zbl 0985.68625号 ·doi:10.1023/A:1008199403446
[73] Se，S.，Lowe，D.和；Little，J.（2002）。移动机器人的定位和不确定性地图使用比例-变量视觉地标。《国际机器人研究杂志》，21（8），735-758。doi:10.1177/027836402761412467·Zbl 05422522号 ·doi:10.1177/027836402761412467
[74] Seitz，S.M.、Curless，B.、Diebel，J.、Scharstein，D.和；Szeliski，R.（2006）。多视点立体重建算法的比较与评价。在IEEE计算机视觉和模式识别会议论文集（CVPR'06）（第1卷，第519–528页）。洛斯·阿拉米托斯：IEEE计算机学会。doi:10.1109/CVPR.2006.19。
[75] Shi，J.和；Tomasi，C.（1994年）。要跟踪的良好功能。《IEEE计算机视觉和模式识别会议论文集》（CVPR'94）（第593-600页）。doi:10.1109/CVPR.1994.323794。
[76] Skrypnyk，I.和；Lowe，D.G.（2004）。具有不变图像特征的场景建模、识别和跟踪。在第三届IEEE和ACM国际混合和增强现实研讨会论文集（ISMAR'04）（第110–119页）。doi:10.1109/ISMAR.2004.53。
[77] Taylor，S.、Rosten，E.和；Drummond，T.（2009）。2.3us中的稳健特征匹配。在研讨会上，IEEE计算机视觉和模式识别会议（第15-22页）。doi:10.1109/CVPRW.2009.5204314。
[78] 托尔、P.H.S.和；Zisserman，A.（2000年）。MLESAC：一种新的稳健估计器，用于估计图像几何。计算机视觉和图像理解，78（1），138–156。doi:10.1006/cviu.1999.0832·Zbl 05690812号 ·doi:10.1006/cviu.1999.0832
[79] Trajkovic，M.和；Hedley，M.（1998）。快速角点检测。图像和视觉计算，16（2），75–87。doi:10.1016/S0262-8856（97）00056-5。 ·doi:10.1016/S0262-8856（97）00056-5
[80] Tuytelaars，T.和；van Gool，L.（2000）。基于局部仿射不变区域的宽基线立体匹配。《英国机器视觉会议论文集》（BMVC'00）（第412-425页）。
[81] 维奥拉·P·；Jones，M.（2001）。使用简单特征的增强级联进行快速物体检测。IEEE计算机视觉和模式识别会议论文集（CVPR'01）（第1卷，第511页）。洛斯·阿拉米托斯：IEEE计算机学会。doi:10.1109/CVPR.2001.990517。
[82] Wagner，D.、Reitmayr，G.、Mulloni，A.、Drummond，T.和；Schmalstieg，D.（2008）。通过手机上的自然功能进行姿势跟踪。在英国剑桥举行的第七届IEEE和ACM国际混合增强现实研讨会（ISMAR'08）的会议记录中。
[83] Wagner，D.、Schmalstieg，D.和；Bischof，H.（2009）。移动电话上具有保证帧速率的多目标检测和跟踪。第八届IEEE国际混合与增强现实研讨会（ISMAR'09）论文集（第57-64页）。doi:10.1109/ISMAR.2009.5336497。
[84] Wagner，D.、Mulloni，A.、Langlotz，T.和；Schmalstieg，D.（2010年）。在手机上进行实时全景地图绘制和跟踪。IEEE虚拟现实会议论文集（VR'10）。
[85] Williams，B.、Klein，G.和；Reid，I.（2007）。实时SLAM重新调整。IEEE计算机视觉国际会议（ICCV'07）论文集（第1-8页）。doi:10.1109/ICCV.2007.4409115。
[86] 卷绕机、S.和；Brown，M.（2007）。学习局部图像描述符。在IEEE计算机视觉和模式识别会议论文集（CVPR'07）（第1-8页）。doi:10.1109/CVPR.2007.382971。
[87] Winder，S.、Hua，G.和；Brown，M.（2009）。挑选最好的雏菊。IEEE计算机视觉和模式识别会议论文集（CVPR'09）（第178-185页）。doi:10.1109/CVPRW.2009.5206839。
[88] Yilmaz，A.、Javed，O.和；Shah，M.（2006）。物体追踪：一项调查。ACM计算调查，38。doi:10.1145/1177352.1177355。
[89] Zhang，Z.（1997）。参数估计技术：圆锥拟合应用教程。图像和视觉计算，15，59–76·doi:10.1016/S0262-8856（96）01112-2
[90] Zimmermann，K.、Matas，J.和；Svoboda，T.（2009）。通过最优线性预测序列进行跟踪。IEEE模式分析和机器智能汇刊，31，677–692。doi:10.1109/TPAMI.2008.119。 ·doi:10.10109/TPAMI.2008.119
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。