×

从运动看结构。 (英语) Zbl 1377.65027

摘要:计算机视觉中的运动结构(SfM)问题是通过对与这些图像相对应的摄像机的运动估计,从一组射影测量值中恢复出静止场景的三维结构,这些测量值表示为二维(2D)图像的集合。本质上,SfM包括三个主要阶段:(i)提取图像中的特征(例如感兴趣的点、直线等)并在图像之间匹配这些特征;(ii)摄像机运动估计(例如使用从提取的特征估计的相对成对的相机位置),以及(iii)使用估计的运动和特征恢复三维结构(例如通过最小化所谓的重投影误差)。这项调查主要集中在与阶段(ii)和(iii)相关的文献中的最新发展。更具体地说,在讨论了早期基于因子分解的运动和结构估计技术之后,我们详细介绍了文献中的一些最近的摄像机位置估计方法,然后讨论了3D结构恢复的一些值得注意的技术。我们还介绍了同步定位和映射(SLAM)问题的基础知识,它可以看作SfM问题的一个具体案例。此外,我们的调查还包括对特征提取和匹配的基本原理(即上文第(i)阶段)、处理3D场景中模糊性的各种最新方法、涉及相对少见的相机模型和图像特征的SfM技术、以及流行的数据源和SfM软件。

理学硕士:

65天18分 计算机图形学,图像分析和计算几何的数值方面
94A08型 信息与通信理论中的图像处理(压缩、重建等)
PDF格式 BibTeX公司 XML 引用

参考文献:

[1] 阿加瓦尔S。;斯纳夫利,N。;塞茨,S。;Szeliski,R.,ECCV2010:第11届欧洲计算机视觉会议,第二部分,大束调整,29-42,(2010),Springer
[2] 阿加瓦尔S。;斯纳夫利,N。;我,西蒙。;塞茨,S。;Szeliski,R.,ICCV 2009:第12届IEEE计算机视觉国际会议,一天之内建成罗马,pp.,(2009)
[3] Aliaga,D.,ICCV 2001:第八届IEEE国际计算机视觉会议,房间大小环境中实时姿态估计的精确折反射校准,127-134,(2001)
[4] Arie Nachimson,男。;科瓦尔斯基。;Kemelmacher Shlizerman,I。;歌手,A。;Basri,R.,3DimPVT 2012:第二届IEEE 3D成像、建模、处理、可视化和传输国际会议,点匹配全球运动估计,81-88,(2012)
[5] 阿瑞戈尼,F。;福西罗,A。;Rossi,B.,3DV 2016:第四届IEEE 3D视觉国际会议,组同步相机运动,546-555,(2016)
[6] 奥里纳斯,J。;佩蒂洛特。;萨尔维,J。;2008年人工智能研究与发展会议;加泰罗尼亚人工智能协会第11届国际会议,《大满贯问题:调查》,363-371,(2008),IOS出版社
[7] 巴托利,A。;Sturm,P.,《使用线的运动结构:表示、三角剖分和束平差》,计算机。视觉图像理解。,100416-441,(2005年)
[8] 海湾,H。;图耶特拉斯,T。;Van Gool,L.,ECCV2006:第九届欧洲计算机视觉会议,冲浪:加速鲁棒特性,404-417,(2006),Springer
[9] 博尔斯,右。;Fischler,M.,IJCAI'81:第七届人工智能国际联席会议,第2部分,基于RANSAC的模型拟合方法及其在距离数据中寻找圆柱体的应用,637-643,(1981)
[10] 品牌,M。;安东,M。;Teller,S.,ECCV2004:第八届欧洲计算机视觉会议,大规模非本征相机校准的光谱解决方案作为一个图形嵌入问题,262-273,(2004),Springer·Zbl 1098.68733号
[11] 张,P。;Hebert,M.,2000年IEEE全向视觉研讨会,《运动的全向结构》,127-133,(2000)
[12] 查特吉,A。;Govindu,V.,ICCV 2013:IEEE国际计算机视觉会议,高效和稳健的大尺度旋转平均,521-528,(2013)
[13] 丘索,A。;布鲁克特,R。;Soatto,S.,《运动的最优结构:局部模糊性和全局估计》,国际计算机杂志。视觉,39195-228,(2000)·Zbl 1012.68696
[14] 科恩,A。;扎克,C。;辛哈,S。;Pollefeys,M.,CVPR 2012:IEEE计算机视觉和模式识别会议,从运动中发现和利用结构中的3D对称性,1514-1521,(2012)
[15] 克兰德尔,D。;欧文斯,A。;斯纳夫利,N。;Huttenlocher,D.,CVPR 2011:IEEE计算机视觉和模式识别会议,大型结构运动离散连续优化,3001-3008,(2011)
[16] 库林古,M。;歌手,A。;Cowburn,D.,特征向量同步,图刚性和分子问题,Inf.推理,1,27-67,(2012)·Zbl 1278.05231
[17] 恩格尔,J。;舍普,T。;Cremers,D.,ECCV2014:第13届欧洲计算机视觉会议,LSD-SLAM:大型直接单目SLAM,834-849,(2014),Springer
[18] 富恩特斯·帕切科,J。;Ruiz Ascencio,J。;Rendón-Mancha,J.,《视觉同步定位和制图:调查》,人工智能评论,43,55-81,(2015)
[19] 古川,Y。;Ponce,J.,《精确、密集和稳健的多视角立体视觉》,IEEE Trans。肛门模式。机器。情报。,321362-1376,(2010年)
[20] 古川,Y。;庞塞,J.,pp。
[21] 古川,Y。;无卷曲,B。;塞茨,S。;Szeliski,R.,pp。
[22] 古川,Y。;无卷曲,B。;塞茨,S。;Szeliski,R.,CVPR 2010:IEEE计算机视觉和模式识别会议,走向互联网尺度的多视角立体,1434-1441,(2010)
[23] 高利茨,S。;Höllerer,T。;计算机视觉兴趣点跟踪和特征提取。视觉,94335-360,(2011)·Zbl 1235.68264
[24] 格拉克曼,J。;纳亚尔,S.,pp。
[25] 戈尔茨坦,T。;手,P。;李,C。;沃罗宁斯基,V。;Soatto,S.,ECCV 2016:第14届欧洲计算机视觉会议,ShapeFit和ShapeKick for robust,scalable structure from motion,289-304,(2016年),Springer
[26] Govindu,V.,pp。
[27] Govindu,V.,pp。
[28] 手,P。;李,C。;沃罗宁斯基,V.,pp。
[29] 手,P。;李,C。;Voroninski,V.,Shapefit:从损坏的成对方向精确定位恢复,通信纯应用。数学。,第页,(2017年)·Zbl 1423.68525
[30] Hartley,R.,为八点算法辩护,IEEE Trans。肛门模式。机器。情报。,19580-593,(1997年)
[31] 哈特利,R。;《计算机视觉中的多视图几何》,2000年版,剑桥大学出版社·Zbl 0956.68149
[32] 哈夫琳娜,M。;托里,A。;Pajdla,T.,ECCV2010:第11届欧洲计算机视觉会议,图优化运动的高效结构,100-113,(2010),Springer
[33] 哈夫琳娜,M。;托里,A。;克诺普,J。;Pajdla,T.,CVPR 2009:IEEE计算机视觉和模式识别会议,基于三联相机原子3D模型的运动随机结构,2874-2881,(2009)
[34] 赫尔南德斯,J。;佐索斯,K。;Soatto,S.,ICRA 2015:IEEE机器人与自动化国际会议,视觉辅助惯性导航的可观测性、可识别性和灵敏度,2319-2325,(2015)
[35] 江,N。;崔,Z。;Tan,P.,ICCV 2013:IEEE国际计算机视觉会议,摄像机姿态注册的全局线性方法,481-488,(2013)
[36] 江,N。;谭,P。;Cheong,L.,CVPR 2012:IEEE计算机视觉和模式识别会议,看双不混淆:高度模糊场景中的运动结构,1458-1465,(2012)
[37] 卡纳德,T。;莫里斯,D.,菲洛斯。翻译。英国皇家学会,伦敦,356,运动结构的因式分解方法,1153-1173,(1998)·Zbl 0901.68211
[38] 坎纳拉,J。;Brandt,S.,《传统广角和鱼眼镜头的通用相机模型和校准方法》,IEEE Trans。肛门模式。机器。情报。,281335-1340,(2006年)
[39] 克,Y。;Sukthankar,R.,CVPR 2004:IEEE计算机学会计算机视觉和模式识别会议,第2部分,PCA-SIFT:局部图像描述符的更独特的表示,506-513,(2004)
[40] 《从两个投影重建场景的计算机算法》,《自然》,293133-135,(1981)
[41] 卢拉基斯,M。;Argyros,A.,SBA:通用稀疏束调整软件包,ACM Trans。数学。软性。,36页,(2009年)·Zbl 1364.65052
[42] Lowe,D.,ICCV 1999:第7届IEEE计算机视觉国际会议,第2部分,局部尺度不变特征的目标识别,1150-1157,(1999)
[43] Lowe,D.,《尺度不变关键点的独特图像特征》,国际J.Comput。视觉,60,91-110,(2004年)
[44] Ma,Y。;科切卡,J。;运动和结构估计的优化准则和几何算法,国际计算机杂志。视觉,44219-249,(2001)·Zbl 0998.68197
[45] 马丁内克。;Pajdla,T.,CVPR 2003:IEEE计算机协会计算机视觉和模式识别会议,第1部分,497-502,(2003)
[46] 马丁内克。;Pajdla,T.,CVPR 2007:IEEE计算机视觉和模式识别会议,多视图重建中的鲁棒旋转和平移估计,1-8,(2007)
[47] 米库西克,B。;Pajdla,T.,宽圆视野摄像机的运动结构,IEEE Trans。肛门模式。机器。情报。,第28期,1135-1149页,(2006年)
[48] 米科拉克。;Schmid,C.,局部描述符的性能评估,IEEE Trans。肛门模式。机器。情报。,1615-1630年,(2005年)
[49] 莫隆,P。;莫纳塞,P。;Marlet,R.,ICCV 2013:IEEE国际计算机视觉会议,从运动中获得鲁棒、精确和可伸缩结构的相对运动全球融合,3248-3255,(2013)
[50] 莫隆,P。;莫纳塞,P。;Marlet,R.,pp。
[51] 莫拉格农E。;吕利埃,M。;多姆,M。;德凯泽,F。;Sayd,P.,使用局部束调整从运动中获得的一般和实时结构,图像和视觉计算,27,1178-1193,(2009)
[52] 穆塞尔斯基,P。;旺卡,P。;阿利亚加,D。;维默,M。;范古尔,L。;Purgathofer,W.,计算机图形学论坛,32,城市重建调查,146-177,(2013)
[53] Oliensis,J.,《运动算法对结构的批判》,计算机。视觉图像理解。,80172-214,(2000年)·Zbl 1010.68550
[54] 厄齐伊尔,O。;Singer,A.,CVPR 2015:IEEE计算机视觉和模式识别会议,凸规划鲁棒摄像机位置估计,2674-2683,(2015)
[55] 厄齐伊尔,O。;歌手,A。;Basri,R.,《使用凸规划的稳定摄像机运动估计》,暹罗J.成像科学。,81220-1262,(2015年)·Zbl 1341.68287
[56] 帕乔里,D。;康多,R。;萨格尔,G。;辛格,V。;Ghahramani,Z.,神经信息处理系统的进展27,置换扩散图(PDM)及其在计算机视觉图像关联问题中的应用,541-549,(2014),Curran Associates
[57] 波利菲,M。;Nistér,D。;弗拉姆,J.-M。;阿克巴尔扎德,A。;莫尔多海,P。;克利普,B。;恩格斯,C。;盖洛普,D。;金,S.-J。;梅雷尔,P。;萨尔米,C。;辛哈,S。;塔尔顿,B。;王,L。;杨,Q。;炖牛乳。;杨,R。;韦尔奇,G。;Towles,H.,《基于视频的详细实时城市三维重建》,国际J.Comput。视觉,78143-167,(2008年)
[58] 全,L。;Kanade,T.,《未标定仿射相机线对应的仿射结构》,IEEE Trans。肛门模式。机器。情报。,19834-845,(1997年)
[59] 拉马林厄姆。;洛达,S。;Sturm,P.,“来自运动框架的通用结构”,Comput。视觉图像理解。,103218-228,(2006年)
[60] 罗伯茨,R。;辛哈,S。;塞利斯基,R。;斯特利,D。;Szeliski,R.,CVPR 2011:IEEE计算机视觉和模式识别会议,大型重复结构场景的运动结构,3137-3144,(2011)
[61] 沙夫利茨基。;Zisserman,A.,ECCV2002:第七届欧洲计算机视觉会议,第1部分,无序图像集的多视图匹配,或“如何组织我的假日快照?”?,414-431,(2002年),施普林格·Zbl 1034.68662
[62] 辛德勒。;克里希那穆尔蒂,P。;Dellaert,F.,第三届三维数据处理、可视化和传输国际研讨会,《城市环境中基于运动的线结构》,846-853,(2006),IEEE
[63] 舍恩伯格,J。;弗拉姆,J.-M。,CVPR 2016:IEEE计算机视觉和模式识别会议,重新审视运动结构,4104-4113,(2016)
[64] 舍恩伯格,J。;郑,E。;弗拉姆,J.-M。;Pollefeys,M.,ECCV2016:第14届欧洲计算机视觉会议,第三部分,非结构化多视点立体图像像素选择,501-518,(2016),Springer
〔65〕 沙克尼亚,O。;维达尔,R。;Sastry,S.,CVPRW 2003:计算机视觉和模式识别研讨会,第7部分,反投影流的全方位自我运动估计,82-82,(2003)
[66] Singer,A.,“特征向量与半定规划的角同步”,应用。计算机。哈蒙。肛门。,30,20-36,(2011年)·Zbl 1206.90116
[67] 辛哈,S。;斯特利,D。;Szeliski,R.,ECCV2010研讨会:计算机视觉的趋势和主题,第二部分,从运动到结构的多阶段线性方法,267-281,(2010),Springer
[68] 斯纳夫利,N。;塞茨,S。;Szeliski,R.,ACM Trans。图表。,25,摄影旅游:探索3D照片收藏,835-846,(2006)
〔69〕 斯纳夫利,N。;塞茨,S。;Szeliski,R.,国际计算机杂志。视觉,80岁,从互联网照片集模拟世界,189-210,(2008)
[70] 斯纳夫利,N。;塞茨,S。;Szeliski,R.,CVPR 2008:IEEE计算机视觉和模式识别会议,运动有效结构的骨架图,1-8,(2008)
[71] Soatto,S.,《来自视觉运动的三维结构:建模、表示和可观测性》,Automatica,331287-1312,(1997)·Zbl 0880.93008
[72] 斯特雷查,C。;汉森W。;范古尔,L。;福亚,P。;Thoennessen,U.,CVPR 2008:IEEE计算机视觉和模式识别会议,高分辨率图像的基准相机校准和多视角立体,1-8,(2008)
[73] 斯特姆,P。;Triggs,B.,ECCV'96:第四届欧洲计算机视觉会议,第二部分,基于因子分解的多图像投影结构和运动算法,709-720,(1996),Springer
[74] 斯威尼,C.,pp。
[75] 泰勒,C。;Kriegman,D.,“多幅图像中线段的结构和运动”,IEEE Trans。肛门模式。机器。情报。,171021-1032,(1995年)
[76] 托马西,C。;Kanade,T.,“正交法下图像流的形状和运动:因子分解方法”,Int.J.Comput。视觉,9137-154,(1992年)
[77] Triggs,B.,CVPR'96:IEEE计算机学会计算机视觉和模式识别会议,投影结构和运动的因子分解方法,845-851,(1996)
[78] 特里格斯,B。;麦克劳克兰,P。;哈特利,R。;Fitzgibbon,A.,视觉算法:理论与实践,束调整:现代综合,298-375,(2000),斯普林格
[79] 特隆,R。;Vidal,R.,“基于2-D图像测量的摄像机传感器网络分布式三维定位”,IEEE Trans。自动控制,593325-3340,(2014)·Zbl 1360.94048号
[80] 特隆,R。;周,X。;Danilidis,K.,IEEE计算机视觉和模式识别会议(CVPR)研讨会,结构旋转优化的调查,77-85,(2016)
[81] 佐索斯,K。;丘索,A。;Soatto,S.,ICRA 2015:IEEE机器人与自动化国际会议,视觉惯性传感器融合的鲁棒推理,5203-5210,(2015)
[82] 图耶特拉斯,T。;Mikolajczyk,K.,“局部不变特征检测器:调查”,发现。趋势计算。图形视觉,3177-280,(2008)
[83] 韦达尔迪,A。;吉迪,G。;2007年美国电气与电子工程师协会(IEEE)2007年向前运动模式识别会议(CVS-2007)
[84] 王,L。;Singer,A.,鲁棒同步旋转的精确和稳定恢复,Inf.推断,2145-193,(2013)·Zbl 1309.65070
[85] 威尔逊,K。;Snavly,N.,ICCV 2013:IEEE国际计算机视觉会议,SfM网络原理:用局部上下文消除重复结构的歧义,513-520,(2013)
[86] 威尔逊,K。;Snavly,N.,ECCV2014:第13届欧洲计算机视觉会议,第三部分,强大的全球翻译1DSfM,61-75,(2014),Springer
[87] 吴,C.,pp。
[88] 吴,C.,pp。
[89] 吴,C。;阿加瓦尔S。;无卷曲,B。;Seitz,S.,CVPR 2011:IEEE计算机视觉和模式识别会议,多核束调整,3057-3064,(2011)
[90] 尤恩斯,G。;阿斯玛,D。;萨姆马斯,E.,pp。
[91] 扎克,C。;克洛普希茨,M。;Pollefeys,M.,CVPR 2010:IEEE计算机视觉和模式识别会议,使用循环约束消除视觉关系,1426-1433,(2010)
[92] Zhang,Z.,“确定极线几何及其不确定性:综述”,国际计算机杂志。视觉,27161-195,(1998)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。