奥努尔奥齐耶沙伊尔;弗拉迪斯拉夫·沃罗宁斯基;罗恩·巴斯里;Amit歌手 从运动角度观察结构。 （英语） 兹比尔1377.65027 数字学报 26, 305-364 (2017). 摘要：计算机视觉中的运动结构（SfM）问题是通过估计与这些图像对应的摄像机的运动，从一组投影测量值（表示为二维（2D）图像的集合）中恢复静止场景的三维（3D）结构。本质上，SfM涉及三个主要阶段：（i）提取图像中的特征（例如，兴趣点、线等）并在图像之间匹配这些特征，（ii）相机运动估计（例如，使用从提取的特征估计的相对成对相机位置），以及（iii）使用估计的运动和特征恢复3D结构（例如，通过最小化所谓的重投影误差）。本调查主要关注与阶段（ii）和（iii）相关的文献中相对较新的发展。更具体地说，在介绍了运动和结构估计的早期基于因子分解的技术之后，我们详细介绍了文献中的一些最近的摄像机位置估计方法，然后讨论了3D结构恢复的显著技术。我们还介绍了同步定位和映射（SLAM）问题的基本知识，可以将其视为SfM问题的一个特定案例。此外，我们的调查还包括对特征提取和匹配的基本原理（即上述第（i）阶段）的回顾，处理3D场景中模糊性的各种最新方法，涉及相对不常见的相机模型和图像特征的SfM技术，以及流行的数据源和SfM软件。 引用于11文件 MSC公司： 65D18天 计算机图形、图像分析和计算几何的数值方面 94A08型 信息与通信理论中的图像处理（压缩、重建等） 关键词：图像恢复;运动结构问题;计算机视觉;调查;摄像机位置估计方法;同时定位和映射 软件：PCA-SIFT公司;SBA公司;冲浪;SIFT公司;LSD-SLAM系统 PDF格式BibTeX公司 XML格式引用 \textit{O.zyešil}等人，《数值学报》26，305-364（2017；Zbl 1377.65027） 全文： 内政部 arXiv公司 参考文献： [1] 阿加瓦尔，S。；Snavely，N。；塞茨，S。；Szeliski，R.，ECCV 2010:第11届欧洲计算机视觉会议，第二部分，捆绑调整，29-42，（2010），斯普林格·doi:10.1007/978-3642-15552-93 [2] 阿加瓦尔，S。；Snavely，N。；西蒙，I。；塞茨，S。；Szeliski，R.，ICCV 2009:第十二届IEEE国际计算机视觉会议，《一天内建成罗马》，第页，（2009） [3] Aliaga，D.，ICCV 2001:第八届IEEE计算机视觉国际会议，房间大小环境中实时姿态估计的精确折反射校准，127-134，（2001）·doi:10.1109/ICCV.2001.937508 [4] Arie-Nachimson，M。；科瓦斯基，S。；Kemelmacher-Shlizerman，I。；辛格，A。；Basri，R.，3DimPVT 2012:第二届IEEE三维成像、建模、处理、可视化和传输国际会议，基于点匹配的全球运动估计，81-88，（2012）·doi:10.1109/3DIMPVT.2012.46 [5] Arrigoni，F。；Fusiello，A。；Rossi，B.，3DV 2016:第四届IEEE三维视觉国际会议，来自群组同步的摄像机运动，546-555，（2016）·doi:10.1009/3DV.2016.64 [6] Aulinas，J。；佩蒂略，Y。；萨尔维，J。；Lladó，X.，2008年人工智能研究与发展会议；加泰罗尼亚人工智能协会第十一届国际会议，《SLAM问题：调查》，363-371，（2008），IOS出版社 [7] 巴托利，A。；Sturm，P.，《使用直线的结构-自运动：表示、三角剖分和束调整》，计算。视觉图像理解。，100, 416-441, (2005) ·doi:10.1016/j.cviu.2005.06.001 [8] H.海湾。；Tuytelaars，T.等人。；Van Gool，L.，ECCV 2006:第九届欧洲计算机视觉会议，SURF：加速强大功能，404-417，（2006），Springer·doi:10.1007/11744023_32 [9] 博尔斯，R。；Fischler，M.，IJCAI’81：第七届国际人工智能联合会议，第2部分，基于RANSAC的模型拟合方法及其在测距数据中寻找圆柱的应用，637-643，（1981） [10] 布兰德，M。；安东尼，M。；Teller，S.，ECCV 2004:第八届欧洲计算机视觉会议，作为图形嵌入问题的大规模非本征摄像机标定的光谱解决方案，262-273，（2004），Springer·Zbl 1098.68733号 ·数字对象标识代码：10.1007/978-3-540-24671-8_21 [11] Chang，P。；Hebert，M.，2000年IEEE全方位视觉研讨会，运动中的全方位结构，127-133，（2000） [12] 查特吉，A。；Govindu，V.，ICCV 2013:IEEE国际计算机视觉会议，高效稳健的大规模旋转平均，521-528，（2013）·doi:10.1109/ICCV.2013.70 [13] Chiuso，A。；布罗科特，R。；Soatto，S.，《来自运动的最佳结构：局部模糊性和全局估计》，《国际计算杂志》。愿景，39195-228，（2000）·Zbl 1012.68696号 ·doi:10.1023/A:1026563712076 [14] 科恩，A。；扎克，C。；辛哈，S。；Pollefeys，M.，CVPR 2012:IEEE计算机视觉和模式识别会议，从运动中发现和利用结构中的3D对称性，1514-1521，（2012）·doi:10.1109/CVPR.2012.6247841 [15] 克兰德尔，D。；A.欧文斯。；Snavely，N。；Huttenlocher，D.，CVPR 2011:IEEE计算机视觉和模式识别会议，基于运动的大型结构离散连续优化，3001-3008，（2011）·doi:10.1109/CVPR.2111.5995626 [16] 库库林古（M.Cucuringu）。；辛格，A。；Cowburn，D.，特征向量同步，图刚性和分子问题，Inf.Inference，1，27-67，（2012）·Zbl 1278.05231号 [17] 恩格尔，J。；Schöps，T.等人。；Cremers，D.，ECCV 2014:第13届欧洲计算机视觉会议，LSD-SLAM：大尺度直接单目SLAM，834-849，（2014），Springer [18] Fuentes-Pacheco，J。；鲁伊斯·阿森西奥，J。；Rendón-Mancha，J.，《视觉同步定位和制图：一项调查》，《人工智能评论》，43，55-81，（2015）·doi:10.1007/s10462-012-9365-8 [19] Y.Furukawa。；Ponce，J.，《精确、密集和稳健的多视角立体视觉》，IEEE Trans。模式分析。机器。英特尔。，32, 1362-1376, (2010) ·doi:10.1109/TPAMI.2009.161 [20] Y.Furukawa。；彭斯，J.，pp。 [21] Y.Furukawa。；Curless，B。；塞茨，S。；塞利斯基，R.，pp。 [22] Y.Furukawa。；Curless，B。；塞茨，S。；Szeliski，R.，CVPR 2010:IEEE计算机视觉和模式识别会议，走向互联网多视角立体，1434-1441，（2010）·doi:10.1109/CVPR.2010.5539802 [23] Gauglitz，S。；Höllerer，T.等人。；Turk，M.，《视觉跟踪兴趣点检测器和特征描述符的评估》，国际计算机杂志。愿景，94，335-360，（2011）·Zbl 1235.68264号 ·doi:10.1007/s11263-011-0431-5 [24] Gluckman，J。；纳亚尔，S.，pp。 [25] Goldstein，T。；Hand，P。；Lee，C。；沃罗宁斯基，V。；Soatto，S.，ECCV 2016:第14届欧洲计算机视觉、ShapeFit和ShapeKick会议，从运动中获得健壮、可伸缩的结构，289-304，（2016），Springer·数字对象标识代码：10.1007/978-3-319-46478-7_18 [26] 戈文杜，V.，pp。 [27] 戈文杜，V.，pp。 [28] Hand，P。；Lee，C。；沃罗宁斯基，V.，pp。 [29] 手，P。；Lee，C。；Voroninski，V.，Shapefit:从损坏的两两方向精确恢复位置，Comm.Pure Appl。数学。，第页，（2017）·兹比尔1423.68525 [30] Hartley，R.，为八点算法辩护，IEEE Trans。模式分析。机器。英特尔。，19, 580-593, (1997) ·doi:10.1109/34.601246 [31] 哈特利，R。；Zisserman，A.，《计算机视觉中的多视图几何》，第页，（2000），剑桥大学出版社·Zbl 0956.68149号 [32] 哈夫勒纳，M。；托里，A。；Pajdla，T.，ECCV 2010:第11届欧洲计算机视觉会议，通过图形优化从运动中获得高效结构，100-113，（2010），Springer·doi:10.1007/978-3642-15552-98 [33] 哈夫勒纳，M。；托里，A。；Knopp，J。；Pajdla，T.，CVPR 2009:IEEE计算机视觉和模式识别会议，基于来自相机三胞胎的原子3D模型的运动随机结构，2874-2881，（2009）·doi:10.1109/CVPR.2009.5206677 [34] 赫尔南德斯，J。；Tsotsos，K。；Soatto，S.，ICRA 2015:IEEE机器人与自动化国际会议，视觉辅助惯性导航的可观测性、可识别性和灵敏度，2319-2325，（2015）·doi:10.1109/ICRA.2015.7139507 [35] 蒋，N。；崔，Z。；Tan，P.，ICCV 2013:IEEE计算机视觉国际会议，摄像机姿势注册的全局线性方法，481-488，（2013）·doi:10.1109/ICCV.2013.66 [36] 蒋，N。；Tan，P。；Cheong，L.，CVPR 2012:IEEE计算机视觉和模式识别会议，无混淆的双重视觉：高度模糊场景中的运动结构，1458-1465，（2012）·doi:10.1109/CVPR.2012.6247834 [37] Kanade，T。；莫里斯·D·菲洛斯。变速器。伦敦皇家学会，356，运动结构分解方法，1153-1173，（1998）·Zbl 0901.68211号 [38] 坎纳拉，J。；Brandt，S.，常规、广角和鱼眼镜头的通用相机模型和校准方法，IEEE Trans。模式分析。机器。英特尔。，28, 1335-1340, (2006) ·doi:10.1109/TPAMI.2006.153 [39] Ke，Y。；Sukthankar，R.，CVPR 2004:IEEE计算机学会计算机视觉和模式识别会议，第2部分，PCA-SIFT:局部图像描述符的更独特表示，506-513，（2004） [40] Longuet-Higgins，H.，从两个投影重建场景的计算机算法，《自然》，293133-135，（1981）·数字对象标识代码：10.1038/293133a0 [41] Lourakis，M。；Argyros，A.，SBA：通用稀疏束调整软件包，ACM Trans。数学。软质。，36，第页，（2009）·Zbl 1364.65052号 ·doi:10.1145/1486525.1486527 [42] Lowe，D.，ICCV 1999:第七届IEEE计算机视觉国际会议，第2部分，局部尺度变化特征的目标识别，1150-1157，（1999） [43] Lowe，D.，《尺度不变关键点的独特图像特征》，国际计算机杂志。愿景，60，91-110，（2004）·doi:10.1023/B:VISI.0000029664.99615.94 [44] 马，Y。；Košecká，J。；Sastry，S.，运动和结构估计的优化标准和几何算法，国际计算杂志。《愿景》，44，219-249，（2001）·Zbl 0998.68197号 ·doi:10.1023/A:1012276232049 [45] Martinec，D。；Pajdla，T.，CVPR 2003:IEEE计算机学会计算机视觉和模式识别会议，第1部分，497-502，（2003） [46] Martinec，D。；Pajdla，T.，CVPR 2007:IEEE计算机视觉和模式识别会议，多视图重建中的稳健旋转和平移估计，1-8，（2007）·doi:10.1109/CVPR.2007.383115 [47] 米库西克，B。；Pajdla，T.，《宽圆形视野摄像机的运动结构》，IEEE Trans。模式分析。机器。英特尔。，28, 1135-1149, (2006) ·doi:10.1109/TPAMI.2006.151 [48] Mikolajczyk，K。；Schmid，C.，局部描述符的性能评估，IEEE Trans。模式分析。机器。英特尔。，27, 1615-1630, (2005) ·doi:10.1109/TPAMI.2005.188 [49] 穆隆，P。；莫纳斯，P。；Marlet，R.，ICCV 2013:IEEE国际计算机视觉会议，从运动中获得稳健、准确和可伸缩结构的相对运动全球融合，3248-3255，（2013）·doi:10.1109/ICCV.2013.403 [50] 穆隆，P。；莫纳斯，P。；马列，R.，pp。 [51] Mouragnon，E。；Lhuillier，M。；Dhome，M。；Dekeyser，F。；Sayd，P.，使用局部束调整从运动中获得的通用和实时结构，图像和视觉计算，271178-1193，（2009）·doi:10.1016/j.imavis.2008.11.006 [52] 穆西亚尔斯基，P。；Wonka，P。；Aliaga博士。；Wimmer，M。；Van Gool，L.公司。；Purgathofer，W.，计算机图形论坛，32，城市重建调查，146-177，（2013） [53] Oliensis，J.，《结构自运动算法批判》，《计算》。视觉图像理解。，80, 172-214, (2000) ·Zbl 1010.68550号 ·doi:10.1006/cviu.2000.0869 [54] 奥扎伊沙伊尔。；Singer，A.，CVPR 2015：IEEE计算机视觉和模式识别会议，通过凸规划进行鲁棒相机位置估计，2674-2683，（2015） [55] 奥扎伊沙伊尔。；辛格，A。；Basri，R.，使用凸规划进行稳定摄像机运动估计，SIAM J.成像科学。，8, 1220-1262, (2015) ·Zbl 1341.68287号 ·数字对象标识代码：10.1137/140977576 [56] 帕乔里，D。；康多，R。；Sargur，G。；辛格，V。；Ghahramani，Z.，《神经信息处理系统的进展》27，置换扩散图（PDM）及其在计算机视觉图像关联问题中的应用，541-549，（2014），Curran Associates [57] Pollefeys，M.（波莱菲，M.）。；Nistér，D。；弗拉姆，J.-M。；Akbarzadeh，A。；Mordohai，P。；Clipp，B。；恩格斯，C。；盖洛普，D。；Kim，S.-J。；梅雷尔，P。；Salmi，C。；辛哈，S。；塔尔顿，B。；Wang，L。；杨琼。；Stewénius，H。；Yang，R。；韦尔奇，G。；Towles，H.，《基于视频的详细实时城市3D重建》，国际计算机杂志。愿景，78，143-167，（2008）·doi:10.1007/s11263-007-0086-4 [58] 权，L。；Kanade，T.，从与未校准仿射相机的线对应中仿射结构，IEEE Trans。模式分析。机器。英特尔。，19834-845（1997）·doi:10.1109/34.608285 [59] 拉马林加姆，S。；Lodha，S。；Sturm，P.，“一个通用的结构-移动框架”，计算。视觉图像理解。，103, 218-228, (2006) ·doi:10.1016/j.cviu.2006.06.006 [60] 罗伯茨，R。；辛哈，S。；Szeliski，R。；斯蒂德利，D。；Szeliski，R.，CVPR 2011:IEEE计算机视觉和模式识别会议，具有大型重复结构的场景的运动结构，3137-3144，（2011）·doi:10.1109/CVPR.2111.5995549 [61] Schafalitzky，F。；Zisserman，A.，ECCV 2002:第七届欧洲计算机视觉会议，第1部分，无序图像集的多视图匹配，或“我如何组织我的假日快照？”？，414-431（2002），斯普林格出版社·Zbl 1034.68662号 ·数字对象标识代码：10.1007/3-540-47969-4_28 [62] 辛德勒，G。；克里希纳穆尔西，P。；Dellaert，F.，第三届3D数据处理、可视化和传输国际研讨会，城市环境中基于线路的运动结构，846-853，（2006），IEEE·doi:10.1109/3DPVT.2006.90 [63] Schönberger，J。；Frahm，J.-M.，CVPR 2016:IEEE计算机视觉和模式识别会议，结构-动作重温，4104-4113，（2016）·doi:10.1109/CVPR.2016.445 [64] Schönberger，J。；郑毅。；弗拉姆，J.-M。；Pollefeys，M.，ECCV 2016:第十四届欧洲计算机视觉会议，第三部分，非结构化多视点立体声的像素视图选择，501-518，（2016），Springer·doi:10.1007/978-3-319-46487-9_31 [65] 莎士比亚，O。；维达尔，R。；Sastry，S.，CVPRW 2003：计算机视觉和模式识别研讨会，第7部分，基于反向投影流的全方位自我运动估计，82-82，（2003）·doi:10.1109/CVPRW.2003.10074 [66] Singer，A.，“通过特征向量和半定规划实现角度同步”，应用。计算。哈蒙。分析。，30, 20-36, (2011) ·Zbl 1206.90116号 ·doi:10.1016/j.aca.2010.02.001 [67] 辛哈，S。；斯蒂德利，D。；Szeliski，R.，《ECCV 2010研讨会：计算机视觉的趋势和主题》，第二部分，从运动到结构的多阶段线性方法，267-281，（2010），Springer [68] Snavely，N。；塞茨，S。；Szeliski，R.，ACM翻译。图表。，25，摄影旅游：探索3D照片收藏，835-846，（2006） [69] Snavely，N。；塞茨，S。；Szeliski，R.，《国际计算杂志》。Vision，80岁，从互联网照片集塑造世界，189-210，（2008） [70] Snavely，N。；塞茨，S。；Szeliski，R.，CVPR 2008:IEEE计算机视觉和模式识别会议，运动中有效结构的骨架图，1-8，（2008）·doi:10.1109/CVPR.2008.4587678 [71] Soatto，S.，《来自视觉运动的三维结构：建模、表示和可观察性》，Automatica，331287-1312，（1997）·Zbl 0880.93008号 ·doi:10.1016/S0005-1098（97）00048-4 [72] 斯特里查，C。；Hansen，W。；Van Gool，L.公司。；Fua，P。；Thoennessen，U.，CVPR 2008：IEEE计算机视觉和模式识别会议，关于高分辨率图像的基准相机校准和多视图立体，1-8，（2008）·doi:10.1109/CVPR.2008.4587706 [73] Sturm，P。；Triggs，B.，ECCV’96:第四届欧洲计算机视觉会议，第二部分，基于因子分解的多图像投影结构和运动算法，709-720，（1996），施普林格·doi:10.1007/3-540-61123-1183 [74] 斯威尼，C.，pp。 [75] 泰勒，C。；Kriegman，D.，“多幅图像中线段的结构和运动”，IEEE Trans。模式分析。机器。英特尔。，17, 1021-1032, (1995) ·doi:10.1109/34.473228 [76] 托马西，C。；Kanade，T.，“正字法下图像流的形状和运动：因式分解方法”，《国际计算机杂志》。愿景，9137-154，（1992）·doi:10.1007/BF00129684 [77] Triggs，B.，CVPR’96:IEEE计算机学会计算机视觉和模式识别会议，投影结构和运动的因子分解方法，845-851，（1996） [78] 触发器，B。；McLauchlan，P。；哈特利，R。；Fitzgibbon，A.，《视觉算法：理论与实践》，《束调整：现代综合》，298-375，（2000），施普林格出版社·数字对象标识代码：10.1007/3-540-44480-7_21 [79] Tron，R.等人。；Vidal，R.，“基于2-D图像测量的摄像机传感器网络的分布式3-D定位”，IEEE Trans。自动控制，593325-3340，（2014）·兹比尔1360.94048 ·doi:10.1109/TAC.2014.2351912 [80] 特隆·R。；周，X。；Danilidis，K.，IEEE计算机视觉和模式识别会议（CVPR）研讨会，从运动角度研究结构旋转优化，77-85，（2016） [81] Tsotsos，K。；Chiuso，A。；Soatto，S.，ICRA 2015:IEEE机器人与自动化国际会议，视觉惯性传感器融合的鲁棒推理，5203-5210，（2015）·doi:10.1109/ICRA.2015.7139924 [82] Tuytelaars，T.等人。；Mikolajczyk，K.，“局部不变特征检测器：一项调查”，Found。趋势计算。图形视觉，3177-280，（2008）·doi:10.1561/0600000017 [83] Vedaldi，A。；Guidi，G。；Soatto，S.，CVPR 2007:IEEE计算机视觉和模式识别会议，从运动中推进结构，1-7，（2007） [84] Wang，L。；Singer，A.，《稳健同步旋转的精确和稳定恢复》，Inf.Inference，2145-193，（2013）·Zbl 1309.65070号 ·doi:10.1093/imaiai/iat005 [85] 威尔逊，K。；Snavely，N.，ICCV 2013:IEEE国际计算机视觉会议，SfM的网络原则：消除重复结构与本地上下文的歧义，513-520，（2013）·doi:10.1109/ICCV.2013.69 [86] 威尔逊，K。；Snavely，N.，ECCV 2014:第13届欧洲计算机视觉会议，第三部分，使用1DSfM进行稳健的全球翻译，61-75，（2014），Springer [87] 吴，C.，pp。 [88] Wu，C.，pp。 [89] 吴，C。；阿加瓦尔，S。；Curless，B。；Seitz，S.，CVPR 2011:IEEE计算机视觉和模式识别会议，多核束调整，3057-3064，（2011）·doi:10.1109/CVPR.2111.5995552 [90] Younes，G。；Asmar，D。；沙马斯，E.，pp。 [91] 扎克，C。；Klopschitz，M。；Pollefeys，M.，CVPR 2010:IEEE计算机视觉和模式识别会议，使用循环约束消除视觉关系歧义，1426-1433，（2010）·doi:10.1109/CVPR.2010.5539801 [92] Zhang，“确定外极几何及其不确定性：综述”，《国际计算杂志》。愿景，27161-195，（1998）·doi:10.1023/A:1007941100561 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。