×
米罗斯拉发斯拉夫切娃;Kehl，瓦迪姆;纳赛尔·纳瓦布;伊利克、斯洛博丹

SDF-2-SDF配准用于RGB-D数据的实时3D重建。 （英语） Zbl 1458.68253号

国际期刊计算。视觉。 126，第6期，615-636（2018）.
小结：我们解决了从RGB-D数据进行密集三维重建的任务。与大多数现有方法相反，我们不仅关注轨迹估计精度，还关注重建精度。关键技术是SDF-2-SDF配准，这是一种无对应、对称、稠密能量最小化方法，通过一对符号距离场之间的直接体素差异来实现。与传统的点云注册和云到卷对齐技术相比，它具有更宽的汇聚域。此外，其公式允许直接合并光度和其他几何约束。我们在两个应用程序中使用SDF-2-SDF注册。首先，我们完全在CPU上执行中小型对象重建。为此，摄像机被实时逐帧跟踪。然后，在不涉及姿势图的轻量级优化框架中，对初始姿势估计进行全局优化。我们将这些过程结合到我们的第二个全实时应用程序中，用于更大规模的对象重建和SLAM。它是作为一个混合系统实现的，其中跟踪是在GPU上完成的，而优化是在CPU上的批处理上并发运行的。为了绑定内存和运行时封装外形，注册是在固定数量的有限扩展卷上进行的，这些卷固定在几何图形丰富的位置。对多个公共RGB-D数据集的弹道精度和模型保真度进行了广泛的定性和定量评估，这些数据集由各种质量传感器采集，与相关技术相比，精度更高。

MSC公司：

68T45型 机器视觉和场景理解
68单位10 图像处理的计算方法

关键词：

符号距离字段;登记;三维重建;摄像机跟踪;全局优化;RGB-D传感器

软件：

氧化亚汞;PCL公司;github;数据采集模块;KinectFusion公司
PDF格式BibTeX公司 XML格式引用
\textit{M.Slavcheva}等人，《国际计算杂志》。视觉。126，第6号，615--636（2018；Zbl 1458.68253）
全文： DOI程序

参考文献：

[1] Adalsteinson，D.和Sethian，J.A.（1995）。传播接口的快速级别集方法。计算物理杂志，118（2），269-277·兹伯利0823.65137 ·doi:10.1006/jcph.1995.1098
[2] Alexandre，L.A.（2012年）。物体和类别识别的3D描述符：比较评估。在IEEE/RSJ智能机器人和系统国际会议（IROS）上举行的机器人彩色深度相机融合研讨会上。
[3] Besl，P.J.和McKay，N.D.（1992年）。一种三维形状的配准方法。IEEE模式分析和机器智能汇刊（PAMI），14（2），239-256·doi:10.1009/34.121791
[4] Blender项目：免费开放的3D创建软件。https://www.blender.org/。上次访问时间：2017年3月30日。
[5] Bo，L.、Ren，X.和Fox，D.（2011年）。用于对象识别的深度内核描述符。在IEEE/RSJ智能机器人和系统（IROS）国际会议上。
[6] Bylow，E.、Olsson，C.和Kahl，F.（2014）。通过结合颜色和深度测量实现稳健的相机跟踪。在国际模式识别会议（ICPR）上。
[7] Bylow，E.、Sturm，J.、Kerl，C.、Kahl，F.和Cremers，D.（2013年）。使用符号距离函数进行实时相机跟踪和三维重建。机器人：科学与系统会议（RSS）。
[8] Canelhas，D.（2017）。sdf_tracker-ROS Wiki。http://wiki.ros.org/sdf_tracker。上次访问时间：2017年3月30日。
[9] Canelhas，D.R.、Stoyanov，T.和Lilienthal，A.J.（2013）。SDF跟踪器：一种从深度图像进行在线姿势估计和场景重建的并行算法。在IEEE/RSJ智能机器人和系统（IROS）国际会议上。
[10] Chen，Y.和Medioni，G.（1991）。通过多幅距离图像的配准进行对象建模。参加IEEE机器人与自动化国际会议（ICRA）。
[11] Chen，J.、Bautembach，D.和Izadi，S.（2013）。可缩放实时体积曲面重建。ACM图形学报，32（4），113·Zbl 1305.68219号
[12] Choi，S.，Zhou，Q.Y.，&Koltun，V.（2015）《室内场景的稳健重建》。在IEEE计算机视觉和模式识别会议（CVPR）上。
[13] Choi，S.、Zhou，Q.、Miller，S.和Koltun，V.（2016）。对象扫描的大型数据集。arXiv:1602.02481。
[14] Clarenz，U.、Rumpf，M.和Telea，A.（2004）。基于矩分析的曲面鲁棒特征检测和局部分类。IEEE可视化和计算机图形汇刊，10（5），516-524·doi:10.1109/TVCG.2004.34
[15] CloudCompare：三维点云和网格处理软件。http://www.danielgm.net/cc/。上次访问时间：2017年3月30日。
[16] Curless，B.和Levoy，M.（1996年）。从距离图像构建复杂模型的体积方法。在第23届计算机图形和交互技术年会上，SIGGRAPH’96，第303-312页。
[17] Dimashova，M.、Lysenkov，I.、Rabaud，V.和Eruhimov，V.（2013）。使用RGB-D传感器进行桌面对象扫描。2013年IEEE机器人与自动化国际会议（ICRA）语义感知、映射和探索（SPME）第三次研讨会。
[18] Drost，B.、Ulrich，M.、Navab，N.和Ilic，S.（2010）全球模型，局部匹配：高效且稳健的3D物体识别。在IEEE计算机视觉和模式识别会议（CVPR）上。
[19] Endres，F.、Hess，J.、Engelhard，N.、Sturm，J.，Cremers，D.和Burgard，W.（2012年）。RGB-D SLAM系统评估。参加IEEE机器人与自动化国际会议（ICRA）。
[20] Fioraio，N.、Taylor，J.、Fitzgibbon，A.、Di Stefano，L.和Izadi，S.（2015）。使用在线子体配准进行大规模无漂移曲面重建。在IEEE计算机视觉和模式识别会议（CVPR）上。
[21] Fischler，M.A.和Bolles，R.C.（1981年）。随机样本一致性：模型拟合的范例，应用于图像分析和自动制图。ACM通讯，24（6），381-395·数字对象标识代码：10.1145/358669.358692
[22] Gelfand，N.、Mitra，N.J.、Guibas，L.J.和Pottmann，H.（2005）。强大的全局注册。第三届欧洲制图几何处理研讨会（SGP）。
[23] Henry，P.、Fox，D.、Bhowmik，A.和Mongia，R.（2013）。修补程序体积：使用RGB-D相机进行基于分段的一致映射。在3D视觉国际会议（3DV）上。
[24] Henry，P.、Krainin，M.、Herbst，E.、Ren，X.和Fox，D.（2010年）。RGB-D制图：使用深度相机对室内环境进行密集的3D建模。在实验机器人国际研讨会上。
[25] Holzer，S.、Shotton，J.和Kohli，P.（2012）。学习有效检测深度数据中可重复的兴趣点。在欧洲计算机视觉会议（ECCV）。
[26] Houston，B.、Nielsen，M.B.、Batty，C.、Nilsson，O.和Museth，K.（2006年）。层次RLE级别集：一种紧凑且通用的可变形曲面表示。ACM图形交易（TOG），25（1），151-175·doi:10.1145/1122501.1122508
[27] Ioannou，Y.、Taati，B.、Harrap，R.和Greenspan，M.A.（2012年）。法线差作为无组织点云中的多尺度操作符。第二届国际3D成像、建模、处理、可视化和传输会议（3DIMPVT）。
[28] Izadi，S.、Kim，D.、Hilliges，O.、Molyneaux，D.、Newcombe，R.、Kohli，P.、Shotton，J.、Hodges，S.、Freeman，D.、Davison，A.和Fitzgibbon，A.（2011）。KinectFusion：使用移动深度相机进行实时3D重建和交互。在ACM用户界面软件和技术（UIST）研讨会上。
[29] Johnson，A.E.和Hebert，M.（1999）。在杂乱的3D场景中使用旋转图像进行有效的对象识别。IEEE模式分析和机器智能汇刊（PAMI），21（5），433-449·doi:10.1109/34.765655
[30] Johnson，A.和Kang，S.B.（1999年）。纹理3D数据的注册和集成。图像和视觉计算，17，135-147·doi:10.1016/S0262-8856（98）00117-6
[31] Kähler，O.、Prisacariu，V.A.、Ren，C.Y.、Sun，X.、Torr，P.和Murray，D.（2015）。移动设备上深度图像的极高帧速率体积集成。IEEE可视化和计算机图形学报（TVCG），21（11），1241-1250·doi:10.1109/TVCG.2015.2459891
[32] Kehl，W.、Holl，T.、Tombari，F.、Ilic，S.和Navab，N.（2016）。一种基于八叉树的有效变距数据融合方法。在英国机器视觉会议（BMVC）上。
[33] Kehl，W.、Navab，N.和Ilic，S.（2014）。彩色符号距离场，用于完整的3D对象重建。英国机器视觉会议（BMVC）论文集。
[34] Keller，M.、Lefloch，D.、Lambers，M.，Izadi，S.、Weyrich，T.和Kolb，A.（2013）。基于点融合的动态场景实时三维重建。2013年国际3D视觉会议（3DV）。
[35] Kerl，C.（2017）。GitHub-tum-vision/dvo：密集视觉里程表。https://github.com/tum-vision/dvo。上次访问时间：2017年3月30日。
[36] Kerl，C.、Sturm，J.和Cremers，D.（2013年）。RGB-D相机的稳健里程估计。在IEEE国际机器人与自动化会议（ICRA）上。
[37] Khoshelham，K.和Elberink，S.O.（2012）。室内制图应用中动态深度数据的精度和分辨率。传感器，12（2），1437-1454·数字对象标识代码：10.3390/s120201437
[38] 点云库（PCL）中的KinectFusion实现。https://github.com/PointCloudLibrary/pcl/tree/master/gpu/kinfu。上次访问时间：2017年3月30日。
[39] Klein，G.和Murray，D.（2007年）。小型AR工作区的并行跟踪和映射。第六届IEEE和ACM混合增强现实（ISMAR）国际研讨会论文集。
[40] Kümmerle，R.、Grisetti，G.、Strasdat，H.、Konolige，K.和Burgard，W.（2011）。g2o：图形优化的通用框架。参加IEEE机器人与自动化国际会议（ICRA）。
[41] Lai，K.、Bo，L.、Ren，X.和Fox，D.（2011年）。大规模分层多视图RGB-D对象数据集。在国际机器人与自动化会议（ICRA）上。
[42] Lorensen，W.E.和Cline，H.E.（1987）。行进立方体：一种高分辨率3D曲面构建算法。在第14届计算机图形和交互技术年会上，SIGGRAPH’87。
[43] Losasso，F.、Fedkiw，R.和Osher，S.（2006年）。水平集方法和不可压缩流的空间自适应技术。计算机与流体，35（10），995-1010·兹比尔1177.76295 ·doi:10.1016/j.compfluid.2005.01.006
[44] Ma，Y.，Soatto，S.，Kosecka，J.，&Sastry，S.S.（2003）。3D视觉的邀请：从图像到几何模型。柏林：斯普林格·Zbl 1043.65040号
[45] Masuda，T.（2002）。通过匹配符号距离场进行多幅距离图像的配准和集成，以进行物体形状建模。计算机视觉和图像理解（CVIU），87（1-3），51-65·Zbl 1031.68626号 ·doi:10.1006/cviu.2002.0982
[46] Meilland，M.和Comport，A.I.（2013年）。在大范围统一关键帧和基于体素的密集视觉SLAM。2013年IEEE/RSJ智能机器人和系统国际会议（IROS）。
[47] Narayan，K.S.、Sha，J.、Singh，A.和Abbeel，P.（2015）。距离传感器和轮廓融合，实现高质量3D扫描。在IEEE国际机器人与自动化会议（ICRA）上。
[48] Neubeck，A.和Van Gool，L.（2006年）。有效的非最大值抑制。在第18届国际模式识别大会上。
[49] Newcombe，R.A.、Izadi，S.、Hilliges，O.、Molyneaux，D.、Kim，D.、Davison，A.J.、Kohli，P.、Shotton，J.、Hodges，S.和Fitzgibbon，A.（2011）。KinectFusion：实时密集曲面映射和跟踪。第十届混合增强现实国际研讨会（ISMAR）。
[50] Newcombe，R.A.、Lovegrove，S.J.和Davison，A.J.（2011）。DTAM：实时的密集跟踪和映射。在IEEE国际计算机视觉会议（ICCV）上。
[51] Nielsen，M.B.和Museth，K.（2006年）。动态管状网格：用于高分辨率水平集的高效数据结构和算法。科学计算杂志，26（3），261-299·Zbl 1096.65020号 ·doi:10.1007/s10915-005-9062-8
[52] Nießner，M.，Zollhöfer，M.、Izadi，S.和Stamminger，M.（2013）。使用体素散列进行实时三维重建。ACM图形事务（TOG），32，169。
[53] Osher，S.和Fedkiw，R.（2003）。水平集方法和动态隐式曲面。应用数学科学（第153卷）。斯普林格·Zbl 1026.76001号
[54] Pirker，K.、Rüther，M.、Schweighofer，G.和Bischof，H.（2011）。GPSlam：将稀疏几何和稠密概率视觉映射结合起来。英国机器视觉会议（BMVC）论文集。
[55] 点云库。http://pointclouds.org/。上次访问时间：2017年3月30日。
[56] Ren，C.Y.和Reid，I.（2012）。用于模型深度拟合的统一能量最小化框架。在欧洲计算机视觉会议第二届消费者深度相机研讨会（ECCVW）上。
[57] Roth，H.和Vona，M.（2012）。移动体积KinectFusion。在英国机器视觉会议（BMVC）上。
[58] Rusinkiewicz，S.和Levoy，M.（2001）。ICP算法的有效变体。在第三届国际3D数字成像和建模会议（3DIM）上。
[59] Rusu，R.B.、Holzbach，A.、Blodow，N.和Beetz，M.（2009年）。使用条件随机字段的快速几何点标记。在IEEE/RSJ智能机器人和系统（IROS）国际会议上。
[60] Schütz，C.、Jost，T.和Hugli，H.（1998）。自由形式三维曲面配准的多特征匹配算法。在国际模式识别会议（ICPR）上。
[61] Segal，A.、Haehnel，D.和Thrun，S.（2009年）。广义ICP。机器人学：科学与系统（RSS）。
[62] Singh，A.、Sha，J.、Narayan，K.、Achim，T.和Abbeel，P.（2014）BigBIRD：对象实例的大规模3D数据库。参加IEEE机器人与自动化国际会议（ICRA）。
[63] Slavcheva，M.和Ilic，S.（2016年）。SDF-TAR：使用体积配准对RGB-D数据进行并行跟踪和优化。在英国机器视觉会议（BMVC）上。
[64] Slavcheva，M.、Kehl，W.、Navab，N.和Ilic，S.（2016）。SDF-2-SDF：高精度三维物体重建。在欧洲计算机视觉会议（ECCV）上。
[65] Steder，B.、Rusu，R.B.、Konolige，K.和Burgard，W.（2010年）。NARF：用于物体识别的三维距离图像特征。在IEEE/RSJ智能机器人与系统国际会议（IROS）上关于定义和解决个人机器人现实感知问题的研讨会上。
[66] Steinbrücker，F.、Kerl，C.、Sturm，J.和Cremers，D.（2013年）。基于RGB-D序列的大规模多分辨率曲面重建。在IEEE国际计算机视觉会议（ICCV）上。
[67] Steinbrücker，F.、Sturm，J.和Cremers，D.（2014）。在CPU上实时进行体积3D映射。参加IEEE机器人与自动化国际会议（ICRA）。
[68] Sturm，J.、Engelhard，N.、Endres，F.、Burgard，W.和Cremers，D.（2017年）。RGB-D SLAM系统评估基准。智能机器人系统（IROS）国际会议论文集。
[69] Tomasi，C.和Manduchi，R.（1998年）。灰度和彩色图像的双边滤波。第六届IEEE计算机视觉国际会议（ICCV），第839-846页。
[70] Tombari，F.、Salti，S.和Di Stefano，L.（2013）。3D关键点探测器的性能评估。国际计算机视觉杂志（IJCV），102（1），198-220·文件编号：10.1007/s11263-012-0545-4
[71] Vijayanagar，K.R.、Loghman，M.和Kim，J.（2014）。使用多分辨率各向异性扩散实时细化Kinect深度贴图。移动网络与应用，19（3），414-425·doi:10.1007/s11036-013-0458-7
[72] Wasenmüller，O.、Ansari，M.和Stricker，D.（2016）《DNA-SLAM：ToF RGB-D相机的密集噪声感知SLAM》。在亚洲计算机视觉会议（ACCV）国际研讨会上。
[73] Wasenmüller，O.、Meyer，M.和Stricker，D.（2016）。CoRBS：使用Kinect v2的SLAM的全面RGB-D基准。在IEEE计算机视觉应用冬季会议（WACV）上。
[74] Whelan，T.、Johannsson，H.、Kaess，M.、Leonard，J.J.和McDonald，J.B.（2013）。强大的实时视觉里程计用于密集RGB-D映射。在IEEE国际机器人与自动化会议（ICRA）上。
[75] Whelan，T.、Kaess，M.、Leonard，J.J.和McDonald，J.（2013）。基于变形的环闭合用于大规模密集rgb-d砰击。在IEEE/RSJ智能机器人和系统（IROS）国际会议上。
[76] Whelan，T.、Leutenegger，S.、Salas-Moreno，R.F.、Glocker，B.和Davison，A.J.（2015）。ElasticFusion：没有姿势图的密集SLAM。机器人学：科学与系统（RSS）。
[77] Whelan，T.、McDonald，J.B.、Kaess，M.、Fallon，M.F.、Johannsson，H.和Leonard，J.J.（2012）。Kintinous：空间扩展的KinectFusion。在RGB-D上的RSS研讨会：深度摄像头的高级推理。
[78] Whelan，T.、Salas-Moreno，R.F.、Glocker，B.、Davison，A.J.和Leutenger，S.（2016）。ElasticFusion：实时密集SLAM和光源估计。国际机器人研究杂志（IJRR），35（14），1697-1716·doi:10.1177/0278364916669237
[79] Whitaker，R.T.（1998）。一种从测距数据进行三维重建的水平集方法。国际计算机视觉杂志（IJCV），29（3），203-231·doi:10.1023/A:1008036829907
[80] Zach，C.、Pock，T.和Bischof，H.（2007）。鲁棒TV-[L^1\]L1范围图像集成的全局优化算法。第11届IEEE国际计算机视觉会议（ICCV）会议记录，第1-8页。
[81] Z公司：ZPrinter 650。硬件手册（2008）。
[82] Zeng，M.、Zhao，F.、Zheng，J.和Liu，X.（2013）。基于八叉树的融合用于实时三维重建。图形模型，75（3），126-136·doi:10.1016/j.gmod.2012.09.002
[83] Zhou，Q.、Miller，S.和Koltun，V.（2013）。用于稠密场景重建的弹性碎片。在IEEE国际计算机视觉会议（ICCV）上。
[84] Zhou，Q.和Koltun，V.（2013）。使用兴趣点进行密集场景重建。ACM图形学报，32（4），112·Zbl 1305.68322号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。