跳到主要内容
研究论文
开放式访问

休闲3D摄影

出版:2017年11月20日 出版历史
  • 获取引文提醒
  • 摘要

    我们提出了一种实现随意3D摄影的算法。给定一组用手持手机或单反相机拍摄的输入照片,我们的算法重建了一个3D照片中央全景、纹理、法线贴图、多层几何网格表示。3D照片可以紧凑地存储,并针对从靠近捕获视点的视点渲染进行了优化。可以使用标准光栅化管道渲染它们,以生成具有运动视差的透视视图。当在VR中观看时,3D照片为双眼提供几何一致的视图。我们的几何表示还允许使用3D几何软件效果与场景交互,例如向场景添加新对象和艺术照明效果。
    我们的3D照片重建算法从场景的运动和多视图立体重建的标准结构开始。在丢弃错误的近深度假设之前,使用新的近包络代价体积使稠密立体重建对不完美的捕获条件具有鲁棒性。我们提出了一种新的视差容忍拼接算法,该算法将深度贴图扭曲为中心全景图,并为前后场景表面缝合两个彩色和深度全景图。将两幅全景图融合为一个非冗余、连接良好的几何网格。我们提供视频,演示用户交互查看和操作我们的3D照片。

    工具书类

    [1]
    罗伯特·安德森(Robert Anderson)、大卫·盖洛普(David Gallup)、乔纳森·巴伦(Jonathan T.Barron)、詹妮·孔特卡宁(Janne Kontkanen)、诺亚·斯纳维利(Noah Snavely)、卡洛斯·埃尔南德斯·埃斯特班(Carlos Hernande。2016.跳跃:虚拟现实视频。ACM图形事务35, 6 (2016).
    [2]
    乔纳森·巴伦(Jonathan T.Barron)和吉坦德拉·马利克(Jitendra Malik)。2015.形状、照明和阴影反射。IEEE传输。模式分析。机器。智力。37, 8 (2015), 1670--1687.
    [3]
    弗雷德里克·贝塞(Frederic Besse)、卡斯滕·罗瑟(Carsten Rother)、安德鲁·菲茨吉本(Andrew Fitzgibbon)和扬·考茨(Jan Kautz)。2014.PMBP:对应场估计的补丁匹配信念传播。国际期刊计算。愿景110, 1 (2014), 2--13.
    [4]
    Aaron F.Bobick和Stephen S.Intille。1999.大遮挡立体声。国际计算机视觉杂志33, 3 (1999), 181--200.
    [5]
    克里斯·比勒、迈克尔·博斯、伦纳德·麦克米兰、史蒂文·戈特勒和迈克尔·科恩。2001年,《非结构化流明渲染》(2001),425-432。
    [6]
    Gaurav Chaurasia、Sylvain Duchene、Olga Sorkine-Hornung和George Drettakis。2013.基于图像的合理导航的深度合成和局部扭曲。ACM事务处理。图表。32, 3 (2013), 30:1--30:12.
    [7]
    罗伯特·T·柯林斯。1996。一种用于真正多图像匹配的空间扫描方法。IEEE计算机视觉和模式识别会议(CVPR 1996)。358--363.
    [8]
    保罗·德贝奇、克里斯·特乔、安德鲁·加德纳、蒂姆·霍金斯、查里斯·保利斯、杰西·斯汤普费尔、安德鲁·琼斯、纳撒尼尔·云、佩尔·艾纳森、特里斯·隆德格伦、马科斯·法哈多和菲利普·马丁内斯。2004.在捕获的自然光照下估计复杂场景的表面反射特性。ICT技术报告ICT TR 06 2004(2004)。
    [9]
    Paul E.Debevec、Camillo J.Taylor和Jitendra Malik。1996.从照片中建模和渲染建筑:基于几何和图像的混合方法。第23届计算机图形与交互技术年会论文集(SIGGRAPH’96)。ACM,美国纽约州纽约市,11-20。
    [10]
    西尔万·杜奇内(Sylvain Ducháne)、克莱门特·里安特(Clement Riant)、高拉夫·乔拉西亚(Gaurav Chaurasia)、豪尔赫·洛佩兹·莫雷诺(Jorge Lopez-Moreno)、皮尔雷·伊夫·拉芬特(Pierre-Yves Laffont)、斯特凡·波波夫(Stefan Popo。2015年,户外场景的多视图内在图像及其在重新照明中的应用。ACM图形事务(2015).
    [11]
    David Eigen、Christian Puhrsch和Rob Fergus。2014.使用多尺度深度网络从单个图像进行深度图预测。第27届神经信息处理系统国际会议记录(2014), 2366--2374.
    [12]
    雅各布·恩格尔(Jakob Engel)、弗拉德伦·科尔顿(Vladlen Koltun)和丹尼尔·克莱默斯(Daniel Cremers)。2016年,直接稀疏里程表。arXiv:1607.02565(2016).
    [13]
    脸谱网。2016年,Facebook Surround 360。https://facebook360.fb.com/facebook-surround-360/。 (2016). 访问时间:2016-12-26。
    [14]
    约翰·弗林、伊万·诺伊兰德、詹姆斯·菲尔宾和诺亚·斯纳弗利。2016.深度立体:学习从世界图像预测新观点。IEEE计算机视觉和模式识别会议(CVPR)(2016).
    [15]
    西蒙·福尔曼(Simon Fuhrmann)和迈克尔·戈赛尔(Michael Goesele)。2014.浮标表面重建。ACM事务处理。图表。33,4(2014),第46条。
    [16]
    西蒙·福尔曼(Simon Fuhrmann)、费比安·朗古特(Fabian Langguth)和迈克尔·戈赛尔(Michael Goesele)。2014年,MVE:多视角重建环境。欧洲图形与文化遗产研讨会会议记录(GCH’14)(2014), 11--18.
    [17]
    靖国神社Furukawa和卡洛斯·埃尔南德斯。2015.多视图立体声:教程。基础和趋势。计算机图形与视觉9, 1--2 (2015), 1--148.
    [18]
    靖国神社Furukawa和让·庞斯。2010年。准确、密集、稳健的多视角立体视觉。IEEE传输。模式分析。机器。智力。32, 8 (2010), 1362--1376.
    [19]
    西尔瓦诺·加利亚尼(Silvano Galliani)、凯特琳·拉辛格(Katrin Lasinger)和康拉德·辛德勒(Konrad Schindler)。2015.通过表面正常扩散的大规模平行多视角立体视。IEEE国际计算机视觉会议(ICCV)(2015).
    [20]
    Clément Godard、Oisin Mac Aodha和Gabriel J.Brostow。2017.左右一致性的无监督单目深度估计。CVPR公司(2017).
    [21]
    M.Goesele、N.Snavely、B.Curless、H.Hoppe和S.M.Seitz。2007年,社区照片集多视图立体声。(2007), 1--8.
    [22]
    谷歌。2015.车载摄像头。https://googleblog.blogspot.com/2015/12/step-inside-your-photos-with-cardboard.html/。 (2015). 访问时间:2016-12-26。
    [23]
    彼得·海德曼(Peter Hedman)、托比亚斯·里切尔(Tobias Ritschel)、乔治·德雷塔基斯(George Drettakis)和加布里埃尔·布罗斯托(Gabriel Brostow)。2016.可缩放的基于图像的内部渲染。ACM事务处理。图表。35, 6 (2016), 231:1--231:11.
    [24]
    孙光毅(Sunghoon Im)、孝文下(Hyowon Ha)、弗朗索瓦·拉莫(François Rameau)、海刚贞(Hae-Gon Jeon)、庆敏秋(Gyeongmin Choe)和英素奎恩(InSo Kweon)。2016年,使用球形全景相机从小运动中获得全方位深度。欧洲计算机视觉会议(ECCV’16)(2016), 156--172.
    [25]
    石黑浩(Hiroshi Ishiguro)、山本正史(Masashi Yamamoto)和津津三郎(Saburo Tsuji)。1990年。用于制作全球地图的全方位立体图像。第三届计算机视觉国际会议。IEEE,540-547。
    [26]
    Shahram Izadi、David Kim、Otmar Hilliges、David Molyneaux、Richard Newcombe、Pushmet Kohli、Jamie Shotton、Steve Hodges、Dustin Freeman、Andrew Davison和Andrew Fitzgibbon。2011.KinectFusion:使用移动深度相机进行实时3D重建和交互。第24届ACM用户界面软件与技术年度研讨会会议记录(2011), 559--568.
    [27]
    米查尔·扬科塞克(Michal Jancosek)和托马斯·帕伊德拉(Tomas Pajdla)。2011年,多视图重建,保留弱支撑表面。IEEE计算机视觉和模式识别会议(CVPR 2011)(2011), 3121--3128.
    [28]
    凯文·卡尔施、瓦沙·赫杜、大卫·福赛斯和德里克·霍伊姆。2011.将合成物体渲染为遗留照片。ACM事务处理。图表。30, 6 (2011), 157:1--157:12.
    [29]
    迈克尔·卡日丹(Michael Kazhdan)和雨果斯·霍普(Hugues Hoppe)。2013.筛选泊松曲面重建。ACM事务处理。图表。32,3(2013),第29条。
    [30]
    埃鲁姆·阿里夫·汗(Erum Arif Khan)、埃里克·莱因哈德(Erik Reinhard)、罗兰·弗莱明(Roland W.Fleming)和海因里希·贝尔托夫(Heinrich H.Bülthoff)。2006.基于图像的材料编辑。ACM图形汇刊(Proc.SIGGRAPH 2006)25, 3 (2006), 654--663.
    [31]
    弗拉基米尔·科尔莫戈罗夫和拉明·扎比。2004.哪些能量函数可以通过图形切割最小化?IEEE模式分析和机器智能汇刊26, 2 (2004), 65--81.
    [32]
    Nikos Komodakis和Georgios Tziritas。2007.基于线性规划的图形切割近似标记。IEEE模式分析和机器智能汇刊29, 8 (2007), 1436--1453.
    [33]
    约翰内斯·科普夫(Johannes Kopf)、迈克尔·F·科恩(Michael F.Cohen)、丹尼·利辛斯基(Dani Lischinski)和马特·尤滕达尔(Matt Uyttendaele)。2007年,联合双边抽样。ACM事务处理。图表。26, 3 (2007).
    [34]
    约翰内斯·科普夫(Johannes Kopf)、费比安·朗古特(Fabian Langguth)、丹尼尔·谢尔斯坦(Daniel Scharstein)、理查德·斯泽利斯基(Richard Szeliski)和迈克尔·戈赛尔(Michael Goesele)。2013.梯度域中基于图像的渲染。ACM事务处理。图表。32, 6 (2013), 199:1--199:9.
    [35]
    维维克·夸特拉(Vivek Kwatra)、阿诺·舍德尔(Arno Schödl)、伊尔凡·埃萨(Irfan Essa)、格雷格·特克(Greg Turk)和亚伦·博比克(Aaron Bobick)。2003.图形剪切纹理:使用图形剪切的图像和视频合成。ACM事务处理。图表。22, 3 (2003), 277--286.
    [36]
    Fabian Langguth、Kalyan Sunkavalli、Sunil Hadap和Michael Goesele。2016.支持阴影的多视图立体声。欧洲计算机视觉会议记录(2016).
    [37]
    阿纳特·莱文(Anat Levin)、达尼·利辛斯基(Dani Lischinski)和耶尔·韦斯(Yair Weiss)。2004.使用优化着色。ACM事务处理。图表。23, 3 (2004), 689--694.
    [38]
    Kaimo Lin、Nianjuan Jiang、Loong-Fah Cheong、Minh N.Do和Jiangbo Lu.2016年。SEAGULL:用于视差容限图像拼接的接缝引导局部对齐。第十四届欧洲计算机视觉会议(2016), 370--385.
    [39]
    罗胜杰、沈一超、陈炳瑜、程文黄和庄容瑜。2012.无缝立体图像克隆的透视软件扭曲。ACM事务处理。图表。31,6(2012),第182条。
    [40]
    马紫阳、何开明、魏一晨、孙建华和吴恩华。2013.恒定时间加权中值滤波用于立体匹配及其他。IEEE国际计算机视觉会议(ICCV 2013)。49--56.
    [41]
    劳尔·穆尔·阿尔塔和胡安·塔尔多斯。2016年,ORB-SLAM2:用于单目、立体和RGB-D相机的开源SLAM系统。arXiv预打印arXiv:1610.06475(2016).
    [42]
    OpenMVS。2016。OpenMVS:开放式多视图立体重建库。https://github.com/cdcseacave/openMVS。 (2016). 访问时间:2016-12-26。
    [43]
    Shmuel Peleg和Moshe Ben-Ezra。1999.单摄像机立体全景。IEEE计算机视觉和模式识别会议(CVPR 1999)(1999), 395--401.
    [44]
    Shmuel Peleg、Moshe Ben-Ezra和Yael Pritch。2001.Omnistereo:全景立体成像。IEEE模式分析和机器智能汇刊23, 3 (2001), 279--290.
    [45]
    现实。2017.realities.io|去哪里。http://realitys.io/。 (2017). 访问时间:2017-1-12。
    [46]
    Christoph Rhemann、Asmaa Hosni、Michael Bleyer、Carsten Rother和Margit Gelautz。2011年。用于视觉通信及其他方面的快速成本量过滤。IEEE计算机视觉和模式识别会议(CVPR 2011)。3017--3024.
    [47]
    克里斯蒂安·理查德(Christian Richardt)、耶尔·普里奇(Yael Pritch)、亨宁·齐默(Henning Zimmer)和亚历山大·索金·霍农(Alexander Sorkine-Hornung)。2013年,Megastereo:构建高分辨率立体全景。IEEE计算机视觉与模式识别会议(CVPR 2013)(2013), 1256--1263.
    [48]
    Daniel Scharstein和Richard Szeliski。2002.密集双帧立体对应算法的分类和评估。国际计算机视觉杂志47, 1--3 (2002), 7--42.
    [49]
    Frank Schmitt和Lutz Priese。2009年。CSC分割彩色图像中的天空检测。计算机视觉理论与应用国际会议(VISAPP 2009)(2009), 101--106.
    [50]
    约翰内斯·卢茨·施恩伯格(Johannes Lutz Schönberger)、郑恩良(Enliang Zheng)、马克·波利菲(Marc Pollefeys)和詹·迈克尔·弗拉姆(Jan-Michael Frahm)。2016.非结构化多视图立体的像素视图选择。欧洲计算机视觉会议(2016).
    [51]
    史蒂文·塞茨(Steven M Seitz)、布莱恩·柯利斯(Brian Curless)、詹姆斯·迪贝尔(James Diebel)、丹尼尔·谢尔斯坦(Daniel Scharstein)和理查德·塞利斯基(Richard Szeliski)。2006.多视点立体重建算法的比较和评估。2006年IEEE计算机学会计算机视觉和模式识别会议(CVPR'06),第1卷。IEEE,519-528。
    [52]
    乔纳森·沙德(Jonathan Shade)、史蒂文·戈特勒(Steven Gortler)、李维荷(Li-wei He)和理查德·塞利斯基(Richard Szeliski)。1998年。分层深度图像。SIGGRAPH’98会议记录(1998), 231--242.
    [53]
    哈里·舒曼德·里克·塞利斯基(Harry Shumand RickSzeliski)。1998年,建造和完善全球和局部对齐的全景马赛克。第六届计算机视觉国际会议(ICCV’98)(1998), 953--958.
    [54]
    理查德·塞利斯基(Richard Szeliski)。2006.图像对齐和缝合:教程。已找到。趋势。计算。图表。视觉。2, 1 (2006), 1--104.
    [55]
    Jayant Thatte、Jean-Baptiste Boin、Haricharan Lakshman和Bernd Girod。2016.用于电影虚拟现实的深度增强立体全景,具有头动视差。2016 IEEE国际多媒体与博览会(ICME)(2016).
    [56]
    本杰明·乌姆门霍费尔和托马斯·布罗克斯。2015年,《十亿点的全球密集多尺度重建》。IEEE国际计算机视觉会议(ICCV)(2015).
    [57]
    本杰明·乌姆门霍费尔(Benjamin Ummenhofer)、周慧忠(Huichong Zhou)、乔纳斯·乌里格(Jonas Uhrig)、尼古拉·梅耶(Nikolaus Mayer)、埃迪·伊尔格(Eddy Ilg)、阿列克谢·多索维茨基(Alexey。2017.DeMoN:学习单目立体视觉的深度和运动网络。IEEE计算机视觉与模式识别会议(CVPR)(2017).
    [58]
    阀门。2016年,阀门开发者社区:高级户外摄影测量。https://developer.valvesoftware.com/wiki/Destinations/Advanced_Outdoors_Photogrammetry。 (2016). 访问时间:2016-11-3。
    [59]
    乔治·沃吉亚茨(George Vogiatzis)、卡洛斯·埃尔南德斯·埃斯特班(Carlos Hernández Esteban)、菲利普·托尔(Philip H.S.Torr)和罗伯托·西波拉(Roberto Cipolla)。2007年,通过体积图形切割和遮挡实现多视图立体效果,增强照片一致性。IEEE传输。模式分析。机器。智力。29, 12 (2007), 2241--2246.
    [60]
    Michael Waechter、Mate Beljan、Simon Fuhrmann、Nils Moehrle、Johannes Kopf和Michael Goesele。2017.虚拟重影:3D重建的新视图预测误差。ACM事务处理。图表。36,1(2017),第8条。
    [61]
    迈克尔·韦克特(Michael Waechter)、尼尔·莫尔(Nils Moehrle)和迈克尔·戈赛尔(Michael Goesele)。2014.让我们有颜色!三维重建的大比例纹理。ECCV 2014年8693 (2014), 836--850.
    [62]
    卡蒂娅·沃尔夫(Katja Wolff)、查尼尔·金(Changil Kim)、亨宁·齐默尔(Henning Zimmer)、克里斯托弗·施罗德斯(Christopher Schroers)、马里奥·博茨(Mario Botsch)、奥尔加·索金·霍隆(Olga Sorkine-Hornung)和亚历山大·索金恩·霍隆。2016.基于图像的三维重建的点云噪声和离群点去除。3D视觉国际会议(3DV 2016)。118--127.
    [63]
    吴承磊(Chenglei Wu)、本内特·威尔本(Bennet Wilburn)、松下康之(Yasuyuki Matsushita)和克里斯蒂安·西奥巴特(Christian Theobalt)。2011.高质量的多视图立体形状和普通照明下的阴影。IEEE计算机视觉和模式识别会议(CVPR’11)(2011), 969--976.
    [64]
    Kuk-Jin Yoon和In-So Kweon。2005.视觉通信搜索的本地自适应支持-加权方法。IEEE计算机视觉和模式识别会议(CVPR 2005),第2卷。924--931.
    [65]
    胡里奥·萨拉戈萨(Julio Zaragoza)、陈达军(Tat-Jun Chin)、迈克尔·布朗(Michael S.Brown)和大卫·苏特(David Suter)。2013.使用移动DLT拼接As-Projective-As-Possible图像。2013年IEEE计算机视觉与模式识别会议论文集(2013), 2339--2346.
    [66]
    范张和刘峰。2014.视差容限图像拼接。2014年IEEE计算机视觉和模式识别会议记录(2014), 3262--3269.
    [67]
    张帆和刘峰。2015.休闲立体全景拼接。IEEE计算机视觉和模式识别会议(CVPR’15)(2015), 2002--2010.
    [68]
    柯柯林·郑(Ke Colin Zheng)、辛炳康(Sing Bing Kang)、迈克尔·F·科恩(Michael F.Cohen)和理查德·塞利斯基(Richard Szeliski)。2007.分层深度全景。IEEE计算机视觉和模式识别会议(CVPR 2007)(2007), 1--8.
    [69]
    C.劳伦斯·齐特尼克(C.Lawrence Zitnick)、辛·宾·康(Sing Bing Kang)、马修·尤滕代尔(Matthew Uyttendaele)、西蒙·温德(Simon Winder)和理查德·塞利斯基(Richard Szeliski)。2004.使用分层表示的高质量视频视图插值。ACM事务处理。图表。(SIGGRAPH 2004程序)23, 3 (2004), 600--608.

    引用人

    查看全部
    • (2024)基于多平面图像和神经辐射场的实时视点绘制系统计算机视觉与深度学习国际会议论文集10.1145/3653781.3653809(1-6)在线发布日期:2024年1月19日
    • (2024)基于局部时间先验的动态视图合成的神经辐射场计算视觉媒体10.1007/978-981-97-2095-8_5(74-90)在线发布日期:2024年4月10日
    • (2023)采用人工智能方法的虚拟现实解决方案:系统文献综述倒排索引综述10.1145/356502055:10(1-29)在线发布日期:2023年2月2日
    • 显示更多引用者

    建议

    评论

    信息和贡献者

    问询处

    发布于

    封面图片ACM图形事务
    ACM图形汇刊 第36卷第6期
    2017年12月
    973页
    国际标准编号:0730-0301
    EISSN公司:1557-7368
    内政部:10.1145/3130800
    期刊目录
    如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布,在服务器上发布或重新发布到列表,需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

    出版商

    计算机协会

    美国纽约州纽约市

    出版历史

    出版:2017年11月20日
    在TOG中发布体积36,问题6

    权限

    请求对此文章的权限。

    检查更新

    作者标记

    1. 三维重建
    2. 基于图像的绘制
    3. 虚拟现实

    限定符

    • 研究文章

    贡献者

    其他指标

    文献计量学和引文

    文献计量学

    文章指标

    • 下载次数(过去12个月)205
    • 下载次数(最近6周)21

    其他指标

    引文

    引用人

    查看全部
    • (2024)基于多平面图像和神经辐射场的实时视点绘制系统计算机视觉和深度学习国际会议记录10.1145/3653781.3653809(1-6)在线发布日期:2024年1月19日
    • (2024)基于局部时间先验的动态视图合成的神经辐射场计算视觉媒体10.1007/978-981-97-2095-8_5(74-90)在线发布日期:2024年4月10日
    • (2023)采用人工智能方法的虚拟现实解决方案:系统文献综述倒排索引综述10.1145/356502055:10(1-29)在线发布日期:2023年2月2日
    • (2023)全方位立体视频的沉浸式自由视点全景渲染计算机图形论坛10.1111/cgf.1479642:6在线发布日期:2023年4月14日
    • (2023)从一张全方位图像中对亚特兰大世界室内设计进行深度场景合成IEEE可视化和计算机图形汇刊10.1109/TVCG.2023.332021929:11(4708-4718)在线发布日期:2023年11月
    • (2023)将视差和延迟补偿集成到视频透视头戴式显示器中IEEE可视化和计算机图形汇刊10.1109/TVCG.2023.324746029:5(2826-2836)在线发布日期:2023年2月27日
    • (2023)休闲六自由度:使用手持式360°相机的自由视点全景IEEE可视化和计算机图形汇刊10.1109/天2022.317683229:9(3976-3988)在线发布日期:2023年9月1日
    • (2023)具有形状优先级的交互式NeRF几何编辑IEEE模式分析和机器智能汇刊10.1109/TPAMI.2023.331506845:12(14821-14837)在线发布日期:2023年12月1日
    • (2023)用于高质量视图合成的稀疏RGB-D图像的神经辐射场IEEE模式分析和机器智能汇刊10.1109/TPAMI.2022.323250245:7(8713-8728)在线发布日期:2023年7月1日
    • (2023)NeX360:基于神经基扩展的实时全方位视图合成IEEE模式分析和机器智能汇刊10.1109/TPAMI.2022.321795745:6(7611-7624)在线发布日期:2023年5月5日
    • 显示更多引用者

    视图选项

    查看选项

    PDF格式

    以PDF文件查看或下载。

    PDF格式

    电子阅读器

    使用联机查看电子阅读器.

    电子阅读器

    获取访问权限

    登录选项

    完全访问权限

    媒体

    数字

    其他

    桌子

    分享

    分享

    共享此出版物链接

    在社交媒体上分享