×

EasyMesh:从单个图像重建3D网格的有效方法。 (英语) Zbl 1505.65141号

摘要:如何从单个自然图像重建完整的三维网格模型仍然是一个具有挑战性的问题。现有的大多数方法都以体素或点云的形式描述三维形状,将其转换为高质量的网格并不总是那么容易。本文提出了一种有效解决这一问题的新方法,即使用一种特殊设计的GAN模型将给定的自然图像映射到几何图像,从而可以重建相应的三维网格。具体来说,我们将视点估计和三维重建任务分离开来,确保重建网络专注于生成具有准确视点信息的逼真三维网格。我们还添加了一个可差分模块,从合成的几何图像的各个视点创建轮廓,目的是提高生成的3D模型与其输入的2D图像之间的一致性。此外,我们为几何图像设计了一个紧凑但有效的鉴别器,以确保生成的对象具有合理的整体轮廓。在一个公开的数据库上进行的实验表明,该方法可以生成高保真的三维网格,在定性和定量结果上都优于其他先进的方法。我们的代码可在以下网址公开获取:https://github.com/tasx0823/EasyMesh网站.

MSC公司:

65D18天 计算机图形、图像分析和计算几何的数值方面
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Chang,A.X。;Funkhouser,T。;Guibas,L。;Hanrahan,P。;黄,Q。;李,Z。;萨瓦雷斯,S。;萨瓦,M。;Song,S。;Su,H.,ShapeNet:信息丰富的3D模型库(2015),arXiv预印本
[2] 乔杜里,S。;Kalogerakis,E。;Guibas,L。;Koltun,V.,基于装配的3D建模的概率推理,(ACM图形事务(TOG)(2011),ACM),35
[3] 陈,L.C。;Zhu,Y。;帕潘德里欧,G。;施罗夫,F。;Adam,H.,用于语义图像分割的带可分离卷积的编码器-解码器(2018),arXiv预打印
[4] Choy,C.B。;徐,D。;Gwak,J。;Chen,K。;Savarese,S.,《3D-R2N2:单视图和多视图3D物体重建的统一方法》,(欧洲计算机视觉会议(2016),斯普林格),628-644
[5] Everingham,M。;Van Gool,L。;威廉姆斯,C.K。;Winn,J。;Zisserman,A.,《Pascal可视对象类(VOC)挑战》,国际计算杂志。视觉。,88, 303-338 (2010)
[6] 风扇,H。;苏,H。;Guibas,L.J.,从单个图像重建三维物体的点集生成网络,(CVPR(2017)),6
[7] Fuentes-Pacheco,J。;Ruiz-Ascenscio,J。;Rendón-Mancha,J.M.,《视觉同步定位和制图:调查》,Artif。智力。版本:43,55-81(2015)
[8] 加德哈,M。;马吉,S。;Wang,R.,从多个物体的二维视图中提取三维形状,(3D Vision(3DV),2017年国际会议,IEEE(2017)),402-411
[9] Girdhar,R。;Fouhey,D.F。;罗德里格斯,M。;Gupta,A.,学习对象的可预测和生成向量表示,(欧洲计算机视觉会议(2016),Springer),484-499
[10] 古德费罗,I。;Pouget-Abadie,J。;米尔扎,M。;徐,B。;Warde-Farley,D。;Ozair,S。;科尔维尔,A。;Bengio,Y.,《生成性对抗网络》,(神经信息处理系统进展(2014)),2672-2680
[11] 格鲁艾,T。;费希尔,M。;Kim,V.G。;罗素,公元前。;Aubry,M.,《学习3D曲面生成的纸介质方法》,(IEEE计算机视觉和模式识别会议论文集(2018)),216-224
[12] 顾,X。;Gortler,S.J。;Hoppe,H.,几何图像,ACM Trans。图表。,21, 355-361 (2002)
[13] Kalogerakis,E。;乔杜里,S。;科勒,D。;Koltun,V.,基于组件的形状合成概率模型,ACM Trans。图表。,31, 55 (2012)
[14] 加藤,H。;Ushiku,Y。;Harada,T.,神经3D网格渲染器,(IEEE计算机视觉和模式识别会议论文集(2018)),3907-3916
[15] Kingma,D.P。;Welling,M.,自动编码变分贝叶斯(2013),arXiv预印本
[16] 孔,C。;林,C.H。;Lucey,S.,使用局部对应的cad模型从单个图像进行密集的3D重建,(IEEE计算机视觉和模式识别会议论文集(2017))
[17] 林,C.H。;孔,C。;Lucey,S.,《学习密集三维物体重建的高效点云生成》(2017),arXiv预印本
[18] 刘,S。;Chen,W。;李·T。;Li,H.,软光栅化器:无监督单视图网格重建的可差分渲染(2019),arXiv预打印
[19] 马修,M。;库普利,C。;LeCun,Y.,超出均方误差的深度多尺度视频预测(2015),arXiv预打印
[20] 齐,C.R。;苏,H。;莫(Mo,K.)。;Guibas,L.J.,PointNet:三维分类和分割的点集深度学习,(Proc.Computer Vision and Pattern Recognition(CVPR),IEEE 1(2017)),4
[21] Radford,A。;梅茨,L。;Chintala,S.,《深度卷积生成对抗网络的无监督表征学习》(2015),arXiv预印本
[22] 沈毅。;冯,C。;Yang,Y。;Tian,D.,通过核关联和图池挖掘点云局部结构,(IEEE计算机视觉和模式识别会议论文集(2018))
[23] 辛哈,A。;Bai,J。;Ramani,K.,《使用几何图像深度学习3D形状表面》(欧洲计算机视觉会议(2016),施普林格),223-240
[24] 辛哈,A。;解开,A。;黄,Q。;Ramani,K.,《SurfNet:使用深度残余网络生成3D形状曲面》(IEEE CVPR(2017))
[25] Soltani,A.A。;黄,H。;吴杰。;Kulkarni,T.D。;Tenenbaum,J.B.,通过建模多视图深度图和轮廓与深度生成网络合成3D形状,(IEEE计算机视觉和模式识别会议(CVPR)(2017)),4
[26] Tulsiani,S。;埃弗罗斯,A.A。;Malik,J.,《多视图一致性作为学习形状和姿势预测的监督信号》,(IEEE计算机视觉和模式识别会议论文集(2018)),2897-2905
[27] 冯德里克,C。;Pirsiavash,H。;Torralba,A.,用场景动力学生成视频,(神经信息处理系统进展(2016)),613-621
[28] Wang,N。;Zhang,Y。;李,Z。;Fu,Y。;刘伟。;Jiang,Y.G.,Pixel2mesh:从单个RGB图像生成3D网格模型(2018),arXiv预打印
[29] 温,C。;Zhang,Y。;李,Z。;Fu,Y.,Pixel2Mesh++:通过变形生成多视图三维网格,(IEEE国际计算机视觉会议论文集(2019)),1042-1051
[30] 吴杰。;张,C。;薛,T。;弗里曼,B。;Tenenbaum,J.,通过3D生成-逆向建模学习物体形状的概率潜在空间,(神经信息处理系统进展(2016)),82-90
[31] 吴,Z。;Song,S。;科斯拉,A。;Yu,F。;张,L。;唐,X。;Xiao,J.,3D ShapeNets:立体形状的深度表示,(IEEE计算机视觉和模式识别会议论文集(2015)),1912-1920
[32] Xiang,Y。;莫塔吉,R。;Savarese,S.,Beyond Pascal:野外三维物体检测基准,(IEEE计算机应用冬季会议(2014)),视觉(WACV)
[33] 严,X。;杨,J。;Yumer,E。;郭毅。;Lee,H.,透视变换网络:在没有3D监督的情况下学习单视图3D对象重建,(神经信息处理系统进展(2016)),1696-1704
[34] Yang,G。;崔,Y。;Belongie,S。;Hariharan,B.,在有限姿态监督下学习单视图3D重建,(欧洲计算机会议(2018)),视觉(ECCV)
[35] 朱,J。;谢军。;Fang,Y.,使用2D图像增强器学习对抗性3D模型生成,(AAAI(2018))
[36] Zhu,J.Y.,Park,T.,Isola,P.,Efros,A.A.,2017年。使用循环一致的对抗网络进行未配对的图像到图像转换。arXiv预打印。
[37] 邹,C。;Yumer,E。;杨,J。;塞兰·D·。;Hoiem,D.,3D-PRNN:使用递归神经网络生成形状基本体(Proc.ICCV(2017))
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。