单张图像三维人脸重建方法综述

doi:10.3778/j.issn.1002-8331.2210-0041

摘要/摘要

摘要：近年来，三维人脸重建任务作为“数字人”技术的重要组成部分，受到了学术界和工业界的广泛关注。基于单张图像的三维人脸重建任务在充分结合传统相机模型、光照模型、三维人脸统计形变模型与深度卷积网络、深度生成模型等方面技术之后取得了长足的进步。聚焦单张图像三维人脸重建问题，将现有研究工作分为基于隐空间编码和基于显空间回归两类。第一类研究工作对基础三维人脸统计模型的基系数求解、损失函数设计等进行优化，提升重建效果，在人脸拓扑结构变化方面具备鲁棒性优势，但缺乏细节特征。第二类工作以显空间多种数据形式表示三维人脸并直接通过深度网络进行回归，通常可获得更加个性化的三维人脸细节特征且对光照、遮挡等干扰因素具有较好的鲁棒性。进一步，基于常用数据集和评价指标，充分探讨并比较了两类方法中一些典型方法的优缺点。最后对全文进行总结，并给出了单张图像三维人脸重建任务面临的主要挑战及未来发展趋势。

关键词: 三维人脸重建, 单张图像, 显空间回归, 隐空间编码

摘要：近年来，三维人脸重建任务作为“数字人”技术的重要组成部分，受到了学术界和工业界的高度重视。特别是，通过将传统的摄像机模型、光照模型、三维人脸统计变形模型、深度卷积神经网络和深度生成模型充分结合，基于单个图像的三维人脸重建任务取得了很大进展。本文针对单幅图像三维人脸重建问题，将现有的研究工作分为基于隐式空间编码和显式空间回归的两类。第一类研究工作优化了基本3D人脸统计模型的基系数解和损失函数设计，以提高重建效果，具有人脸拓扑变化鲁棒性的优点，但缺乏详细特征。第二类研究工作在显式空间以多个数据的形式表示3D人脸，并通过深度网络直接回归，通常可以获得更个性化的3D人脸细节特征，并且对光照和遮挡等干扰因素具有更好的鲁棒性。此外，基于常用的数据集和评价指标，本文充分探讨和比较了这两类典型方法的优缺点。最后，对全文进行了总结，指出了基于单幅图像的三维人脸重建任务的主要挑战和未来发展趋势。

关键词： 三维人脸重建，单幅图像，显式空间回归，隐式空间编码

《建筑工程》[J]。计算机工程与应用, 2023, 59(17): 1-21.

王静婷，李慧斌.单图像三维人脸重建方法综述[J]。计算机工程与应用，2023,59（17）：1-21。

参考文献

[1] 何嘉玉，黄宏博，张红艳，等.基于深度学习的单幅图像三维人脸重建研究综述[J] ●●●●。计算机科学，2022，49（2）：40-50.
何建英，黄海波，张海英，等。基于单幅图像的三维人脸重建综述[J]。计算机科学，2022,49（2）：40-50。
[2] 娄方园，齐梦娜，王竹新，等.元宇宙场域下的教育数字人及其应用[J] ●●●●。图书馆论坛，2023，43（3）：101-108.
卢福英，齐敏恩，王振X，等。教育数字人及其在元宇宙领域的应用[J]。《图书馆论坛报》，2023,43（3）：101-108。
[3] GREEN R.球形谐波照明：细腻细节[C]//游戏开发者会议，2003。
[4] 斯隆·P·P·愚蠢的球谐函数（SH）把戏[C]//游戏开发者大会，2008年。
[5] PARKE F I.用二维数据板测量三维表面[J]。计算机与图形，1975,1（1）：5-7。
[6] BLANZ V，VETTER T.3D人脸合成的可变形模型[C]//第26届计算机图形与交互技术年会论文集，1999:187-194。
[7] PAYSAN P，KNOTHE R，AMBERG B，等。一种用于姿态和光照不变人脸识别的三维人脸模型[C]//2009第六届IEEE高级视频和信号监控国际会议，2009:296-301。
[8] 曹C，翁永利，周S，等.人脸仓库：一种用于视觉计算的三维人脸表情数据库[J]。IEEE可视化和计算机图形汇刊，2014,20（3）：413-425。
[9] BOOTH J，ROUSSOS A，PONNIAH A，等.大尺度三维变形模型[J]。国际计算机视觉杂志，2017126（5）：1-22。
[10] RICHARDSON E，SELA M，OREL R，et al.从单个图像学习详细的人脸重建[C]//IEEE计算机视觉和模式识别会议论文集，2017:1259-1268。
[11] GECER B，PLOUMPIS S，KOTSIA I，et al.Ganfit：高保真三维人脸重建的生成性对抗网络拟合[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2019:1155-1164。
[12] JACKSON A S，BULAT A，ARGYRIOU V，et al.通过直接体积CNN回归从单个图像进行大姿态三维人脸重建[C]//2017 IEEE国际计算机视觉会议，2017。
[13] 冯毅，吴凤，邵霞，等.基于位置图回归网络的联合三维人脸重建与稠密对齐[C]//欧洲计算机视觉会议论文集，2018:534-551。
[14] 曾X X，彭X J，乔Y.DF2Net:一种用于详细三维人脸重建的密集精细网络[C]//IEEE国际计算机视觉会议，2019:2315-2324。
[15] 米尔登霍尔B，斯里尼瓦桑P P，坦契克M，等。NERF：将场景表示为用于视图合成的神经辐射场[J]。ACM通讯，2021，65（1）：99-106。
[16] 洪毅，彭波，肖赫，等。HeadNeRF：一种基于NeRF的实时参数化头部模型[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2022:20374-20384。
[17] 刘振华，李振华，等.多线性模型下的人脸转移[J]。ACM图形汇刊，2005年，24（3）：426-435。
[18] 杨浩，朱浩，王毅，等。人脸景观：大规模高质量三维人脸数据集和详细的可装配三维人脸预测[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2020:601-610。
[19] 杨杰，张德，FRANGI A F，等.二维PCA：一种基于外观的人脸表示与识别新方法[J]。IEEE模式分析和机器智能汇刊，2004,26（1）：131-137。
[20] JIN Z，BHANU B.综合分析[M]。[S.l.]：爱思唯尔科学公司，2015年。
[21]GERIG T，MOREL-FORSTER A，BLUMER C，等.可变形人脸模型-开放框架[C]//2018第13届IEEE自动人脸和手势识别国际会议（FG 2018），2018:75-82。
[22]LI T，BOLKART T，BLACK M J，等.从4D扫描中学习面部形状和表情模型[J]。ACM传输图，2017,36（6）：1-17。
[23]HORN B K P，BROOKS M J.从阴影到形状的变分方法[J]。计算机视觉、图形和图像处理，1986年，33（2）：174-208。
[24]FAN X，CHENG S，KANG H，等.双神经网络耦合数据回归与显式先验知识的单目三维人脸重建[J]。IEEE多媒体汇刊，2020,23:1252-1263。
[25]LUO Y，TU X，XIE M.学习鲁棒三维人脸重建和鉴别身份表示[C]//2019 IEEE第二届信息通信与信号处理国际会议（ICICSP），2019:317-321。
[26]DOU P，SHAH S K，KAKADIARIS I A.使用深度神经网络进行端到端3D人脸重建[C]//IEEE计算机视觉和模式识别会议论文集，2017:5908-5917。
[27]朱伟，吴海涛，陈Z，等.雷达：三维人脸重建的强化可微属性[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2020:4958-4967。
[28]LIN J，YUAN Y，SHAO T，等.利用图卷积网络从野生图像进行高保真三维人脸重建[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2020:5891-5900。
[29]SCHROFF F，KALENICHENKO D，PHILBIN J.FaceNet:人脸识别和聚类的统一嵌入[C]//IEEE计算机视觉和模式识别会议论文集，2015:815-823。
[30]ZHU X，LEI Z，LIU X，et al.跨大姿势的面部对齐：一个3D解决方案[C]//IEEE计算机视觉和模式识别会议论文集，2016:146-155。
[31]郭J，朱X，杨毅，等.走向快速、准确、稳定的三维密集面对齐[C]//欧洲计算机视觉会议。查姆：施普林格，2020:152-168。
[32]周毅，邓J，柯蒂亚I，等.2500fps以上稠密三维人脸解码：联合纹理与形状卷积网格解码器[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2019:1097-1106。
[33]YANG X.特征分享关注三维人脸重建，无监督学习野生照片集[J]。物理学杂志：会议系列，20222258（1）：012051。
[34]朱X，余C，黄德，等.超越3DMM：学习捕捉高保真3D人脸形状[J]。IEEE模式分析和机器智能汇刊，2022,45（2）：1442-1457。
[35]蔡H，郭毅，彭子正，等.基于非线性参数模型的漫画地标检测与三维人脸重建[J]。图形模型，2021115:101-103。
[36]邱毅，徐X，邱L，等.3DcaricShop:一种用于单视图三维漫画人脸重建的数据集和基线方法[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2021:10236-10245。
[37]TU X，ZHAO J，XIE M，等.野外二维人脸图像辅助单幅图像的三维人脸重建[J]。IEEE多媒体汇刊，2020,23:1160-1172。
[38]TEWARI A，ZOLLHOFER M，KIM H，et al.Mofa:基于模型的深度卷积人脸自动编码器用于无监督单目重建[C]//IEEE国际计算机视觉研讨会论文集，2017:1274-1283。
[39]邓毅，杨杰，徐斯，等.弱监督学习下的精确三维人脸重建：从单个图像到图像集[C]//IEEE/CVF计算机视觉与模式识别研讨会论文集，2019。
[40]吴勇，董立发.基于弱监督学习的三维人脸形状与纹理重建[J]。计算机系统应用，2020,29（11）：183-189。
[41]张杰，林立，朱杰，等.弱监督多人脸三维重建[J].arXiv:2101.020002021。
[42]陈Z，王毅，关T，等.基于变换的端到端形状保留域转移三维人脸重建[J]。IEEE视频技术电路和系统汇刊，2022,32（12）：8383-8393。
[43]TRAN A T，HASSNER T，MASI I，et al.用深度神经网络回归稳健且有辨别力的3D变形模型[C]//IEEE计算机视觉和模式识别会议论文集，2017:5163-5172。
[44]CHANG F J，TRAN A T，HASSNER T，et al.FacePoseNet:为无标记人脸对齐提供案例[C]//IEEE国际计算机视觉研讨会会议记录，2017:1599-1608。
[45]GENOVA K，COLE F，MASCHINOT A，et al.三维变形模型回归的无监督训练[C]//IEEE计算机视觉和模式识别会议论文集，2018:8377-8386。
[46]齐隆卡·W，博尔卡特·T，THIES J.面向人脸的度量重建[J].arXiv:2204.066072022。
[47]邓J，郭J，薛N，等.弧面：用于深度人脸识别的附加角余量损失[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2019:4690-4699。
[48]FENG Y，FENG H，BLACK M J，et al.从野生图像中学习可设置动画的详细3D人脸模型[J]。ACM图形事务（ToG），2021,40（4）：1-13。
[49]邓Q，乐勃H，靳A，等.基于单帧图像的表情和镜面反射率的端到端三维人脸重建[C]//第30届ACM国际多媒体会议论文集，2022:4694-4703。
[50]CHINAEV N，CHIGORIN A，LAPTEV I.MobileFace:利用高效CNN回归进行三维人脸重建[C]//2018年欧洲计算机视觉会议（ECCV）研讨会论文集。
[51]GOODFELLOW I，POUGET-ABADIE J，MIRZA M，et al.生成性对抗网络[J]。ACM通讯，2020,63（11）：139-144。
[52]ZHU J Y，PARK T，ISOLA P，et al.使用循环一致对抗网络的未配对图像到图像转换[C]//IEEE计算机视觉国际会议论文集，2017:2223-232。
[53]ALMAHAIRI A，RAJESHWAR S，SORDONI A，et al.增强的CycleGAN:从未配对数据中学习多对多映射[C]//国际机器学习会议，2018:195-204。
[54]KALCHBRENNER N，GREFENSTETTE E，BLUNSOM P.句子建模的卷积神经网络[J].arXiv:1404.21882014。
[55]LATTAS A，MOSCHOGLOU S，GECER B，et al.Avatar-Me：真实可渲染的三维面部重建“在世界范围内”[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2020:760-769。
[56]RANJAN A，BOLKART T，SANYAL S，et al.使用卷积网格自动编码器生成3D面[C]//《欧洲计算机视觉会议论文集》，2018:704-720。
[57]程S，布朗斯坦M，周毅，等.MeshGAN:人脸的非线性三维变形模型[J].arXiv:1903.103842019。
[58]LEE G H，LEE S W.用于高保真3D人脸重建的不确定感知网格解码器[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2020:6100-6109。
[59]PIAO J，SUN K，WANG Q，et al.用于人脸重建的反向生成对手渲染器[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2021:15619-15628。
[60] 吴永江，汪亚明，郑俊褒，等.基于智能优化算法的非刚体三维运动结构重建[J] ●●●●。工业控制计算机，2014，27（5）：97-98.
WU Y J，WANG Y M，ZHENG J B，等.基于智能优化算法的非刚性三维运动与形状重建[J]。工业控制计算机，2014,27（5）：97-98。
[61]VASWANI A、SHAZEER N、PARMAR N等。注意力是你所需要的一切[C]//神经信息处理系统的进展，2017。
[62]陈毅，吴芳，王姿，等.详细三维人脸重建的自主学习[J]。IEEE图像处理汇刊，2020,29:8696-8705。
[63]考毅，潘斌，徐敏，等.透视投影下的单图像三维人脸重建[J].arXiv:2205。 04126，2022.
[64]LIN Z，LIN J，LI L，等.基于仿射卷积网络的高质量三维人脸重建[C]//第30届ACM国际多媒体会议论文集，2022:2495-2503。
【65】、【2011】、【III】、【D】。哈尔滨：哈尔滨工业大学，2021.
SHI S.J.基于体素和点云的单目三维重建技术研究[D]。哈尔滨：哈尔滨工业大学，2021年。
[66]WU S，RUPPRECHT C，VEDALDI A.从野外图像中无监督学习可能对称的可变形3D对象[C]//IEEE计算机视觉国际会议，2020:1-10。
[67]陈A，陈Z，张G，等.基于单幅图像的真实感人脸细节合成[C]//IEEE国际计算机视觉会议，2019:9428-9438。
[68]SELA M，RICHARDSON E，KIMMEL R.使用图像到图像转换进行无限制面部几何重建[C]//2017 IEEE国际计算机视觉会议（ICCV），2017:1585-1594。
[69]ENGEL K，HADWIGER M，KNISS J M，et al.实时体积图形[C]//ACM SIGGRAPH，2004。
[70]PARK K，SINHA U，HEDMAN P，等.Hypernerf：拓扑变化神经辐射场的高维表示[J].arXiv:2106.132282021。
[71]CHAN E R，MONTEIRO M，KELLNHOFER P，et al.piGAN:用于3D软件图像合成的周期性隐式生成对抗网络[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2021:5799-5809。
[72]孙J，王X，张勇，等.芬纳：神经辐射场中的人脸编辑[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2022:7672-7682。
[73]YIN L，WEI X，SUN Y，et al.用于面部行为研究的三维面部表情数据库[C]//第七届自动人脸和手势识别国际会议（FGR06），2006:211-216。
[74]张X，尹L，COHN J F，等.高分辨率自发三维动态面部表情数据库[C]//2013年IEEE第十届自动人脸和手势识别国际会议与研讨会，2013:1-6。
[75]巴格达诺夫·A·D，德尔·宾博·A，马西·I。佛罗伦萨2D/3D混合人脸数据集[C]//2011年ACM人类姿势和行为理解联合研讨会论文集，2011:79-80。
[76]PHILLIPS P J，FLYNN P J，SCRUGGS T，et al.人脸识别大挑战概述[C]//CVPR 20052005:947-954。
[77]SANYAL S，BOLKART T，FENG H，et al.学习在没有3D监督的情况下从图像回归3D人脸形状和表情[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2019:7763-7772。
[78]刘Z，罗平，王X，等.野外深度学习人脸属性[C]//IEEE计算机视觉国际会议论文集，2015:3730-3738。
[79]KARRAS T，LAINE S，AILA T。生成性对抗网络的基于样式的生成器体系结构[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2019:4401-4410。
[80]STRATOU G，GHOSH A，DEBEVEC P，等.光照对自动表情识别的影响：一种新的三维可重照明人脸数据库[C]//2011 IEEE自动人脸和手势识别国际会议（FG），2011:611-618。
[81]BESL P J，MCKAY N D.3D形状注册方法[C]//传感器融合IV:控制范式和数据结构，1992:586-606。
[82]HORE A，ZIOU D.图像质量度量：PSNR vs.SSIM[C]//2010第20届国际模式识别会议，2010:2366-2369。
[83]和[D]。银川：宁夏大学，2020.
王霞。人脸地标检测和三维人脸重建的研究与实现[D]。银川：宁夏大学，2020年。
[84]建筑。深圳：中国科学院大学（中国科学院深圳先进技术研究院），2021.
曾晓霞。人脸检测和三维重建的深度学习方法[D]。深圳：中国科学院大学（中国科学院深圳先进技术研究所），2021年。
[85]尹波，王伟，姚涛，等.高级化妆：一种新的不可察觉且可转移的人脸识别攻击[J].arXiv:2105.031622021。
[86]LI C，MOREL-FORSTER A，VETTER T，等.适应与否：基于模型的人脸重建与弱监督下的遮挡分割[J].arXiv:2106.096142021。
[87]RUAN Z，ZOU C，WU L，et al.SADRNet：用于鲁棒三维密集面对齐和重建的自对准双面回归网络[J]。IEEE图像处理汇刊，2021,30:5793-5806。
[88]FRIDOVICH-KEIL S，YU A，TANCIK M，et al.普勒诺克斯：无神经网络的辐射场[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2022:5501-5510。
[89]BARRON J T，MILDENHALL B，TANCIK M，et al.Mip-nerf:抗锯齿神经辐射场的多尺度表示[C]//IEEE/CVF国际计算机视觉会议论文集，2021:5855-5864。