唐银航;李惠斌;孙翔;Jean-Marie Morvan;陈立明 主曲率测度估计及其在三维人脸识别中的应用。 （英语） Zbl 1426.68246号 数学杂志。成像视觉。 59，第211-233号（2017）. 摘要：本文提出了一种基于三种曲率度量的有效三维人脸关键点检测、描述和匹配框架。这些度量给出了光滑曲面和离散曲面的主曲率的统一定义。它们可以根据正常周期理论和几何测度理论进行合理计算。这些测量的强大理论基础为我们提供了一种基于三角形网格表示的真实三维人脸扫描的可靠离散估计方法。基于这些估计测度，该方法可以自动检测出一组稀疏且有区别的三维人脸特征点。这些主要曲率度量的直方图综合描述了每个3D特征点周围的局部面部形状。为了保证这些描述子的位姿不变性，使用这些主曲率测度的三个主曲率向量来指定正则方向。人脸之间的相似性比较是通过匹配来实现的所有这些基于曲率的局部形状描述子都使用了基于稀疏表示的重建方法。该方法在三个公共数据库（即FRGC v2.0、Bosphorus和Gavab）上进行了评估。实验结果表明，三种主曲率测度对三维人脸形状描述具有很强的互补性，它们的融合可以大大提高识别性能。我们的方法在中性子集、表达子集和整个FRGC v2.0数据库上分别实现了99.6%、95.7%和97.9%的一级识别率。这表明我们的方法对适度的面部表情变化是稳健的。此外，它在Bosphorus数据库的姿势子集（除Yaw（90^{circ}）外，超过98.6%）和遮挡子集（98.4%）上也取得了非常有竞争力的性能。即使在像轮廓这样的极端姿势变化的情况下，它也显著优于最先进的方法，识别率为57.1%。进行的实验Gavab数据库进一步证明了我们的方法对不同头部姿势变化的鲁棒性。 引用于1文件 MSC公司： 68吨10 模式识别、语音识别 68单位05 计算机图形；计算几何（数字和算法方面） 关键词：主曲率测度;3D关键点检测、描述和匹配;表情、姿势和遮挡;基于网格的三维人脸识别 软件：SIFT公司 PDF格式BibTeX公司 XML格式引用 \textit{Y.Tang}等人，J.Math。成像Vis。59，第2号，211--233（2017；Zbl 1426.68246） 全文： 内政部 参考文献： [1] Alyuz，N.、Gokberk，B.、Akarun，L.：抗表情三维人脸识别的区域注册。IEEE传输。Inf.法医安全。5(3), 425-440 (2010) ·doi:10.1109/TIFS.2010.2054081 [2] Alyüz，N.、Gökberk，B.、Dibekliolu，H.、Savran，A.、Salah，A.A.、Akarun，L.、Sankur，B.：bosphorus数据库上的3D人脸识别基准，重点关注面部表情。摘自：欧洲生物识别和身份管理研讨会，第57-66页。施普林格（2008） [3] Amberg，B.，Knothe，R.，Vetter，T.：具有变形模型的表情不变性三维人脸识别。摘自：IEEE自动人脸和手势识别国际会议，第1-6页。IEEE（2008） [4] Ballihi，L.，Ben Amor，B.，Daoudi，M.，Srivastava，A.，Aboutajdine，D.：增强三维几何特征以实现有效的人脸识别和性别分类。IEEE传输。加密取证安全。7(6), 1766-1779 (2012) ·doi:10.1109/TIFS.2012.2209876 [5] Berretti，S.、Del Bimbo，A.、Pala，P.：使用等测线条纹进行3D人脸识别。IEEE传输。模式分析。机器。智力。32(12), 2162-2177 (2010) ·doi:10.1109/TPAMI.2010.43 [6] Berretti，S.、Werghi，N.、Del Bimbo，A.、Pala，P.：使用兴趣点和局部直方图描述符匹配三维人脸扫描。计算。图表。37(5), 509-525 (2013) ·doi:10.1016/j.cag.2013.04.001 [7] Borrelli，V.，Cazals，F.，Morvan，J.M.：关于三角剖分的角度缺陷和曲率的逐点逼近。计算。辅助几何。设计。20(6), 319-341 (2003) ·Zbl 1069.65544号 ·doi:10.1016/S0167-8396（03）00077-3 [8] Bowyer，K.W.，Chang，K.，Flynn，P.：三维和多模式三维+二维人脸识别方法和挑战综述。计算。视觉。图像理解。101(1), 1-15 (2006) ·doi:10.1016/j.cviu.2005.05.005 [9] Bronstein，A.M.、Bronstein，M.M.、Guibas，L.J.、Ovsjanikov，M.：形状谷歌：用于不变形状检索的几何单词和表达式。ACM事务处理。图表。（TOG）30（1），1（2011）·doi:10.1145/1899404.1899405 [10] Bronstein，A.M.，Bronsteim，M.M.，Kimmel，R.：表情不变的三维人脸识别。摘自：基于音频和视频的生物识别人认证国际会议，第62-70页。斯普林格（2003）·兹比尔1050.68674 [11] Bronstein，A.M.、Bronsteim，M.M.、Spira，A.、Kimmel，R.：面部表面测量的面部识别。摘自：欧洲计算机视觉会议，第225-237页。斯普林格（2004）·Zbl 1098.68734号 [12] Bronstein，M.M.，Kokkinos，I.：非刚性形状识别的尺度不变热核特征。2010年IEEE计算机视觉和模式识别会议（CVPR），第1704-1711页。IEEE（2010） [13] Chang，K.I.，Bowyer，K.W.，Flynn，P.J.：用于处理三维人脸识别中表情变化的自适应刚性多区域选择。摘自：IEEE计算机学会计算机视觉和模式识别研讨会，第157-157页（2005）·Zbl 1314.94016号 [14] Chang，K.I.，Bowyer，K.W.，Flynn，P.J.：多鼻子区域匹配，用于不同面部表情下的三维人脸识别。IEEE传输。模式分析。机器。智力。28(10), 1695-1700 (2006) ·doi:10.1109/TPAMI.2006.210 [15] Chen，B.：《子流形几何》，第22卷。M.Dekker（1973）·兹比尔0262.53036 [16] Chua，C.S.，Jarvis，R.：点签名：三维物体识别的新表示法。国际期刊计算。视觉。25(1), 63-85 (1997) ·doi:10.1023/A:1007981719186 [17] Cohen-Steiner，D.，Morvan，J.M.：限制delaunay三角测量和正常循环。摘自：第九届计算几何年会，第312-321页。ACM（2003）·Zbl 1422.65051号 [18] Cohen-Steiner，D.，Morvan，J.M.等人：几何集的第二基本度量和曲率的局部近似。J.差异。地理。74（3），363-394（2006）·Zbl 1107.49029号 ·doi:10.4310/jdg/1175266231 [19] Colombo，A.，Cusano，C.，Schettini，R.：三维遮挡检测和部分遮挡面的恢复。数学杂志。成像Vis。40(1), 105-119 (2011) ·Zbl 1255.68137号 ·doi:10.1007/s10851-010-0252-0 [20] Conde，C.，Rodríguez-Aragón，L.J.，Cabello，E.：使用旋转图像自动提取三维人脸特征点。摘自：《国际会议图像分析与识别》，第317-328页。斯普林格（2006） [21] Dibekliolu，H.，Gökberk，B.，Akarun，L.：姿势和表情变化下基于鼻部区域的三维人脸识别。摘自：国际生物计量学会议，第309-318页。施普林格（2009）·Zbl 1181.68249号 [22] do Carmo，M.P.：黎曼几何。波士顿Birkhauser（1992年）·Zbl 0752.53001号 [23] Drira，H.、Amor，B.B.、Daoudi，M.、Srivastava，A.：使用弹性径向曲线进行姿势和表情不变的三维人脸识别。摘自：英国机器视觉会议，第1-11页（2010年）·Zbl 1484.53029号 [24] Drira，H.、Amor，B.B.、Srivastava，A.、Daoudi，M.、Slama，R.：表情、遮挡和姿势变化下的3D人脸识别。IEEE传输。模式分析。机器。智力。35(9), 2270-2283 (2013) ·doi:10.1109/TPAMI.2013.48 [25] Faltemier，T.C.，Bowyer，K.W.，Flynn，P.J.：三维人脸识别的区域集成。IEEE传输。Inf.法医安全。3(1), 62-73 (2008) ·doi:10.1109/TIFS.2007.916287 [26] Fu，J.H.：Monge-ampere函数。研究代表/数学中心。分析；CMA-R16-88（1988）·兹比尔1235.68290 [27] Goldfeath，J.，Interrante，V.：一种新的立方阶算法，用于近似主方向向量。ACM事务处理。图表。23(1), 45-63 (2004) ·doi:10.1145/966131.966134 [28] Gordon，G.G.：基于深度和曲率特征的人脸识别。参加：IEEE计算机学会计算机视觉和模式识别会议。，第808-810页（1992年） [29] Guo，Y.，Bennamun，M.，Sohel，F.，Lu，M.和Wan，J.：具有局部表面特征的杂乱场景中的三维物体识别：一项调查。IEEE传输。模式分析。机器。智力。36（11），2270-2287（2014）·doi:10.1109/TPAMI.2014.2316828 [30] Guo，Y.，Bennamoun，M.，Sohel，F.，Lu，M..，Wan，J.，Kwok，N.M.：三维局部特征描述符的综合性能评估。国际期刊计算。视觉。116(1), 66-89 (2016) ·doi:10.1007/s11263-015-0824-y [31] Hajati，F.，Raie，A.A.，Gao，Y.：使用面片测地矩进行2.5D人脸识别。模式识别。45(3), 969-982 (2012) ·Zbl 1227.68100号 ·doi:10.1016/j.patcog.2011.08.025 [32] Hamann，B.：三角曲面的曲率近似。摘自：《几何建模》，第139-153页。斯普林格（1993）·Zbl 0865.41003号 [33] Huang，D.，Ardabilian，M.，Wang，Y.，Chen，L.：一种基于多尺度扩展局部二值模式的新型几何人脸表示。摘自：IEEE自动人脸和手势识别国际会议及研讨会，第1-7页（2011年） [34] Huang，D.，Ardabilian，M.，Wang，Y.，Chen，L.：使用基于eLBP的面部描述和局部特征混合匹配的三维人脸识别。IEEE传输。Inf.法医安全。7(5), 1551-1565 (2012) ·doi:10.1109/TIFS.2012.2206807 [35] Huang，D.，Zhang，G.，Ardabilian，M.，Wang，Y.，Chen，L.：使用显著性增强的面部表征和局部特征混合匹配进行三维人脸识别。2010年IEEE第四届国际生物统计学会议：理论应用和系统（BTAS），第1-7页。IEEE（2010） [36] Hubel，D.H.，Wiesel，T.N.：猫视觉皮层中的感受野、双眼交互和功能结构。《生理学杂志》。160(1), 106-154 (1962) ·doi:10.1113/jphysiol.1962.sp006837 [37] Kakadiaris，I.A.，Passalis，G.，Toderici，G.、Murtuza，M.N.、Lu，Y.、Karampatziakis，N.、Theoharis，T.：面部表情下的三维人脸识别：一种带注释的可变形模型方法。IEEE传输。模式分析。机器。智力。29(4), 640-649 (2007) ·doi:10.1109/TPAMI.2007.1017 [38] Li，H.：走向真实的三维人脸识别。Citeser博士论文（2014） [39] Li，H.，Huang，D.，Morvan，J.M.，Chen，L.，Wang，Y.：通过多尺度和多分量局部法线模式的加权稀疏表示进行表达鲁棒三维人脸识别。神经计算133179-193（2014）·doi:10.1016/j.neucom.2013.11.018 [40] Li，H.，Huang，D.，Morvan，J.M.，Wang，Y.，Chen，L.：走向真实的三维人脸识别：使用三维关键点描述符的细粒度匹配的无注册方法。国际期刊计算。视觉。113(2), 128-142 (2015) ·doi:10.1007/s11263-014-0785-6 [41] Li，H.，Zeng，W.，Morvan，J.M.，Chen，L.，Gu，X.D.：曲率收敛的曲面啮合。IEEE传输。视觉。计算。图表。20(6), 919-934 (2014) ·doi:10.1010/TVCG.2013.253 [42] Li，X.，Jia，T.，Zhang，H.：使用稀疏表示的不敏感表情三维人脸识别。摘自：IEEE计算机视觉和模式识别会议，第2575-2582页（2009年） [43] Li，X.，Zhang，H.：将几何属性用于表情不变的三维人脸识别。摘自：IEEE形状建模与应用国际会议，第21-32页（2007年） [44] Lo，T.W.R.，Siebert，J.P.：距离图像的局部特征提取和匹配：2.5D sift。计算。视觉。图像理解。113(12), 1235-1250 (2009) ·doi:10.1016/j.cviu.2009.06.005 [45] Lowe，D.G.：不同尺度变化关键点的独特图像特征。国际期刊计算。视觉。60(2), 91-110 (2004) ·doi:10.1023/B:VISI.0000029664.99615.94 [46] Lu，X.，Jain，A.：稳健三维人脸匹配的变形建模。IEEE传输。模式分析。机器。智力。30(8), 1346-1357 (2008) ·doi:10.1109/TPAMI.2007.70784 [47] Lu，X.，Jain，A.K.，Colbry，D.：将2.5维面部扫描与三维模型进行匹配。IEEE传输。模式分析。机器。智力。28（1），31-43（2006）·doi:10.1109/TPAMI.2006.15 [48] Maes，C.、Fabry，T.、Keustermans，J.、Smeets，D.、Suetens，P.、Vandermeulen，D.：三维人脸表面的特征检测，用于姿势规范化和识别。摘自：第四届IEEE国际生物统计学会议：理论应用和系统，第1-6页（2010年） [49] Mahoor，M.H.，Abdel-Mottaleb，M.：基于从距离数据获得的三维脊图像的人脸识别。模式识别。42(3), 445-451 (2009) ·Zbl 1181.68249号 ·doi:10.1016/j.patcog.2008.08.012 [50] Meyer，M.，Desburn，M.、Schröder，P.、Barr，A.H.：三角2-流形的离散微分几何算子。参见：《可视化与数学III》，第35-57页。斯普林格（2003）·Zbl 1069.53004号 [51] Mian，A.，Bennamoun，M.，Owens，R.：一种高效的多模态2d-3d混合人脸识别方法。IEEE传输。模式分析。机器。智力。29(11), 1927-1943 (2007) ·doi:10.1109/TPAMI.2007.1105 [52] Mian，A.S.，Bennamon，M.，Owens，R.：纹理三维人脸识别的关键点检测和局部特征匹配。国际期刊计算。视觉。79(1), 1-12 (2008) ·doi:10.1007/s11263-007-0085-5 [53] Moreno，A.B.，Sánchez，A.：Gavabdb：三维人脸数据库。摘自：互联网生物计量学研讨会，第75-80页（2004年）·Zbl 1484.53029号 [54] Morvan，J.M.：广义曲率。柏林施普林格出版社（2008）·Zbl 1149.53001号 ·doi:10.1007/978-3-540-73792-6 [55] Morvan，J.M.，Thibert，B.：法向量场和光滑曲面面积的近似。谨慎。计算。地理。32(3), 383-400 (2004) ·Zbl 1086.53003号 ·doi:10.1007/s00454-004-1096-4 [56] Mpiperis，I.、Malassiotis，S.、Strintzis，M.G.：三维人脸和面部表情识别的双线性模型。IEEE传输。Inf.法医安全。3(3), 498-511 (2008) ·doi:10.1109/TIFS.2008.924598 [57] Pears，N.，Liu，Y.，Bunting，P.：3D成像、分析和应用，第3卷。柏林施普林格出版社（2012）·doi:10.1007/978-1-4471-4063-4 [58] Peter，W.：黎曼流形中多面体的正规圈和积分曲率。微分几何，共性数学。Janos Bolyai协会（1982年） [59] Phillips，P.J.，Flynn，P.J.，Scruggs，T.，Bowyer，K.W.，Chang，J.，Hoffman，K.，Marques，J.，Min，J.，Worek，W.：人脸识别大挑战概述。IEEE计算。Soc.Conf.计算。视觉。模式记录。1, 947-954 (2005) [60] Raviv，D.，Bronstein，A.M.，Bronstien，M.M.，Waisman，D.，Sochen，N.，Kimmel，R.：形状分析的等仿射不变几何。数学杂志。成像Vis。50(1-2), 144-163 (2014) ·Zbl 1314.94016号 ·doi:10.1007/s10851-013-0467-y [61] Razdan，A.，Bae，M.：使用双二次贝塞尔曲面片的三角形网格曲率估计方案。计算。辅助设计。37(14), 1481-1491 (2005) ·Zbl 1206.65107号 ·doi:10.1016/j.cad.2005.03.003 [62] Rusinkiewicz，S.：估算三角形网格上的曲率及其导数。摘自：第二届IEEE三维数据处理、可视化和传输国际研讨会，第486-493页（2004年）·Zbl 1314.94016号 [63] Samir，C.，Srivastava，A.，Daoudi，M.：使用面部曲线形状的三维人脸识别。IEEE传输。模式分析。机器。智力。28（11），1858-1863（2006）·doi:10.1109/TPAMI.2006.235 [64] Savran，A.，Alyüz，N.，Dibeklioglu，H.，Jo eliktutan，O.，Gökberk，B.，Sankur，B.，Akarun，L.：bosphorus数据库的3D人脸识别基准，重点关注面部表情。参加：生物识别和身份管理研讨会（2008年） [65] Sharma，A.、Horaud，R.、Cech，J.、Boyer，E.：基于扩散几何和种子生长的拓扑立体形状匹配。2011年IEEE计算机视觉和模式识别会议（CVPR），第2481-2488页。IEEE（2011） [66] Smeets，D.，Claes，P.，Hermans，J.，Vandermeulen，D.，Suetens，P.：表情变化下三维人脸识别的比较研究。IEEE传输。系统。人类网络。C应用。第42版（5），710-727（2012）·doi:10.1109/TSMCC.2011.2174221 [67] Smeets，D.，Keustermans，J.，Vandermeulen，D.，Suetens，P.：Meshsift：表情变化和部分数据下三维人脸识别的局部表面特征。计算。视觉。图像理解。117(2), 158-169 (2013) ·doi:10.1016/j.cviu.2012.10.002 [68] 斯皮瓦克，M.：流形上的微积分，第1卷。华盛顿州本杰明，纽约（1965年）·Zbl 0141.05403号 [69] 斯皮瓦克，M.：《微分几何综合导论》，第4卷。东京大学出版社，东京（1981）·Zbl 0306.53001号 [70] Spreeuwers，L.：快速准确的三维人脸识别。国际期刊计算。视觉。93(3), 389-414 (2011) ·兹比尔1235.68290 ·doi:10.1007/s11263-011-0426-2 [71] Spreeuwers，L.：打破99·doi:10.1049/iet-bmt.2014.0017 [72] Sun，X.，Morvan，J.M.：曲率度量、法向圈和渐近锥。C.I.R.M.条例3（1），3-10（2013）·Zbl 1484.53029号 ·doi:10.5802/acirm.50 [73] Sun，X.，Morvan，J.M.：嵌入奇异空间的渐近锥。arXiv预印arXiv:1501.02639（2015）·Zbl 1350.58010号 [74] Surazhsky，T.、Magid，E.、Soldea，O.、Elber，G.、Rivlin，E.：三角网格上高斯曲率和平均曲率估计方法的比较。IEEE国际会议机器人。自动。1, 1021-1026 (2003) [75] Szeptycki，P.，Ardabilian，M.，Chen，L.：基于粗到细曲率分析的旋转不变三维人脸标记。在：第三届IEEE国际生物计量会议：理论、应用和系统，第1-6页（2009） [76] Tanaka，H.T.、Ikeda，M.、Chiaki，H.：使用球面相关性的基于曲率的人脸表面识别。曲线目标识别的主要方向。摘自：第三届IEEE自动人脸和手势识别国际会议，第372-377页（1998年） [77] Tang，H.，Yin，B.，Sun，Y.，Hu，Y.：使用局部二进制模式的3D人脸识别。信号。过程。93(8), 2190-2198 (2013) ·doi:10.1016/j.sigpro.2012.04.002 [78] Tang，Y.，Sun，X.，Huang，D.，Morvan，J.M.，Wang，Y..，Chen，L.：基于主曲率的渐近锥三维人脸识别。在：IEEE国际生物计量会议（ICB），第466-472页（2015） [79] Taubin，G.：从多面体近似估计曲面的曲率张量。摘自：第五届IEEE计算机视觉国际会议，第902-907页（1995年） [80] Theisel，H.，Rossi，C.，Zayer，R.，Seidel，H.P.：三角网格曲率张量的基于法线的估计。摘自：第十二届IEEE太平洋计算机图形和应用会议，第288-297页（2004） [81] Tola，E.，Lepetit，V.，Fua，P.：雏菊：应用于宽基线立体声的高效密集描述符。IEEE传输。模式分析。机器。智力。32(5), 815-830 (2010) ·doi:10.1109/TPAMI.2009.77 [82] Wang，Y.，Liu，J.，Tang，X.：基于局部形状差异增强的鲁棒三维人脸识别。IEEE传输。模式分析。机器。智力。32(10), 1858-1870 (2010) ·doi:10.1109/TPAMI.2009.200 [83] Wright，J.，Yang，A.Y.，Ganesh，A.，Sastry，S.S.，Ma，Y.：通过稀疏表示实现鲁棒人脸识别。IEEE传输。模式分析。机器。智力。31(2), 210-227 (2009) ·doi:10.1109/TPAMI.2008.79 [84] Wu，Z.，Wang，Y.，Pan，G.：使用局部形状图进行三维人脸识别。IEEE国际会议图像处理。3, 2003-2006 (2004) [85] Xu，G.，Bajaj，C.L.：R k.J.Compute中2-流形的曲率计算。数学。681-688 (2003) ·Zbl 1031.65032号 [86] Xu，Z.，Xu，G.：高斯曲率的离散格式及其收敛性。计算。数学。申请。57(7), 1187-1195 (2009) ·Zbl 1186.65024号 ·doi:10.1016/j.camwa.2009.01.024 [87] Zhang，L.，Razdan，A.，Farin，G.，Femiani，J.，Bae，M.，Lockwood，C.：基于双边对称分析的3D人脸认证和识别。视觉。计算。22(1), 43-55 (2006) ·doi:10.1007/s00371-005-0352-9 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。