×
德米特罗·德卡赫;阿德里亚·鲁伊斯;费德里科·苏克诺（Federico M.Sukno）。

三维头部姿态估计的张量分解和非线性流形建模。 （英语） Zbl 1477.68349号

国际期刊计算。视觉。 127，第10号，1565-1585（2019）.
摘要：头部姿势估计是一个具有挑战性的计算机视觉问题，在人机交互或人脸识别等不同场景中具有重要应用。本文提出了一种基于非线性流形学习的三维头部姿态估计算法。该方法的一个关键特征是，它允许对旋转角度组合产生的基础3D流形进行建模。为此，我们使用张量分解为每个变化因子生成单独的子空间，并表明每个子空间都具有清晰的结构，可以用每个角度的唯一共享参数的余弦函数来建模。这种表示提供了对数据行为的深入理解。我们表明，所提出的框架可以应用于各种输入特征，并可以用于不同的目的。首先，我们在一个由2D图像组成的公开数据库上测试了我们的系统，我们表明余弦函数可以用于从一个物体合成旋转版本，而我们只能从该物体以特定角度看到2D图像。此外，我们使用其他两种类型的特征（自动地标和基于直方图的3D描述符）进行了3D头部姿势估计实验。我们在两个公开可用的数据库上评估了我们的方法，并证明可以通过优化这些余弦函数的组合来进行角度估计，以实现最先进的性能。

理学硕士：

68T45型 机器视觉和场景理解
68T05型 人工智能中的学习和自适应系统

关键词：

3D头部姿势;流形学习;张量分解

软件：

minFunc（最小功能）;ETH面部姿势;线圈-20
PDF格式BibTeX公司 XML格式引用
\textit{D.Derkach}等人，《国际计算杂志》。视觉。127，第10号，1565--1585（2019；Zbl 1477.68349）
全文： 内政部 哈尔

参考文献：

[1] Ahn，B.、Park，J.和Kweon，I.S.（2014年）。使用深度神经网络从单目相机实时定位头部。亚洲计算机视觉会议（第82-96页）。斯普林格。
[2] Bakry，A.和Elgammal，A.（2014）。用于多视图识别和姿态估计的解斜对象-视图流形。在欧洲计算机视觉会议上（第434-449页）。斯普林格。
[3] Balasubramanian，V.N.、Ye，J.和Panchanathan，S.（2007年）。有偏流形嵌入：一个用于人相关头部姿势估计的框架。计算机视觉和模式识别（CVPR）（第1-7页）。电气与电子工程师协会。
[4] Baltrušaitis，T.、Robinson，P.和Morency，L.P.（2012年）。用于刚性和非刚性人脸跟踪的三维约束局部模型。计算机视觉和模式识别（CVPR）（第2610-2617页）。电气与电子工程师协会。
[5] Barros，J.M.D.、Mirbach，B.、Garcia，F.、Varanasi，K.和Stricker，D.（2018年）。融合关键点跟踪和人脸地标检测的实时头部姿势估计。计算机视觉应用冬季会议（WACV）（第2028-2037页）。电气与电子工程师协会。
[6] BenAbdelkader，C.（2010年）。基于监督流形学习的鲁棒头部姿态估计。在欧洲计算机视觉会议上（第518-531页）。斯普林格。
[7] Bergqvist，G.和Larsson，E.G.（2010年）。高阶奇异值分解：理论和应用[课堂讲稿]。IEEE信号处理杂志，27（3），151-154·doi:10.1109/MSP.2010.936030
[8] Borghi，G.、Fabbri，M.、Vezzani，R.、Calderara，S.和Cucchiara，R.（2019年）。用于深度图像上头部姿势估计的人脸自深。IEEE模式分析和机器智能汇刊（出版）。
[9] Borghi，G.、Venturelli，M.、Vezzani，R.和Cucchiara，R.（2017）。波塞冬：用于驾驶员姿势估计的面距深度。IEEE计算机视觉和模式识别会议记录（第4661-4670页）。
[10] Breitenstein，M.D.、Kuettel，D.、Weise，T.、Van Gool L和Pfister，H.（2008年）。基于单距离图像的实时人脸姿态估计。计算机视觉和模式识别（第1-8页）。电气与电子工程师协会。
[11] Byrd，R.H.、Nocedal，J.和Schnabel，R.B.（1994）。拟牛顿矩阵的表示及其在有限记忆方法中的应用。数学规划，63（1-3），129-156·Zbl 0809.90116号 ·doi:10.1007/BF01582063
[12] Chen，J.，Wu，J.、Richter，K.、Konrad，J.和Ishwar，P.（2016）。使用极低分辨率图像估计头部姿势方向。在西南图像分析和解释研讨会（SSIAI）上（第65-68页）。电气与电子工程师协会
[13] 科蒙，P.（2014）。时态：简介。《信号处理杂志》，31（3），44-53·doi:10.1109/MSP.2014.2298533
[14] De Lathauwer，L.、De Moor，B.和Vandewalle，J.（2000）。多线性奇异值分解。SIAM矩阵分析与应用杂志，21（4），1253-1278·Zbl 0962.15005号 ·doi:10.1137/S0895479896305696
[15] Derkach，D.、Ruiz，A.和Sukno，F.M.（2017年）。基于三维人脸标志点定位和回归的头部姿势估计。第12届IEEE自动人脸和手势识别国际会议（FG 2017）（第820-827页）。电气与电子工程师协会。
[16] Derkach，D.、Ruiz，A.和Sukno，F.M.（2018年）。使用张量分解和非线性流形建模进行三维头部姿势估计。摘自：3D视觉国际会议（3DV）（第505-513页）。电气与电子工程师协会。
[17] Fanelli，G.、Dantone，M.、Gall，J.、Fossati，A.和Van Gool，L.（2013年）。实时3D人脸分析的随机森林。国际计算机视觉杂志，101（3），437-458·doi:10.1007/s11263-012-0549-0
[18] Fanelli，G.、Weise，T.、Gall，J.和Van Gool，L.（2011年）。消费者深度相机的实时头部姿势估计。在联合模式识别研讨会上（第101-110页）。斯普林格。
[19] Frome，A.、Huber，D.、Kolluri，R.、Bulow，T.和Malik，J.（2004）。使用区域点描述符识别距离数据中的对象。在欧洲计算机视觉会议上（第224-237页）。斯普林格·Zbl 1098.68766号
[20] Fu，Y.，&Huang，T.S.（2006）。用于头部姿势估计的图形嵌入分析。在自动人脸和手势识别国际会议上（第6-8页）。IEEE标准。
[21] Ghiass，R.S.、Arandjelović，O.和Laurendiau，D.（2015）。使用低质量的消费级rgb-d传感器进行高度准确和全自动的头部姿势估计。《第二届社会互动计算模型研讨会论文集：人-计算机-媒体传播》（第25-34页）。ACM公司。
[22] Gu，J.、Yang，X.、De Mello，S.和Kautz，J.（2017）。动态面部分析：从贝叶斯滤波到递归神经网络。摘自IEEE计算机视觉和模式识别会议论文集（第1548-1557页）。
[23] Johnson，A.和Hebert，M.（1999）。在杂乱的3D场景中使用旋转图像进行有效的对象识别。IEEE模式分析和机器智能汇刊，21（5），433-449·doi:10.1109/34.765655
[24] Kolda，T.G.和Bader，B.W.（2009年）。张量分解及其应用。SIAM评论，51（3），455-500·Zbl 1173.65029号 ·doi:10.1137/07070111X
[25] Lathuiliére，S.、Juge，R.、Mesejo，P.、Muñoz Salinas，R.和Horaud，R.（2017）。线性反向回归的深度混合应用于头糖估计。计算机视觉和模式识别会议（第3卷，第4817-4825页）。
[26] Lathuiliére，S.、Mesejo，P.、Alameda-Pineda，X.和Horaud，R.（2019年）。深度回归的综合分析。IEEE模式分析和机器智能汇刊，1-1（出版）。
[27] Lee，D.、Yang，M.H.和Oh，S.（2015）。通过随机投影森林快速准确地估计头部姿势。在计算机视觉国际会议上（第1958-1966页）。电气与电子工程师协会。
[28] Lee，D.、Yang，M.H.和Oh，S.（2017年）。使用卷积随机投影森林进行头部和身体方位估计。IEEE模式分析和机器智能事务（第1-14页）
[29] Li，D.和Pedrycz，W.（2014）。基于中心轮廓的3D人脸姿势估计。模式识别，47（2），525-534·doi:10.1016/j.patcog.2013.07.019
[30] Li，S.、Ngan，K.N.、Paramesran，R.和Sheng，L.（2016）。基于在线人脸模板重建的实时头部姿态跟踪。IEEE模式分析和机器智能汇刊，38（9），1922-1928·doi:10.1109/TPAMI.2015.2500221
[31] Liu，X.，Liang，W.，Wang，Y.，Li，S.，&Pei，M.（2016）。基于合成图像训练的卷积神经网络的三维头部姿态估计。图像处理国际会议（ICIP）（第1289-1293页）。电气与电子工程师协会。
[32] Liu，X.、Lu，H.和Li，W.（2010）。用于头部姿态估计的多流形建模。在国际图像处理会议（ICIP）中（第3277-3280页）。电气与电子工程师协会。
[33] Lüsi，I.、Escalera，S.和Anbarjafari，G.（2016a）。基于随机hough回归森林的SASE数据库中的人体头部姿势估计。视频分析（第137-150页）。斯普林格：面部和面部表情识别和观众测量。
[34] Lüsi，I.、Escrela，S.和Anbarjafari，G.（2016b）。SASE:RGB-人体头部姿势估计深度数据库。在欧洲计算机视觉会议上（第325-336页）。斯普林格。
[35] Lüsi，I.、Jacques Junior，J.C.S.、Gorbova，J.、BaróX、Escalera，S.、Demirel，H.、Allik，J.，Ozcinar，C.和Anbarjafari，G.（2017年）。使用微观情感特征和头像估计对显性和互补情感识别的联合挑战：数据库。在关于自动人脸和手势识别的国际会议上（第809-813页）。电气与电子工程师协会。
[36] Martin，M.、Van De Camp，F.和Stiefelhagen，R.（2014）。消费者深度相机上的实时头部模型创建和头部姿势估计。在3D视觉国际会议（3DV）上（第1卷，第641-648页）。电气与电子工程师协会。
[37] Meyer，G.P.、Gupta，S.、Frosio，I.、Reddy，D.和Kautz，J.（2015）。稳健的基于模型的3D头部姿势估计。IEEE计算机视觉国际会议论文集（第3649-3657页）。电气与电子工程师协会。
[38] Murphy-Chutorian，E.和Trivedi，M.M.（2009）。计算机视觉中的头部姿势估计：一项调查。IEEE模式分析和机器智能汇刊，31（4），607-626·doi:10.1109/TPAMI.2008.106
[39] Nene，S.A.、Nayar，S.K.、Murase，H.等人（1996年）。哥伦比亚物体图像库（线圈-20）。
[40] Padeleris，P.、Zabulis，X.和Argyros，A.A.（2012年）。基于粒子群算法的深度数据头部姿态估计。计算机视觉和模式识别研讨会（CVPRW）计算机学会会议（第42-49页）。电气与电子工程师协会。
[41] Papazov，C.、Marks，T.K.和Jones，M.（2015）。使用三角曲面片特征从深度图像实时估计3D头部姿势和面部地标。IEEE计算机视觉和模式识别会议记录（第4722-4730页）。
[42] Patacchiola，M.和Cangelosi，A.（2017年）。使用卷积神经网络和自适应梯度方法在野外进行头部姿势估计。模式识别，71，132-143·doi:10.1016/j.patcog.2017.06.009
[43] Peng，X.、Huang，J.、Hu，Q.、Zhang，S.和Metaxas，D.N.（2014）。通过实例参数化进行头部姿态估计。在国际模式识别会议（ICPR）中（第1800-1805页）。电气与电子工程师协会。
[44] Raytchev，B.、Yoda，I.和Sakaue，K.（2004）。基于非线性流形学习的头部姿态估计。模式识别国际会议（ICPR）（第4卷，第462-466页）。电气与电子工程师协会。
[45] Ruiz，N.、Chong，E.和Rehg，J.M.（2018年）。没有关键点的细粒度头部姿势估计。IEEE计算机视觉和模式识别研讨会会议记录（第2074-2083页）。
[46] Rusu，R.B.、Blodow，N.和Beetz，M.（2009年）。用于三维配准的快速点特征直方图（fpfh）。在机器人和自动化国际会议上，Citeser（第3212-3217页）。
[47] Schmidt，M.（2012）。Minfunc：matlab中的无约束可微多元优化。软件可在http://www.cs.ubc.ca/schmidtm/Software/minFunc.htm。
[48] Seemann，E.、Nickel，K.和Stiefelhagen，R.（2004）。使用立体视觉进行人机交互的头部姿势估计。在自动人脸和手势识别国际会议上（第626-631页）。电气与电子工程师协会。
[49] Sukno，F.、Waddington，J.和Whelan，P.（2012年）。比较三维描述符用于局部搜索颅面标志。在视觉计算国际研讨会上（第92-103页）。斯普林格。
[50] Sukno，F.、Waddington，J.和Whelan，P.（2013）。使用不对称模式的旋转不变3D形状上下文。计算机图形学理论和应用国际会议（第7-17页）。
[51] Sukno，F.M.、Waddington，J.L.和Whelan，P.F.（2015）。基于不对称模式和不完整局部特征的形状回归的三维人脸地标定位。IEEE控制论汇刊，45（9），1717-1730·doi:10.1109/TCYB.2014.2359056
[52] Sun，Y.，&Yin，L.（2008）。三维人脸模型的自动姿态估计。在模式识别国际会议上（第1-4页）。
[53] Sundararajan，K.和Woodard，D.L.（2015）。使用近似视图流形在野外进行头部姿势估计。在国际计算机视觉和模式识别研讨会上（第50-58页）。电气与电子工程师协会。
[54] Szegedy，C.、Liu，W.、Jia，Y.、Sermanet，P.、Reed，S.、Angelov，D.、Erhan，D.、Vanhoucke，V.和Rabinovich，A.（2015）。用卷积深入。IEEE计算机视觉和模式识别会议记录（第1-9页）。
[55] Takallou，H.M.和Kasaei，S.（2014）。使用基于非线性张量的模型进行头部姿态估计和人脸识别。IET计算机视觉，8（1），54-65·doi:10.1049/iet-cvi.2012.0217
[56] Tan，D.J.、Tombari，F.和Navab，N.（2018年）。实时准确的三维头部跟踪和姿势估计与消费者rgb-d相机。国际计算机视觉杂志，126（2-4），158-183·doi:10.1007/s11263-017-0988-8
[57] Tenenbaum，J.B.和Freeman，W.T.（1997）。分隔样式和内容。《神经信息处理系统进展》（第662-668页）。
[58] Tenenbaum，J.B.和Freeman，W.T.（2000）。使用双线性模型分离样式和内容。神经计算，12（6），1247-1283·doi:10.1162/089976600300015349
[59] Tombari，F.、Salti，S.和Di Stefano，L.（2010年）。用于局部曲面描述的直方图的唯一签名。在欧洲计算机视觉会议上（第356-369页）。斯普林格。
[60] Tulyakov，S.、Vieriu，R.L.、Semeniuta，S.和Sebe，N.（2014年）。稳健的实时极端头部姿势估计。模式识别国际会议（ICPR）（第2263-2268页）。电气与电子工程师协会。
[61] Vasilescu，M.A.O.和Terzopoulos，D.（2002年）。图像集合的多线性分析：张量面。在欧洲计算机视觉会议上（第447-460页）。斯普林格·Zbl 1034.68693号
[62] Wang，B.，Liang，W.，Wang，Y.，&Liang（2013）。结合2D SIFT和3D HOG特征的头部姿势估计。在国际图像和图形会议（ICIG）上（第650-655页）。电气与电子工程师协会。
[63] Wang，C.，Guo，Y.，&Song，X.（2017a）。通过流形学习进行头部姿势估计。InTech：在Manifolds中——当前的研究领域。 ·数字对象标识代码：10.5772/65903
[64] Wang，C.和Song，X.（2014）。基于监督流形学习的鲁棒头部姿态估计。神经网络，53，15-25·Zbl 1308.68101号 ·doi:10.1016/j.neunet.2014.01.009
[65] Wang，K.，Wu，Y.，&Ji，Q.（2018）。低质量图像上的头部姿态估计。在自动人脸和手势识别国际会议（FG 2018）（第540-547页）。电气与电子工程师协会。
[66] Wang，M.，Panagakis，Y.，Snape，P.，Zafeiriou，S.等人（2017b）。学习视觉数据的多线性结构。摘自：IEEE计算机视觉和模式识别会议记录（第4592-4600页）。
[67] Wang，Y.，Liang，W.，Shen，J.，Jia，Y.和Yu，L.F.（2019年）。基于合成数据的头部姿势估计的深度粗到精网络。模式识别，94196-206·doi:10.1016/j.patcog.2019.05.026
[68] Xu，Y.，Hao，R.，Yin，W.，&Su，Z.（2015）。低秩张量补全的并行矩阵分解。反问题与成像，9（2），601-624·兹比尔1359.15021 ·doi:10.3934/ipi.2015.9.601
[69] Yu，Y.、Mora，K.A.F.和Odobez，J.M.（2017）。通过3dmm和在线头部模型重建实现稳健准确的3D头部姿势估计。在自动人脸和手势识别国际会议上（FG 2017）（第711-718页）。电气与电子工程师协会。
[70] Zhang，H.、El-Gaaly，T.、Elgammal，A.和Jiang，Z.（2015）。用于联合目标识别和姿态估计的视物流形分解。计算机视觉和图像理解，13989-103·doi:10.1016/j.cviu.2015.03.014
[71] Zhao，Q.、Zhang，L.和Cichocki，A.（2015）。不完全张量的贝叶斯cp分解及其自动秩确定。IEEE模式分析和机器智能汇刊，37（9），1751-1763·doi:10.1109/TPAMI.2015.2392756
[72] Zhu，Y.，Xue，Z.，&Li，C.（2014）。采用同步子流形嵌入和随机回归森林的自动头部姿势估计。国际信号处理、图像处理和模式识别杂志，7（3），123-134·doi:10.14257/ijsip.2014.7.3.11
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。