×

美国手语中的面部表情:追踪和识别。 (英语) Zbl 1233.68202号

小结:本文介绍了识别手语交际中使用的面部表情的工作。面部特征被跟踪,以有效捕获签名者在签名过程中面部的时间视觉线索。人脸形状约束用于贝叶斯框架内的鲁棒跟踪。这些约束通过概率主成分分析(PPCA)学习的一组人脸形状子空间来指定。还使用了一个更新方案来适应不同脸型的人。提出了两种跟踪算法,它们在人脸形状约束的实施方式上有所不同。结果表明,所提出的跟踪器可以跟踪头部运动较大、面部变形严重和暂时性面部遮挡的面部特征。将跟踪结果输入到由隐马尔可夫模型(HMM)和支持向量机(SVM)组成的识别系统中,以识别代表美国手语语法标记的六个孤立面部表情。跟踪误差小于4像素(640倍480视频),概率大于90%;相比之下,KLT跟踪器以76%的概率获得了这种精度。在个体相关测试中,ASL面部表情的识别准确率为91.76%,在个体独立测试中为87.71%。

MSC公司:

68吨10 模式识别、语音识别
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] B.L.Loeding,S.Sarkar,A.Parashar,A.I.Karshmer,手语自动计算机识别进展,载:《残疾人计算机国际会议》,法国巴黎,2004年,第1079-1087页。;B.L.Loeding,S.Sarkar,A.Parashar,A.I.Karshmer,手语自动计算机识别进展,载于:残疾人计算机国际会议,法国巴黎,2004年,第1079-1087页。
[2] Ong,S.C。;Ranganath,S.,《自动手语分析:词汇意义之外的调查与未来》,IEEE模式分析与机器智能汇刊,27,6,873-891(2005)
[3] U.Canzler,T.Dziurzyk,基于视频的手语识别非手动特征提取,摘自:IAPR机器视觉应用研讨会,日本奈良,2002年,第318-321页。;U.Canzler,T.Dziurzyk,基于视频的手语识别非手动特征提取,摘自:IAPR机器视觉应用研讨会,日本奈良,2002年,第318-321页。
[4] 福格勒,C。;Goldenstein,S.,《ASL中的面部运动分析》,《信息社会中的普遍访问期刊》,6,4,363-374(2008)
[5] T.J.Castelli,M.Betke1,C.Neidle,美国手语中的面部特征跟踪和遮挡恢复,收录于:第六届信息系统模式识别国际研讨会,塞浦路斯帕福斯,2006年,第81-90页。;T.J.Castelli,M.Betke1,C.Neidle,《美国手语中的面部特征跟踪和遮挡恢复》,收录于:第六届信息系统模式识别国际研讨会,塞浦路斯帕福斯,2006年,第81-90页。
[6] 美国冯·阿格里斯。;Zieren,J。;Canzler,美国。;Bauer,B。;Krass,K.-F.,视觉手语识别的最新发展,信息社会中的通用访问,6,4,323-362(2008)
[7] 桥梁,B。;Metzger,M.,《聋人照顾你》(1996),Calliope出版社:Calliope-Press Silver Spring,MD
[8] 贝克,C。;Cokely,D.,《美国手语:关于语法和文化的教师资源文本》(1980年),Clerc Books,Gallaudet University出版社:Clerc Books,Garlaudet United Press,Washington,DC,USA
[9] Pantic,M。;Rothkrantz,L.J.,面部表情自动分析专家系统,图像和视觉计算,18,11,881-905(2000)
[10] Fasel,B。;Luettin,J.,《自动面部表情分析:一项调查》,模式识别,36,1,259-275(2003)·兹比尔1007.68947
[11] Bartlett,M.S。;哈格,J.C。;埃克曼,P。;Sejnowski,T.J.,《通过计算机图像分析测量面部表情》,心理生理学,36,253-263(1999)
[12] 布莱克,M.J。;Yacoob,Y.,使用图像运动的局部参数化模型识别图像序列中的面部表情,国际计算机视觉杂志,25,1,23-48(1997)
[13] P.Ekman等人,《面部动作编码系统,人脸》,2002年(第1章和第2章)。;P.Ekman等人,《面部动作编码系统》,《人脸》,2002年(第1章和第2章)。
[14] Terzopoulos,D。;Waters,K.,使用物理和解剖模型分析和合成面部图像序列,IEEE模式分析和机器智能汇刊,15,6,569-579(1993)
[15] Essa,I.A.公司。;Pentland,A.,面部表情的编码、分析、解释和识别,IEEE模式分析和机器智能汇刊,19,7,757-763(1998)
[16] DeCarlo博士。;Metaxas,D.,可变形模型的光流约束及其在人脸跟踪中的应用,国际计算机视觉杂志,38,2,99-127(2000)·Zbl 1012.68689号
[17] 科恩,I。;塞贝,N。;加格,A。;Chen,L。;Huang,T.,从视频序列中识别面部表情:时间和静态建模,计算机视觉和图像理解,91,1-2,160-187(2003),(人脸识别专刊)
[18] Yuille,A.L。;Hallina,P.W。;Cohen,D.S.,使用可变形模板从人脸中提取特征,国际计算机视觉杂志,8,2,99-111(1992)
[19] 库特斯,T.F。;泰勒,C.J。;库珀,D.H。;Graham,J.,《主动形状模型的训练和应用》,《计算机视觉和图像理解》,61,1,38-59(1995)
[20] 李田,Y。;Kanade,T。;Cohn,J.F.,识别面部表情分析的动作单元,IEEE模式分析和机器智能汇刊,23,2,97-115(2001)
[21] S.Romdhani,S.Gong,A.Psarrou,使用核PCA的多视图非线性主动形状模型,收录于:英国机器视觉会议,英国诺丁汉,1999年,第483-492页。;S.Romdhani,S.Gong,A.Psarrou,使用核PCA的多视图非线性主动形状模型,收录于:英国机器视觉会议,英国诺丁汉,1999年,第483-492页。
[22] Chang,Y。;胡,C。;费利斯,R。;Turk,M.,面部表情的基于流形的分析,图像和视觉计算,24,6,605-614(2006)
[23] Tsalakanidou,F。;Malassiotis,S.,实时2D+3D面部动作和表情识别,模式识别,43,1763-1775(2010)
[24] Tong,Y。;陈,J。;Ji,Q.,自发面部动作建模和理解的统一概率框架,IEEE模式分析和机器智能汇刊,32258-273(2010)
[25] Tipping,M.E。;Bishop,C.M.,概率主成分分析,《皇家统计学会杂志》,B辑,61,3,611-622(1999)·Zbl 0924.62068号
[26] B.D.Lucas,T.Kanade,《立体视觉应用的迭代图像配准技术》,载于:国际人工智能联合会议,第2卷,加拿大不列颠哥伦比亚省,1981年,第674-679页。;B.D.Lucas,T.Kanade,《立体视觉应用的迭代图像配准技术》,载于:国际人工智能联合会议,第2卷,加拿大不列颠哥伦比亚省,1981年,第674-679页。
[27] Nguyen,H.T。;Ji,Q.,稳健多目标跟踪的时空背景,IEEE模式分析和机器智能汇刊,29,1,52-64(2007)
[28] C.Neidle,J.Nash,N.Michael,D.Metaxas,通过使用带语言注释的视频语料库开发的一种识别语法意义上的头部运动和面部表情的方法,收录于:语言和逻辑研讨会,手语的形式方法,欧洲逻辑、语言和信息暑期学校,法国波尔多, 2009.; C.Neidle,J.Nash,N.Michael,D.Metaxas,通过使用带语言注释的视频语料库开发的一种识别语法意义上的头部运动和面部表情的方法,收录于:语言和逻辑研讨会,手语的形式方法,欧洲逻辑、语言和信息暑期学校,法国波尔多,2009
[29] A.Kanaugia,Y.Huang,D.Metaxas,使用混合点分布模型跟踪面部特征,in:印度计算机视觉、图形和图像处理会议,印度马杜赖,2006年,第492-503页。;A.Kanaugia,Y.Huang,D.Metaxas,使用混合点分布模型跟踪面部特征,收录于:印度计算机视觉、图形和图像处理会议,印度马杜赖,2006年,第492-503页。
[30] A.Kanaugia,D.N.Metaxas,主动形状模型的大规模学习,收录于:IEEE图像处理国际会议,美国德克萨斯州圣安东尼奥,2007年,第265-268页。;A.Kanaujia,D.N.Metaxas,活动形状模型的大规模学习,载于:IEEE国际图像处理会议,美国德克萨斯州圣安东尼奥,2007年,第265-268页。
[31] D.Metaxas,A.Kanaugia,Z.Li,使用自适应重叠子空间动态跟踪面部表情,收录于:中国北京国际计算科学会议,2007年,第1114-1121页。;D.Metaxas,A.Kanaujia,Z.Li,使用自适应重叠子空间动态跟踪面部表情,载于:国际计算科学会议,中国北京,2007年,第1114-1121页。
[32] 帕特拉斯,I。;Hancock,E.R.,稳健视觉跟踪的耦合预测分类,IEEE模式分析和机器智能汇刊,321553-1567(2010)
[33] D.Cristinacce,T.Cootes,带约束局部模型的特征检测和跟踪,收录于:英国机器视觉会议,英国爱丁堡,2006年,第838-928页。;D.Cristinacce,T.Cootes,带约束局部模型的特征检测和跟踪,收录于:英国机器视觉会议,英国爱丁堡,2006年,第838-928页·Zbl 1169.68591号
[34] 丁·L。;Martinez,A.M.,《特征与背景:精确详细检测和描绘面部和面部特征的方法》,IEEE模式分析和机器智能汇刊,32,11,2022-2038(2010)
[35] 汤永庆,季奇,基于多模态概率模型的多视角人脸特征跟踪,载:《模式识别国际会议》,香港,2006年,第307-310页。;汤永庆,季奇,基于多模态概率模型的多视角人脸特征跟踪,载:《模式识别国际会议》,香港,2006年,第307-310页。
[36] F.Zhou,F.De la Torre,J.F.Cohn,面部事件的非监督发现,摘自:IEEE计算机视觉和模式识别会议,美国加利福尼亚州旧金山,2010年,第2574-2581页。;F.Zhou,F.De la Torre,J.F.Cohn,面部事件的非监督发现,摘自:IEEE计算机视觉和模式识别会议,美国加利福尼亚州旧金山,2010年,第2574-2581页。
[37] T.Simon,M.H.Nguyen,F.De La Torre,J.F.Cohn,基于分段SVM的动作单元检测,摘自:IEEE计算机视觉和模式识别会议,美国加利福尼亚州旧金山,2010年,第2737-2744页。;T.Simon,M.H.Nguyen,F.De La Torre,J.F.Cohn,基于分段SVM的动作单元检测,摘自:IEEE计算机视觉和模式识别会议,美国加利福尼亚州旧金山,2010年,第2737-2744页。
[38] T.F.Cootes、G.J.Edwards、C.J.Taylor,《主动外观模型》,摘自:欧洲计算机视觉会议,德国弗莱堡,1998年,第484-498页。;T.F.Cootes、G.J.Edwards、C.J.Taylor,《主动外观模型》,摘自:欧洲计算机视觉会议,德国弗莱堡,1998年,第484-498页。
[39] Tipping,M.E。;Bishop,C.M.,概率主成分分析仪的混合,神经计算,11,2,443-482(1999)
[40] G.Hamerly,C.Elkan,Learning the k in k means,in:Neural Information Processing System,加拿大不列颠哥伦比亚省,2003年,第281-288页。;G.Hamerly,C.Elkan,学习k-means中的k,收录于:神经信息处理系统,加拿大不列颠哥伦比亚省,2003年,第281-288页。
[41] Stephens,M.A.,《拟合优度的EDF统计和一些比较》,《美国统计协会杂志》,69,347,730-737(1974)
[42] 拉宾纳,L。;Juang,B.-H.,《语音识别基础》(1993),Prentice-Hall:Prentice-Hall Englewood Cliffs,新泽西州,美国
[43] Boser,B.E。;盖恩,I.M。;Vapnik,V.N.,最佳边缘分类器的训练算法,(第五届计算学习理论年度研讨会(1992年),美国计算机学会出版社:美国宾夕法尼亚州匹兹堡计算机学会出版社),144-152
[44] 科尔特斯,C。;Vapnik,V.,支持向量网络,机器学习,20,3,273-297(1995)·Zbl 0831.68098号
[45] M.Bienvenu,B.Colonomos,《美国手语的面貌》,录像带,Sign Media Inc。;M.Bienvenu,B.Colonomos,《美国手语的面貌》,录像带,Sign Media Inc。
[46] Neidle,C。;Sclaroff,S。;Athitsos,V.,(\operatorname{SignStream}™):视觉语言数据的语言和计算机视觉研究工具,行为研究方法,仪器和计算机,33,311-320(2001)
[47] Neidle,C.,(\operatorname{SignStream}™):研究视觉语言的数据库工具,手语和语言学杂志,4,1-2,203-214(2002)
[48] 梅耶,C。;Wimmer,M。;Radig,B.,调整像素特征以实现稳健的面部组件分类,图像和视觉计算,28762-771(2010)
[49] 斯特格曼,M.B。;Ersboll,B.K。;Larsen,R.,FAME-一个灵活的外观建模环境,IEEE医学成像汇刊,22,10,1319-1331(2003)
[50] K.Murphy,Matlab的隐马尔可夫模型工具箱,\(\langle\)网址:http://www.cs.ubc.ca/~murphyk/Software/HMM/HMM.html\(\rangle\);K.Murphy,Matlab的隐马尔可夫模型工具箱网址:http://www.cs.ubc.ca/~murphyk/Software/HMM/HMM.html\(\rangle\)
[51] C.-C.Chang,C.-J.Lin,LIBSVM:支持向量机库,软件可从以下网址获得:\(\langle\)网址:http://www.csie.ntu.edu.tw/~cjlin/libsvm\(\rangle\);C.-C.Chang,C.-J.Lin,LIBSVM:支持向量机库,软件可从以下网址获得:\(\langle\)网址:http://www.csie.ntu.edu.tw/~cjlin/libsvm\(\rangle\)
[52] T.Kanade,Y.Tian,J.F.Cohn,面部表情分析综合数据库,摘自:IEEE自动面部和手势识别国际会议,法国格勒诺布尔,2000年,第46-53页。;T.Kanade,Y.Tian,J.F.Cohn,面部表情分析综合数据库,摘自:IEEE自动面部和手势识别国际会议,法国格勒诺布尔,2000年,第46-53页。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。