Identity preserving multi-pose facial expression recognition using fine tuned VGG on the latent space vector of generative adversarial network

R Nandhini Abiram; P M Durai Raj Vincent; R Nandhini Abiram; P M Durai Raj Vincent

doi:10.3934/mbe.2021186

数学生物科学与工程

2021,第18卷, 第4版: 3699-3717. 数字对象标识：10.3934/mbe.2021186

研究文章

基于生成对抗网络潜在空间向量的微调VGG保身份多糖人脸表情识别

印度泰米尔纳德邦维洛尔理工学院信息技术学院

收到：2021年2月17日 认可的：2021年4月15日 出版：2021年4月28日

面部表情是人类表达心理状态的重要组成部分，已成为计算机视觉的重要研究领域之一。然而，当给定的面部图像是非正面的时，任务变得具有挑战性。使用能够学习姿势不变表示的生成性对抗网络的编码器，可以减轻姿势对人脸图像的影响。使用样式GAN体系结构可以获得最先进的图像生成结果。提出了一种有效的模型，将给定的图像嵌入到样式GAN的潜在向量空间中。编码器提取人脸图像的高级特征并将其编码到潜在空间。对隐藏在样式GAN潜在空间中的语义进行了严格的分析。在分析的基础上，合成人脸图像，并使用表情识别神经网络识别人脸表情，从潜在空间编码的特征中恢复原始图像。通过使用样式GAN的特征编码潜在空间生成的图像，可以对图像进行语义编辑操作，如人脸旋转、样式转换、人脸老化、图像变形和表情转换。L（左）₂为了保证重建图像的质量，采用了特征损失法。然后将人脸图像送入属性分类器以提取高级特征，并将这些特征连接起来进行面部表情分类。对生成的结果进行评估，以证明使用所提出的方法可以实现最先进的结果。
- 计算机视觉,
- 深度学习,
- 面部表情识别,
- 卷积神经网络,
- 人机交互,
- 生成性对抗网络
引用：R Nandhini Abiram，P M Durai Raj Vincent。在生成性对抗网络的潜在空间向量上使用微调VGG进行身份保持的多剂量面部表情识别[J]。数学生物科学与工程，2021，18（4）：3699-3717。doi:10.3934/月2021186

相关论文：

摘要

面部表情是人类表达心理状态的重要组成部分，已成为计算机视觉的重要研究领域之一。然而，当给定的面部图像是非正面的时，任务变得具有挑战性。使用能够学习姿势不变表示的生成性对抗网络的编码器，可以减轻姿势对人脸图像的影响。使用样式GAN体系结构可以获得最先进的图像生成结果。提出了一种有效的模型，将给定的图像嵌入到样式GAN的潜在向量空间中。编码器提取人脸图像的高级特征并将其编码到潜在空间。对隐藏在样式GAN潜在空间中的语义进行了严格的分析。在分析的基础上，合成人脸图像，并使用表情识别神经网络识别人脸表情，从潜在空间编码的特征中恢复原始图像。可以对从使用styleGAN的特征编码的潜在空间生成的图像中获得的图像执行语义编辑操作，如面部旋转、风格转移、面部老化、图像变形和表情转移。L（左）₂为了保证重建图像的质量，采用了特征损失法。然后将人脸图像送入属性分类器以提取高级特征，并将这些特征连接起来进行面部表情分类。对生成的结果进行评估，以证明使用所提出的方法可以实现最先进的结果。

工具书类

[1]	T.Fádel，S.Carvalho，B.Santos，阿尔茨海默病中的面部表情识别：系统综述，临床杂志。实验神经心理学。,41(2019), 192-203. 数字对象标识：10.1080/13803395.2018.1501001
[2]	S.Li，W.Deng，《混合情感：使用众包注释和深层局部特征学习的多标签面部表情识别》，国际期刊计算。视觉。,127(2019), 884-906. 数字对象标识：2007年10月17日/11263-018-1131-1
[3]	W.Su，M.Liu，Y.Yang，J.Wang，S.Li，H.Lv，et al.，PPD：实验验证的原核启动子的人工管理数据库，分子生物学杂志。，（2019），即将出版。
[4]	D.Jain，P.Shamsolmoali，P.Sehdev，面部情绪识别的扩展深度神经网络，模式识别器。莱特。,120(2019), 69-74. 数字对象标识：2016年10月10日/j.patrec.2019.01.008
[5]	C.Gong，F.Lin，X.An，绿色物联网中嵌入式人机交互的新型情感控制系统，IEEE接入,7(2019), 185148-185156. 数字对象标识：10.1109/通道2019.2960832
[6]	J.Deng，G.Pang，Z.Zhang，Z.Pang，H.Yang，G.Yang，基于cGAN的人机交互面部表情识别，IEEE接入,7(2019), 9848-9859. 数字对象标识：10.1109/通道2019.2891668
[7]	F.Y.Dao、H.Lv、D.Zhang、Z.Zhang，L.Liu、H.Lin、DeepYY1：识别YY1-介导染色质环的深度学习方法，简介。生物信息学。,356(2020).
[8]	M.Wu，W.Su，L.Chen，Z.Liu，W.Cao，K.Hirota，用于人机交互中面部表情识别的加权自适应卷积神经网络，IEEE传输。系统。人类网络。,51（2021），1473-1484。数字对象标识：10.1109/TSMC2019.2897330
[9]	M.Sajjad，A.Shah，Z.Jan，S.I.Shah，S.W.Baik，I.Mehmood，基于面部外观和纹理特征的鲁棒面部表情识别框架，用于情感知识发现，集群计算。,21(2018), 549-567. 数字对象标识：10.1007/s10586-017-0935-z
[10]	A.Nandi，P.Dutta，M.Nasir，使用形状信息矩阵的面向直方图的梯度（HoG）自动面部表情识别，in智能计算与通信国际会议施普林格，（2019），343-351。
[11]	F.Y.Dao，H.Lv，H.Zulfiqar，H.Yang，W.Su，H.Gao等，识别真核生物复制位点起源的计算平台，简介。生物信息。,22(2020), 1940-1950.
[12]	S.Berretti，B.B.Amor，M.Daoudi，A.Bimbo，使用自动检测关键点的SIFT描述符进行3D面部表情识别，可视化计算。,27(2011), 1021. 数字对象标识：2007年10月7日/00371-011-0611-x
[13]	O.Starostenko，C.Cruz-Perez，V.Alarcon-Aquino，R.Rosas-Romero，使用基于局部外观的描述符进行实时面部表情识别，J.智力。模糊系统。,36(2019), 5037-5049. 数字对象标识：10.3233/JIFS-179049
[14]	杨浩，杨维阳，道凤，吕浩，丁浩，陈维珍，等，酿酒酵母重组热点识别计算方法的比较与评价，简介。生物信息学。,21(2020), 1568-1580. 数字对象标识：10.1093/bib/bbz123
[15]	J.Chorowski，R.J.Weiss，S.Bengio，A.Oord，使用波网自动编码器的无监督语音表示学习，IEEE/ACM传输。音频语音语言处理。,27(2019), 2041-2053. 数字对象标识：10.1109/TASLP.2019.2938863
[16]	R.R.N.Abirama、P.M.D.R.Vincent、K.Srinivasan、U.Tariq、C.Y.Chang、Deep CNN和Deep GAN在计算视觉感知驱动的图像分析中的应用，复杂性,2021(2021), 5541134.
[17]	I.Goodfellow，J.Pouget-Abadie，M.Mirza，B.Xu，D.Warde-Farley，S.Ozair等人，《生成对抗网》，预印本，arXiv:1406.2661。
[18]	C.Han，L.Rundo，R.Araki，Y.Nagano，Y.Furukawa，G.Mauri等人，将噪声与图像和图像与图像相结合：用于肿瘤检测的脑MR图像增强，IEEE接入, 7 (2019), 156966-156977. 数字对象标识：10.1109/通道2019.2947606
[19]	C.Xu，P.M.Feng，H.Yang，W.Qiu，W.Chen，H.Lin，iRNAD：识别RNA序列中D修饰位点的计算工具，生物信息学,35(2019), 4922-4929. 数字对象标识：10.1093/生物信息学/btz358
[20]	H.Y.Lai，Z.Zhang，Z.Su，W.Su，H.Ding，W.Chen等人，iProEP：预测启动子的计算预测器，摩尔-热。核酸,17(2019), 337-346. 数字对象标识：2016年10月10日/2011年5月21日
[21]	R.Yanagi、R.Togo、T.Ogawa、M.Haseyama，《查询是GAN：使用注意力文本到图像生成对抗网络的场景检索》，IEEE接入,7(2019), 153183-153193. 数字对象标识：10.1109/通道2019.2947409
[22]	梁振彦、赖洪彦、杨海阳、张春杰、杨海伟等，Pro54DB：实验验证的sigma-54启动子数据库，生物信息学,33(2017), 467-469.
[23]	J.Cai，Z.Meng，A.S.Khan，Z.Li，J.O'Reily，Y.Tong，使用条件生成对抗性网络的无身份面部表情识别，预印本，arXiv:1903.08051。
[24]	K.Ali，C.Hughes，通过合成表情图像进行面部表情表征学习，预印本，arXiv:1912.01456。
[25]	T.Karras，S.Laine，T.Aila，生成性对抗网络的基于样式的生成器体系结构，年IEEE/CVF计算机视觉和模式识别（CVPR）会议记录, (2019), 4401-4410.
[26]	李伟，钟振杰，朱培平，邓恩华，丁海平，陈维珍，等，酿酒酵母基因组中复制起源的序列分析，前面。微生物。,5(2014), 574.
[27]	H.Zhang，I.Goodfellow，D.Metaxas，A.Odena，《自我关注生成对抗网络》，年机器学习国际会议, (2019), 7354-7363.
[28]	丁海平，郭绍华，邓永中，袁丽萍，郭福平，黄建华，等，利用特征选择技术预测高尔基固着蛋白类型，化学。智力。实验室系统。,124(2013), 9-13. 数字对象标识：10.1016/j.chemolab.2013.03.005
[29]	T.Karras，T.Aila，S.Laine，J.Lehtinen，GANs的渐进生长以提高质量、稳定性和变异性，预印本，arXiv:1710.10196。
[30]	A.Radford，L.Metz，S.Chintala，深度卷积生成对抗网络的无监督表征学习，预印本，arXiv:1511.06434。
[31]	M.Mirza，S.Osindero，条件生成对抗网，预印本，arXiv:1411.1784。
[32]	X.Yin，X.Yu，K.Sohn，X.Liu，M.Chandraker，《朝向野外的大人脸正面化》，年IEEE计算机视觉国际会议（ICCV）会议记录, (2017), 3990-3999.
[33]	沈彦、周斌、罗培华、唐晓霞，《人脸特征合成的两阶段方法》，预印本，arXiv:1812.01288。
[34]	H.Lin，H.Ding，F.B.Guo，J.Huang，利用特征选择技术预测分枝杆菌蛋白的亚细胞位置，摩尔多样性,14(2010), 667-671. 数字对象标识：2007年10月10日/11030-009-9205-1
[35]	G.Arvanitids，L.Hansen，S.Hauberg，《潜在空间怪异：深层生成模型的曲率》，预印本，arXiv:1710.11379。
[36]	F.Ma，U.Ayaz，S.Karaman，部分测量卷积生成网络的可逆性，高级神经信息处理。系统。,31(2018), 9628-9637.
[37]	林浩，李庆中，利用伪氨基酸组成预测蛋白质结构类别：通过结合400个二肽组分进行探讨，J.计算。化学。,28（2007），1463-1466。数字对象标识：2005年10月10日/jcc
[38]	X.Wang，X.Wag，Y.Ni，使用生成对抗网络进行面部表情识别的无监督域自适应，计算。智力。神经科学。,2018(2018), 7208794.
[39]	T.Zhang，W.Zheng，Z.Cui，Y.Zong，J.Yan，K.Yan，一种用于多视角面部表情识别的深度神经网络驱动特征学习方法，IEEE传输。多媒体,18(2016), 2528-2536. 数字对象标识：10.1109/TMM.2016.2598092
[40]	B.Yang，J.Cao，R.Ni，Y.Zhang，基于双通道人脸图像的加权混合深度神经网络人脸表情识别，IEEE接入,6(2017), 4630-4640.
[41]	J.H.Kim，B.G.Kim，P.P.Roy，D.Jeong，基于层次深度神经网络结构的高效人脸表情识别算法，IEEE接入,7(2019), 41273-41285. 数字对象标识：10.1109/通道2019.2907327
[42]	C.Zhang，P.Wang，K.Chen，J.K.Kamäräinen，用于面部表情识别的身份感知卷积神经网络，J.系统。电子工程。,28(2017), 784-792. 数字对象标识：10.21629/JSEE.2017.04.18
[43]	P.M.Ferreira，F.Marques，J.S.Cardoso，A.Rebelo，用于情绪识别的生理启发深层神经网络，IEEE接入,6(2018), 53930-53943. 数字对象标识：10.1109/通道2018.2870063
[44]	S.M.González-Lozoya，J.de la Calleja，L.Pellegrin，H.J.Escalante，M.A.Medina，A.Benitez-Ruiz，基于CNN特征的面部表情识别，多媒体工具应用。,79(2020), 13987-14007. 数字对象标识：2007年10月10日/11042-020-08681-4
[45]	L.Yang，Y.Tian，Y.Song，N.Yang，K.Ma，L.Xie，一种新的特征分离模型交换-GAN用于面部表情识别，知识。基于系统。,204(2020), 106217. 数字对象标识：2016年10月10日/j.knosys.2020.106217
[46]	S.Liong，Y.Gan，D.Zheng，S.Li，H.Xu，H.Zhang，等，微表情识别系统的时空特征和Gan评估，J.信号处理。系统。,92(2020), 705-725. 数字对象标识：2007年10月10日/11265-020-01523-4
[47]	R.Wu，G.Zhang，S.Lu，T.Chen，Cascade ef-gan:局部聚焦的渐进式面部表情编辑，inIEEE/CVF计算机视觉和模式识别会议记录，（2020），5021-5030。
[48]	A.Jahanian，L.Chai，P.Isola，《论生成性对抗网络的“可操纵性”》，预印本，arXiv:1907.07171。
[49]	T.Kanade，J.F.Cohn，Y.Tian，面部表情分析综合数据库，inIEEE第四届自动人脸和手势识别国际会议论文集（分类号PR00580），IEEE，（2000），46-53。
[50]	N.Aifanti，A.Delopoulos，面部表情识别的线性子空间，信号处理。图像通信。,29(2014), 177-188. 数字对象标识：10.1016/j.image.2013.10.004
[51]	I.Dagher，E.Dahdah，M.Al Shakik，使用三阶段支持向量机进行面部表情识别，视觉计算。Ind.生物识别。艺术,2(2019), 24. 数字对象标识：10.1186/s42492-019-0034-5
[52]	K.Shan，J.Guo，W.You，D.Liu，R.Bie，基于深度卷积神经网络结构的面部表情自动识别2017 IEEE第15届软件工程研究、管理和应用国际会议（SERA），IEEE，（2017），123-128。
[53]	V.Mayya，R.M.Pai，M.M.Pati，使用DCNN的自动面部表情识别，Procedia计算。科学。,93(2016), 453-461. 数字对象标识：2016年10月10日/j.procs.2016.07.233