计算机科学>计算机视觉与模式识别
标题: 全局局部表达嵌入辅助面部动作单元检测
摘要: 由于面部动作单元(AU)注释需要领域专业知识,因此常见的AU数据集仅包含有限数量的主题。 因此,非盟检测的一个关键挑战是解决身份过拟合问题。 我们发现AU和面部表情高度相关,现有的面部表情数据集通常包含大量身份。 在本文中,我们旨在利用没有AU标签的表达式数据集来促进AU检测。 具体来说,我们开发了一个新的AU检测框架,该框架由全局局部面部表情嵌入(Global-Local facial Expressions Embedding)辅助,称为GLEE-Net。 我们的GLEE-Net由三个分支组成,用于提取与身份无关的表达特征以进行AU检测。 我们引入了一个全球分支,用于建模整体面部表情,同时消除身份的影响。 我们还设计了一个针对特定局部面部区域的局部分支。 全局分支和局部分支的组合输出首先在表达式数据集上预训练为独立于身份的表达式嵌入,然后在AU数据集上进行微调。 因此,我们大大缓解了身份有限的问题。 此外,我们引入了一个3D全局分支,该分支通过3D人脸重建提取表达式系数,以合并2D AU描述。 最后,使用基于变换器的多标签分类器融合所有表示,用于AU检测。 大量实验表明,在广泛使用的DISFA、BP4D和BP4D+数据集上,我们的方法明显优于最先进的方法。