计算机科学>计算机视觉和模式识别
标题: EMoG:用扩散模型合成情绪共语3D手势
摘要: 虽然以前的同语手势生成方法能够根据语音内容合成运动,但仍不足以处理各种复杂的运动分布。 关键的挑战是:1)言语内容和手势之间的一对多性质; 2) 人体关节之间的相关性建模。 在本文中,我们提出了一种新的框架(EMoG)来解决去噪扩散模型的上述挑战:1)为了缓解一对多问题,我们结合情感线索来指导生成过程,使生成更加容易; 2) 为了建立联合相关性模型,我们提出将复杂的手势生成分解为两个子问题:联合相关性建模和时间动力学建模。 然后,使用我们提出的联合相关软件转换格式(JCFormer)明确解决了这两个子问题。 通过广泛的评估,我们证明了我们提出的方法优于以前的最先进的方法,在手势合成方面具有很大的优势。