计算机科学>人机交互
标题: 统一手势:多骨骼的统一手势合成模型
摘要: 语音合成手势的自动生成在计算机动画中备受关注。 以前的工作是在单个数据集上设计网络结构,这导致缺乏数据量和跨不同运动捕捉标准的通用性。 此外,由于语音和手势之间的相关性较弱,这是一项具有挑战性的任务。 为了解决这些问题,我们提出了一种新的基于扩散模型的手势合成方法UnifiedGesture,该方法基于具有不同骨架的多个手势数据集进行训练。 具体来说,我们首先提出了一个重定目标网络,以学习不同运动捕捉标准的潜在同胚图,在扩展数据集的同时统一各种姿势的表示。 然后,我们基于扩散模型架构捕获语音和手势之间的相关性,该架构使用跨区域注意和自我注意来生成更好的语音匹配和真实手势。 为了进一步协调语音和手势并增加多样性,我们将离散手势单元上的强化学习与学习的奖励功能结合起来。 大量实验表明,UnifiedGesture在CCA、FGD和人类相似性方面优于最近的语音驱动手势生成方法。 所有代码、预培训模型、数据库和演示均可通过以下网址向公众提供: 此https URL .