计算机科学>人机交互
标题: 带上你自己的角色:自定义角色面部动画自动生成的整体解决方案
摘要: 虚拟角色动画一直是虚拟现实中的一个基本研究问题。 面部动画发挥着至关重要的作用,因为它们有效地传达了虚拟人的情绪和态度。 然而,创建这样的面部动画可能具有挑战性,因为当前的方法通常需要使用昂贵的运动捕捉设备,或者动画师在调整动画参数方面投入大量的时间和精力。 在本文中,我们提出了一个整体解决方案来自动设置虚拟人脸的动画。 在我们的解决方案中,首先训练一个深度学习模型,通过估计混合形状系数将面部表情从输入人脸图像重定位到虚拟人脸。 此方法提供了使用不同外观和混合形状拓扑的角色生成动画的灵活性。 其次,使用Unity 3D开发了一个实用的工具包,使其与最流行的VR应用程序兼容。 该工具包接受图像和视频作为输入,对目标虚拟人脸进行动画制作,并允许用户操作动画结果。 此外,受“以人为本”(HITL)精神的启发,我们利用用户反馈进一步改进模型和工具包的性能,从而增加定制属性以满足用户偏好。 我们将公开代码的整个解决方案有可能加速生成用于VR应用程序的面部动画。