计算机科学>计算机视觉和模式识别
标题: 基于视觉和肌电的扩展现实乐器手部跟踪
摘要: 手跟踪是扩展现实(XR)环境中自然用户交互的关键组件,包括扩展现实乐器(XRMI)。 然而,自遮挡仍然是基于视觉的手部跟踪系统的一个重大挑战,导致结果不准确和用户体验降低。 本文提出了一种多模式手跟踪系统,该系统将基于视觉的手跟踪与表面肌电(sEMG)数据相结合,用于手指关节角度估计。 我们通过一系列手部姿势任务来验证系统的有效性,这些任务旨在涵盖广泛的手势,包括那些容易自我遮挡的手势。 通过将我们的多模式系统的性能与基于基线视觉的跟踪方法进行比较,我们证明了我们的多模型方法显著提高了多个容易发生自遮挡的手指关节的跟踪精度。 这些发现表明,即使在存在自我遮挡的情况下,我们的系统也有可能通过提供更准确和稳健的手部跟踪来增强XR体验。