×

基于多假设重排序的多模态手势识别。 (英语) Zbl 1358.68247号

摘要:我们提出了一种基于多假设重排序融合方案的多模态手势识别新框架。我们专门处理一个要求很高的基于Kinect的多模态数据集,该数据集是在最近的手势识别挑战(ChaLearn 2013)中引入的,在该挑战中,多个受试者可以自由地执行多模态手势。我们使用多种形式,即视觉线索,例如骨骼数据、颜色和深度图像以及音频,并提取手的运动、手形和音频光谱属性的特征描述符。使用一个通用的隐马尔可夫模型框架,我们建立了单流手势模型,基于该模型,我们可以为未知手势序列生成多个基于单流的假设。通过约束解码和加权组合方案对这些假设进行多模式重构,我们最终得到了一个多模式选择的最佳假设。通过在分段水平上应用的单峰手势模型的并行融合,进一步完善了这一点。在这种设置中,准确的手势建模被证明是至关重要的,并且还提供了一个活动检测系统。在基于ChaLearn Kinect的多模态数据集中,整体方法达到93.3%的手势识别准确率,在相同的具有挑战性的多模态手势识别任务中,显著优于所有最近发布的方法,相对错误率降低了至少47.6%。

MSC公司:

68吨10 模式识别、语音识别
62H30型 分类和区分;聚类分析(统计方面)
94A08型 信息与通信理论中的图像处理(压缩、重建等)
PDF格式BibTeX公司 XML格式引用
全文: 链接