在这项工作中,我们提出了一个框架,可以收集大规模、多样的手语数据集,用于训练自动手语识别模型。这项工作的第一个贡献是SDTrack,这是一种用于野外签名者跟踪和日记的通用方法。我们的第二个贡献是展示如何使用SDTrack自动注释90小时的英国手语(BSL)内容,这些内容涵盖了广泛的签名者,包括采访、独白和辩论。使用SDTrack,该数据用35K个活动签名轨道、相应的视频级签名者标识符和字幕以及40K个自动本地化的签名标签进行注释。

日记框架



用于日记的SDTrack框架包括三个模块:(左)多人跟踪器形成person跟踪和估计每个人的姿势,(中间)主动签名检测器确定哪些(如果有)被跟踪人员正在积极签名,(右)签名者重新识别模块将身份关联到每个被跟踪的人(有关更多详细信息,请参阅论文)。图像学分:查看和聆听,电视连续剧。

版本时间线


该论文的第一版于3月3日在线发布,标题为“SeeHear:签名者日记和新数据集”,发表于ICASSP 2021。数据集将不会公开,该论文于2021年4月16日更新为当前技术报告,以反映这一点(由于变更,我们要求将更新后的论文作为技术报告引用)。联系人:albanie[AT]robots.ox.ac.uk。

致谢

这项工作得到了EPSRC Grant EXTol EP/R03298X/1的支持。