提供此材料是为了确保学术和技术工作的及时传播。版权及其所有权利由作者或其他版权持有人保留。所有复制此信息的人都应该遵守每个作者的版权所引用的条款和约束。在大多数情况下,未经著作权人明确许可,不得转载这些作品。



大词汇量手语视频的自动密集标注

五十、 莫米尼,H、 公牛,K、 R.Prajwal先生,S、 阿尔巴尼,G、 瓦罗尔,A、 齐瑟曼
2022年欧洲计算机视觉会议
抽象的。最近,手语研究人员将手语翻译电视广播作为一种现成的大规模培训数据来源,包括(i)连续签名视频和(ii)与音频内容相对应的字幕。在这些数据的可用性方面的一个关键挑战是缺少符号注释。以前的工作利用这种弱对齐的数据只发现在字幕和个别符号之间的关键字稀疏对应。在这项工作中,我们提出了一个简单的、可伸缩的框架来极大地提高自动注释的密度。我们的主要贡献如下:(1)利用同义词和字幕标记对齐技术,对已有的注释方法进行了改进;(2) 我们从一个符号识别模型中展示了伪标记作为一种符号识别方法的价值;(3) 我们提出了一种新的方法来增加我们对已知类和未知类的注释;(4) 在BOBSL-BSL手语语料库中,我们将自信自动标注的数量从670K增加到5M。我们公开这些注释以支持手语研究社区。

链接:


BibTex参考:

@在过程中{Momini22,author=“Liliane Momini和Hannah Bull,K R Prajwal和Samuel Albanie,G{\“u}l Varol and Andrew Zisserman”,title=“大词汇量手语视频自动密集标注a”,booktitle=“欧洲计算机视觉会议”,年份=“2022”,}

数据库中的其他出版物: