提供此材料是为了确保学术和技术工作的及时传播。版权及其所有权利由作者或其他版权持有人保留。所有复制此信息的人都应该遵守每个作者的版权所引用的条款和约束。在大多数情况下，未经著作权人明确许可，不得转载这些作品。



用于长时间视频的时间对齐网络

T、 汉,W、 谢,A、 齐瑟曼
IEEE计算机视觉和模式识别会议，2022年
下载出版物：汉娜22a。pdf[2.7Mo] 
本文的目的是建立一个时间对齐网络，该网络可以摄取长时间的视频序列和相关的文本句子，以便：（1）判断一个句子是否与视频对齐；和（2）如果它是可对齐的，那么确定它的对齐方式。挑战在于从大规模的数据集（比如HowTo100M）训练这样的网络，在这些数据集中，相关的文本句子有很大的噪声，只有在相关的时候才弱对齐。除了提出对齐网络，我们还做了四点贡献：（i）我们描述了一种新的协同训练方法，它可以在噪声很大的情况下，不使用人工注释对原始教学视频进行去噪和训练；（ii）为了对对齐性能进行基准测试，我们手动整理了HowTo100M的10个小时子集，总共80个视频，带有稀疏的时间描述。我们所提出的模型，训练了howto100米，在这个路线数据集上比强基线（CLIP，MIL-NCE）表现出显著的优势；（iii）将训练好的零镜头模型应用于多个下游视频理解任务中，取得了最新的结果，包括YouCook2上的文本视频检索，早餐动作的弱监督视频动作分割；（iv）我们使用自动对齐的HowTo100M注释对主干模型进行端到端的微调，并在下游动作识别任务上获得改进的性能。

链接：


BibTex参考：

@进厂{Han22a，author=“腾达·韩和谢伟迪、安德鲁·齐瑟曼”，title=“用于长期视频的时间对齐网络”，booktitle=“IEEE计算机视觉与模式识别会议”，年份=“2022”，}

数据库中的其他出版物：

»腾达韩
»谢伟迪
»安德鲁·齐瑟曼