视频文本跨模态检索研究综述

doi:10.3778/j.issn.1002-8331.2306-0382

摘要/摘要

摘要：模态代表着数据特定的存在形式，不同模态数据的快速增长，使得多模态学习受到广泛关注。跨模态检索作为多模态学习的一个重要分支，在图文方面已得到显著发展。然而视频相对于图像而言承载了更多模态的数据，也包含更广泛的信息，能够满足用户对信息检索全面性、灵活性的要求，近年来逐渐成为跨模态检索的研究热点。为全面认识和理解视频文本跨模态检索及其前沿工作，对现有代表性方法进行了梳理和综述。首先归纳分析了当前基于深度学习的单向、双向视频文本跨模态检索方法，对每类方法中的经典工作进行了详细分析并阐述了优缺点。接着从实验的角度给出视频文本跨模态检索的基准数据集和评价指标，并在多个常用基准数据集上比较了一些典型方法的性能。最后讨论了视频文本跨模态检索的应用前景、待解决问题及未来研究挑战。

关键词: 多模态, 跨模态检索, 深度学习, 特征提取

摘要：模式定义了数据存在的具体形式。各种模态数据类型的迅速扩展使多模态学习成为人们关注的焦点。作为该领域的一个重要分支，跨模式检索取得了显著进步，尤其是在图像和文本的集成方面。然而，与图像相反，视频封装了更丰富的模态数据数组，并提供了更广泛的信息范围。这种丰富性与不断增长的用户对全面且适应性强的信息检索解决方案的需求非常吻合。因此，近年来，视频文本跨模式检索已成为一个新兴的研究领域。为了深入理解视频文本跨模式检索及其最新发展，对现有的代表性方法进行了系统的回顾和总结。首先，重点分析了当前基于深度学习的单向和双向视频文本跨模式检索方法。这项分析包括对每个类别中的开创性作品进行深入探索，突出其优势和劣势。随后，讨论转向实验观点，介绍了特定于视频文本跨模式检索的基准数据集和评估指标。比较了几种标准方法在基准数据集中的性能。最后，讨论了视频文本跨模式检索的应用前景和未来的研究挑战。

关键词： 多模态，跨模式检索，深度学习，特征提取

陈磊, 习怡萌, 刘立波. 视频文本跨模态检索研究综述[J] ●●●●。计算机工程与应用, 2024, 60(4): 1-20.

陈磊、奚一萌、刘立波。视频文本跨模式检索综述[J]。计算机工程与应用，2024，60（4）：1-20。

参考文献

[1] KAUR P，PANNU H S，MALHI A K。跨模式信息检索的比较分析[J]。《计算机科学评论》，2021，39:100336。
[2] BAIN M，NAGRANI A，VAROL G，等.时间冻结：端到端检索的联合视频和图像编码器[C]//2021年IEEE/CVF国际计算机视觉会议论文集，2021:1728-1738。
[3] GE Y Y，GE Y X，LIU X H，等.将视频文本检索与多项选择题结合起来[C]//2022年IEEE/CVF计算机视觉与模式识别会议论文集，2022:16167-16176。
[4] 佩雷兹·M·J，巴斯托斯·B，吉马雷斯·S·J·F，等.视频文本问题的综合评述[J]。《人工智能评论》，2022，55:4165-4239。
[5] 彭宇新, 綦金玮, 黄鑫. 多媒体内容理解的研究现状与展望[J] ●●●●。计算机研究与发展, 2019, 56(1): 183-208.
彭毅，齐继伟，黄霞.多媒体内容理解的研究现状与展望[J]。计算机研究与发展杂志，2019，56（1）：183-208。
[6] 尹奇跃, 黄岩, 张俊格, 等. 基于深度学习的跨模态检索综述[J] ●●●●。中国图象图形学报, 2021, 26(6): 1368-1388.
YIN Q Y，HUANG Y，ZHANG J G等人，2021。基于深度学习的跨模式检索研究综述[J]。图像与图形杂志，26（6）：1368-1388。
[7] 黄立, 朱定局. 基于语义的视频检索技术综述[J] ●●●●。计算机系统应用, 2021, 30(8): 14-21.
黄磊，朱德杰.基于语义的视频检索技术综述[J]。计算机系统与应用，2021，30（8）：14-21。
[8] 赵瑞. 基于深度学习的视频-文本跨模态搜索[D] ●●●●。合肥: 中国科学技术大学, 2020
基于深度学习的视频文本跨模式检索[D]。合肥：中国科技大学，2020年。
[9] PATEL B V，MESHRAM B B.基于内容的视频检索[J]。arXiv:1211。4683, 2012.
[10] 胡伟，谢恩，李磊，等.基于视觉内容的视频索引与检索研究[J]。IEEE系统、人类和控制论汇刊：C部分（应用和评论），2011，41（6）：797-819。
[11] 刘毅，ALBANIE S，NAGRANI A，等.利用现有资源：基于协作专家表示的视频检索[J]。阿西夫：1907年。13487, 2019.
[12] GABEUR V，SUN C，ALAHARI K，等.视频检索用多模式变压器[C]//第十六届欧洲计算机视觉会议论文集。查姆：施普林格，2020年：214-229。
[13] VASWANI A、SHAZEER N、PARMAR N等。注意力就是你所需要的一切[C]//《神经信息处理系统进展》2017年第30期。
[14] GING S，ZOLFAGHARI M，PIRSIAVASH H，et al.COOT:视频文本表示学习的合作层次变换器[C]//神经信息处理系统进展332020：22605-22618。
[15] KUNITSYN A，KALASHNIKOV M，DZABRAEV M，et al.MDMMT-2:视频检索用多域多模变压器，向通用化迈进了一步[J]。arXiv:2203。07086, 2022.
[16] BOGOLIN S，CROITORU I，JIN H，等.基于查询库归一化的交叉模式检索[C]//2022 IEEE/CVF计算机视觉与模式识别会议论文集，2022。
[17] 肖斯，陈磊，邵杰，等.基于可学习时刻的自然语言视频本地化方案[C]//《2021年自然语言处理实证方法会议论文集》，2021。
[18] LEI J，YU L，BERG T L，et al.电视字幕矩检索的大规模数据集[C]//第16届欧洲计算机视觉会议论文集。商会：施普林格，2020:447-463。
[19] MIECH A，ZHUKOV D，ALAYRAC J B，et al.Howto100m:通过观看亿个叙事视频片段学习文本视频嵌入[C]//2019 IEEE/CVF国际计算机视觉会议论文集，2019:2630-2640。
[20] SUN C，MYERS A，VONDRICK C，et al.视频和语言表征学习的联合模型[C]//2019 IEEE/CVF国际计算机视觉会议论文集，2019:7464-7473。
[21]SHVETSOVA N，CHEN B，ROUDITCHENKO A，et al.用于视频检索的Everything at once多模态融合变压器[C]//2022 IEEE/CVF计算机视觉与模式识别会议论文集，2022:20020-20029。
[22]LEI J，LI L，ZHOU L，et al.少即是多：ClipBERT通过稀疏采样进行视频和语言学习[C]//2021年IEEE/CVF计算机视觉和模式识别会议论文集，2021:7331-7341。
[23]高J，孙C，杨Z，等.TALL：基于语言查询的时间活动定位[C]//2017 IEEE国际计算机视觉会议论文集，2017:5267-5275。
[24]ANNE H L，WANG O，SHECHTMAN E，et al.用自然语言在视频中定位瞬间[C]//2017 IEEE计算机视觉国际会议论文集，2017:5803-5812。
[25]刘M，王X，倪L，等.视频中的跨模态矩定位[C]//第26届ACM国际多媒体会议论文集，2018:843-851。
[26]LIU M，WANG X，NIE L，et al.视频中的注意时刻检索[C]//第41届国际ACM SIGIR信息检索研究与发展会议论文集，2018:15-24。
[27]GE R，GAO J，CHEN K，et al.MAC：基于语言的时间定位挖掘活动概念[C]//2019 IEEE计算机视觉应用冬季会议论文集，2019:245-253。
[28]许H，何K，SIGAL L，等.基于早期融合和重取的文本到剪辑视频检索[J]。arXiv:1804年。05113, 2018.
[29]徐H，HE K，PLUMMER B A，等.文本到剪辑检索的多级语言和视觉集成[C]//第33届AAAI人工智能会议论文集，2019:9062-9069。
[30]CHEN S，JIANG Y G.基于句子查询的视频活动定位语义建议[C]//第33届AAAI人工智能会议论文集，2019:8199-8206。
[31]CHEN J，CHEN X，MA L，et al.视频中自然句的临时接地[C]//2018年自然语言处理实证方法会议论文集，2018:162-171。
[32]张德，戴X，王X，等.MAN:基于迭代图调整的自然语言矩检索矩对齐网络[C]//2019 IEEE/CVF计算机视觉与模式识别会议论文集，2019:1247-1257。
[33]袁毅，马磊，王杰，等.视频中时间句接地的语义条件动态调制[C]//神经信息处理系统进展322019。
[34]于安伟，DOHAN D，LE Q，等.结合自我关注和卷积的快速准确阅读理解[C]//2018年学习表征国际会议论文集，2018。
[35]CHEN J，MA L，CHEN X，et al.视频中自然语言的本地化[C]//第33届AAAI人工智能会议论文集，2019:8175-8182。
[36]GHOSH S，AGARWAL A，PAREKH Z，et al.ExCL:使用自然语言描述的提取剪辑本地化[J]。阿西夫：1904年。02755, 2019.
[37]张赫，孙阿，景伟，等.基于跨度的自然语言视频定位网络[J]。arXiv:2004年。13931, 2020.
[38]KHOLLAM R，SINGH S P.利用语音和视频文本信息进行基于内容的讲座视频检索的研究[J]。《国际科学与研究杂志》，2015:2319-7064。
[39]AWAD G，FISCUS J，JOY D，et al.TRECVID 2016:评估视频搜索、视频事件检测、本地化和超链接[C]//TREC视频检索评估会议记录，2016。
[40]张海杰，吴杰，钟德，等.基于内容的视频检索和浏览集成系统[J]。模式识别，1997，30（4）：643-658。
[41]于晓东，王磊，田强，等.多级视频表示及其在关键帧提取中的应用[C]//第十届国际多媒体建模会议论文集，2004:117-123。
[42]GIBSON D，CAMPBELL N，THOMAS B.使用高斯混合模型和最小描述长度标准对野生动物镜头进行视觉抽象[C]//2002年模式识别国际会议论文集，2002:814-817。
[43]KO K C，CHEON Y M，KIM G Y，等.视频镜头边界检测算法[M]//计算机视觉、图形和图像处理。柏林，海德堡：施普林格，2006:388-396。
[44]陈CY，王建中，王建芳.基于分布式新闻视频服务器的高效新闻视频查询和浏览[J]。IEEE多媒体汇刊，2006，8（2）：257-269。
[45]LE T L，BOUCHER A，THONNAT M.图像检索接口及其对视频检索的扩展[C]//第三届全国信息通信技术研究、开发和应用研讨会论文集，2006。
[46]SIVIC J，ZISSERMAN A.使用视点不变区域配置的视频数据挖掘[C]//2004年IEEE计算机学会计算机视觉和模式识别会议论文集，2004年。
[47]ANJULAN A，CANAGARAJAH N.对象检索和挖掘的统一框架[J]。IEEE视频技术电路和系统汇刊，2008，19（1）：63-76。
[48]樊J，LUO H，GAO Y，et al.结合概念本体来促进多级视频自动标注的层次分类器训练[J]。IEEE多媒体汇刊，2007，9（5）：939-957。
[49]董杰，李霞，SNOEK C G M.从文本中预测视觉特征用于图像和视频字幕检索[J]。IEEE多媒体汇刊，2018，20（12）：3377-3388。
[50]李旭，徐C，杨刚，等.W2VV++全深度学习用于即席视频搜索[C]//第27届ACM国际多媒体会议论文集，2019:1786-1794。
[51]MITHUN N C，LI J，METZE F等。跨模态视频文本检索的多模态线索学习联合嵌入[C]//2018 ACM国际多媒体检索会议论文集，2018:19-27。
[52]AYTAR Y，VONDRICK C，TORRALBA A.SoundNet:从未标记视频中学习声音表示法[C]//神经信息处理系统进展292016。
[53]DZABRAEV M，KALASHNIKOV M，KOMKOV S，et al.MDMMT:用于视频检索的多域多模变压器[C]//2021年IEEE/CVF计算机视觉和模式识别会议论文集，2021:3354-3363。
[54]GABEUR V，NAGRANI A，SUN C，et al.跨模式视频检索的屏蔽模式[C]//2022 IEEE/CVF计算机视觉应用冬季会议论文集，2022:1766-1775。
[55]CHEN S，ZHAO Y，JIN Q，et al.基于层次图推理的细粒度视频文本检索[C]//2020 IEEE/CVF计算机视觉与模式识别会议论文集，2020：10638-10647。
[56]MIECH A，LAPTEV I，SIVIC J.从不完整和异构数据中学习文本-视频嵌入[J]。arXiv:1804年。02516, 2018.
[57]卢H，JI L，SHI B，et al.UniVL:一种用于多模态理解和生成的统一视频和语言预训练模型[J]。arXiv:2002年。06353, 2020.
[58]ZELLERS R，LU X，HESSEL J，et al.MERLOT:多模态神经脚本知识模型[C]//神经信息处理系统进展34，2021:23634-23651。
[59]傅天杰，李磊，甘孜，等.VIOLET：带屏蔽可视模型的端到端视频语言转换器[J]。arXiv:2111.126812021。
[60]RAMESH A，PAVLOV M，GOH G，et al.零快照文本图像生成[C]//第38届机器学习国际会议论文集，2021:8821-8831。
[61]王X，朱莉，杨Y.T2VLAD:文本-视频检索的全局-局部序列比对[C]//2021年IEEE/CVF计算机视觉与模式识别会议论文集，2021:5079-5088。
[62]ZHU L，YANG Y.ActBERT：学习全球本地视频文本表示[C]//2020年IEEE/CFF计算机视觉和模式识别会议论文集，2020:8746-8755。
[63]黄J，李毅，冯J，等.三叶草：走向统一的视频语言对齐与融合模型[C]//2023年IEEE/CVF计算机视觉与模式识别会议论文集，2023:14856-14866。
[64]LUO J，LI Y，PAN Y，et al.CoCo-BERT:使用对比跨模式匹配和去噪改进视频语言预训练[C]//第29届ACM国际多媒体会议论文集，2021:5600-5608。
[65]李磊，陈寅初，陈寅，等.HERO：视频+语言全方位呈现预训练的分层编码器[J]。arXiv:2005年。00200, 2020.
[66]PATRICK M，HUANG P Y，ASANO Y，等.视频文本表示学习的支持瓶颈[J]。arXiv:2010年。02824, 2020.
[67]古特曼M，HYV？RINEN A.噪声控制估计：非正规统计模型的新估计原理[C]//第十三届国际人工智能与统计会议论文集，2010:297-304。
[68]温K，夏J，黄Y，等.COOKIE:视觉语言表征的对比跨模式知识共享预训练[C]//2021 IEEE/CVF国际计算机视觉会议论文集，2021:2208-2217。
[69]ZOLFAGHARI M，ZHU Y，GEHLER P，et al.CrossCLR：多模态视频表征的跨模态对比学习[C]//2021 IEEE/CVF国际计算机视觉会议论文集，2021:1450-1459。
[70]赵恩，焦杰，谢伟，等.Cali-NCE:利用校准对齐促进跨模式视频表示学习[C]//2023 IEEE/CVF计算机视觉和模式识别会议论文集，2023:6316-6326。
[71]MIECH A，ALAYRAC J B，SMAIRA L等。从未分级的教学视频中进行视觉表征的端到端学习[C]//2020年IEEE/CFF计算机视觉和模式识别会议论文集，2020:9879-9889。
[72]王杰，陈斌，廖德，等.高效跨视图视频检索的混合对比量化[J]。arXiv:2202。03384, 2022.
[73]马伟，陈强，周涛，等.多模态对比知识提取在视频文本检索中的应用[J]。IEEE视频技术电路和系统汇刊，2023，33（10）：5486-5497。
[74]YANG J，BISK Y，GAO J.TACo:用于视频文本对齐的标记软件级联对比学习[C]//2021年IEEE/CVF国际计算机视觉会议论文集，2021:11562-11572。
[75]刘S，范H，钱S，等.HiT：用于视频文本检索的动量对比层次变换器[C]//2021 IEEE/CVF国际计算机视觉会议论文集，2021:11915-11925。
[76]MA Y，XU G，SUN X等。X-CLIP：用于视频文本检索的端到端多粒度对比学习[C]//第30届ACM国际多媒体会议论文集，2022：638-647。
[77]CHENG X，LIN H，WU X，等.通过多流语料库对齐和双softmax丢失改进视频文本检索[J]。arXiv:2109。04290, 2021.
[78]王Z，陈A，胡F，等.学习理解视频检索中的否定[C]//第30届ACM国际多媒体会议论文集，2022:434-443。
[79]王毅，董杰，梁涛，等.基于噪声鲁棒学习的跨语言跨模式检索[C]//第30届ACM国际多媒体会议论文集，2022:422-433。
[80]徐蓉，李聪，闫杰，等.基于图卷积网络散列的跨模态检索[C]//第28届国际人工智能联合会议论文集，2019:982-988。
[81]金伟，赵Z，张鹏，等.面向视频文本检索的分层交叉模式图一致性学习[C]//第44届国际ACM SIGIR信息检索研究与开发会议论文集，2021:1114-1124。
[82]WRAY M，LARLUS D，CSURKA G，et al.通过多部分语音嵌入实现细粒度动作检索[C]//2019 IEEE/CVF国际计算机视觉会议论文集，2019:450-459。
[83]KRISHNA R，HATA K，REN F，et al.视频中的密集适应事件[C]//2017 IEEE计算机视觉国际会议论文集，2017:706-715。
[84]ZHOU L，XU C，CORSO J J.从网络教学视频中实现程序的自动学习[C]//第32届AAAI人工智能会议论文集，2018。
[85]CHEN D，DOLAN W B.为释义评估收集高度并行的数据[C]//计算语言学协会第49届年会论文集：人类语言技术，2011:190-200。
[86]许J，MEI T，YAO T，等.MSR-VTT：一个用于桥接视频和语言的大型视频描述数据集[C]//2016 IEEE计算机视觉和模式识别会议论文集，2016:5288-5296。
[87]LI Y，SONG Y，CAO L，et al.TGIF:动画GIF描述的新数据集和基准[C]//2016 IEEE计算机视觉和模式识别会议论文集，2016:4641-4650。
[88]罗巴赫A，托拉比A，罗巴赫M，等.电影描述[J]。国际计算机视觉杂志，2017，123（1）：94-120。
[89]王X，吴J，陈J等。VATEX:一个用于视频和语言研究的大规模、高质量的多语言数据集[C]//2019年IEEE/CFF国际计算机视觉会议论文集，2019:4581-4591。
[90]熊C，张迪，刘涛，等.语音面跨模态匹配与检索：一个基准[J]。arXiv:1911.093382019年。
[91]HE X，PENG Y，XIE L.细粒度跨媒体检索的新基准和方法[C]//第27届ACM国际多媒体会议论文集，2019:1740-1748。