计算机科学››2024,第51卷››问题(5): 108-116.数字对象标识:10.11896/jsjkx.230300232
•计算机图形和多媒体• 以前的文章 下一篇文章
王平、于振煌、卢磊
收到:
修订过的:
在线:
出版:
关于作者:
摘要:针对现有部分近重复视频检测算法存在的存储消耗高、查询效率低、特征提取模块没有考虑近重复帧之间细微的语义差异等问题,提出了一种基于Transformer的部分近重复检测算法。首先,提出了一种基于Transformer的特征编码器,该编码器可以学习大量近似重复帧之间的细微语义差异。在帧特征编码过程中,通过自关注机制引入了帧区域的特征映射,有效地降低了特征的维数,同时增强了特征的表示能力。使用siam网络训练特征编码器,可以有效地学习无负样本的近重复帧之间的语义相似性。这样就不需要进行繁重而困难的负面示例注释工作,从而使培训过程更简单、更高效。其次,提出了一种基于视频自相似矩阵的关键帧提取方法。该方法可以从视频中提取丰富的、非冗余的关键帧,从而能够更全面地描述原始视频内容并改进算法性能。此外,这种方法显著减少了与存储和计算冗余关键帧相关的开销。最后,基于关键帧的低维、紧凑编码特征,使用基于图网络的时间对齐算法检测和定位部分近重复视频片段。该算法在公开的部分近重复视频检测数据集VCDB上取得了令人印象深刻的实验结果,并优于现有算法。
关键词: 部分近重复视频检测, 变压器, 视频自相似矩阵, 关键帧提取
CLC编号:
王平,于振煌,卢磊。基于变压器低维压缩编码的部分近重复视频检测算法[J]。计算机科学,2024,51(5):108-116。
0 / / 推荐
添加到引文管理器 尾注|样板客户经理|ProCite公司|BibTeX公司|参考Works
网址: https://www.jsjkx.com/EN/10.11896/jsjkx-230300232
https://www.jsjkx.com/EN/Y2024/V51/I5/108
引用