用于视频去模糊的流导稀疏变换器

林静、蔡元浩、胡晓婉、王浩谦、闫友良、邹学毅、丁恒辉、张玉伦、拉杜·蒂莫夫特、吕克·凡·古尔
第39届机器学习国际会议记录，PMLR 162:13334-133432022年。

摘要

在时空邻域中利用相似和更清晰的场景补丁对于视频去模糊至关重要。然而，基于CNN的方法在捕捉长程依赖性和建模非局部自相似性方面存在局限性。本文提出了一种新的视频去模糊框架，即流引导稀疏变换器（FGST）。在FGST中，我们定制了一个自关注模块，即基于流引导稀疏窗口的多头自关注（FGSW-MSA）。对于模糊参考帧上的每个$query$元素，FGSW-MSA可以在估计光流的指导下，全局采样空间稀疏但高度相关的$key$元素，这些元素对应于相邻帧中的相同场景补丁。此外，我们提出了一种递归嵌入（RE）机制来传输过去帧中的信息并增强长期时间依赖性。综合实验表明，我们提出的FGST在DVD和GOPRO数据集上都优于最先进的（SOTA）方法，并且在实际视频去模糊中产生了令人满意的视觉效果。https://github.com/linjing7/VR-Baseline网站

引用本文

BibTeX公司
@会议记录{pmlr-v162-lin22a，title={视频去模糊的流引导稀疏变压器}，作者={Lin、Jing和Cai、袁浩和Hu、Xiaowan和Wang、Haoqian和Yan、Youliang和Zou、Xueyi和Ding、Henghui和Zhang、Yulon和Timofte、Radu和Van Gool、Luc}，booktitle={第39届机器学习国际会议论文集}，页码={13334--13343}，年份={2022}，editor={乔杜里、卡马利卡和杰尔卡、斯特凡尼和宋、勒和塞佩斯瓦里、塞萨巴和纽、冈和萨巴托、西万}，体积={162}，series={机器学习研究论文集}，月份＝{7月17-23日}，publisher={PMLR}，pdf={https://proceedings.mlr.press/v162/lin22a/lin22a.pdf},url={https://proceedings.mlr.press/v162/lin22.html},abstract={在时空邻域中开发相似且更清晰的场景块对于视频去模糊至关重要。然而，基于CNN的方法在捕获长距离依赖和建模非局部自相似性方面存在局限性。本文提出了一种新的框架，流导稀疏变换器（FGST），用于视频去模糊。在FGST中，我们定制了一个自我关注模块，即基于流引导稀疏窗口的多头自我关注（FGSW-MSA）。对于模糊参考帧上的每个$query$元素，FGSW-MSA可以在估计光流的指导下，全局采样空间稀疏但高度相关的$key$元素，这些元素对应于相邻帧中的相同场景补丁。此外，我们提出了一种递归嵌入（RE）机制来传输过去帧中的信息并增强长期时间依赖性。综合实验表明，我们提出的FGST在DVD和GOPRO数据集上都优于最先进的（SOTA）方法，并且在实际视频去模糊中产生了令人满意的视觉效果。https://github.com/linjing7/VR-Baseline网站}}
尾注
%0会议论文%用于视频去模糊的T流引导稀疏变压器%阿京林%蔡元浩%阿小湾胡%王浩谦%阿尤良燕%邹学毅%A恒辉鼎%张玉伦%拉杜·蒂莫特%吕克·范·古尔%第39届机器学习国际会议论文集%C机器学习研究进展%D 2022年%E卡马利卡·乔杜里%E斯特凡妮·杰格尔卡%E乐松%E Csaba Szepesvari公司%鄂岗牛%E西万·萨巴托%F pmlr-v162-lin22a型%我PMLR%电话：13334--13343%U型https://proceedings.mlr.press/v162/lin22a.html%V 162型%X在时空邻域中利用相似和更清晰的场景补丁对于视频去模糊至关重要。然而，基于CNN的方法在捕捉长程依赖性和建模非局部自相似性方面显示出局限性。本文提出了一种新的视频去模糊框架，即流引导稀疏变换器（FGST）。在FGST中，我们定制了一个自关注模块，即基于流引导稀疏窗口的多头自关注（FGSW-MSA）。对于模糊参考帧上的每个$query$元素，FGSW-MSA可以在估计光流的指导下，全局采样空间稀疏但高度相关的$key$元素，这些元素对应于相邻帧中的相同场景补丁。此外，我们提出了一种递归嵌入（RE）机制来传输过去帧中的信息并增强长期时间依赖性。综合实验表明，我们提出的FGST在DVD和GOPRO数据集上都优于最先进的（SOTA）方法，并且在实际视频去模糊中产生了令人满意的视觉效果。https://github.com/linjing7/VR-基线
亚太地区
Lin，J.，Cai，Y.，Hu，X.，Wang，H.，Yan，Y.、Zou，X.、Ding，H.、Zhang，Y.和Timofte，R.&Van Gool，L.（2022）。用于视频去模糊的流动导向稀疏变压器。第39届机器学习国际会议记录，英寸机器学习研究进展162:13334-13343网址：https://proceedings.mlr.press/v162/lin22a.html。

相关材料