跳到主要内容
10.1145/3605098.3635991acm会议文章/章节视图摘要出版物页面会议记录会议集合
研究论文

用于图像超分辨率的高效双注意变换器

出版:2024年5月21日出版历史

摘要

基于计算效率高的局部窗口自关注的研究在图像超分辨率(SR)领域取得了积极进展,导致性能显著提高。然而,在最近的研究中,局部窗口的自我关注只关注空间维度,而没有充分考虑渠道维度。此外,在保持局部窗口自注意效率的同时提取全局信息在图像SR中仍然是一项具有挑战性的任务。为了解决这些问题,我们提出了一种新的高效双注意变换器(EDAT)。我们的EDAT提供了一个双注意块(DAB),它不仅可以探索位于不同空间位置的功能之间的相互依赖性,还可以探索不同通道之间的相互依存性。此外,我们提出了一种全局注意块(GAB),通过减小键和值的空间大小来实现高效的全局特征提取。我们的大量实验表明,我们的DAB和GAB是相辅相成的,表现出协同效应。此外,基于DAB和GAB这两个注意块,我们的EDAT在五个基准数据集上取得了最先进的结果。

工具书类

  1. Marco Bevilacqua、Aline Roumy、Christine Guillemot和Marie Line Alberi Morel。2012.基于非负邻域嵌入的低复杂度单幅图像超分辨率。(2012).谷歌学者谷歌学者
  2. 尼古拉斯·卡里昂、弗朗西斯科·马萨、加布里埃尔·辛纳维、尼古拉斯·乌苏尼尔、亚历山大·基里洛夫和谢尔盖·扎戈鲁科。2020年,使用变压器进行端到端物体检测。欧洲计算机视觉会议。施普林格,213-229。谷歌学者谷歌学者数字图书馆数字图书馆
  3. 陈汉廷、王云和、郭天宇、徐昌、邓一萍、刘振华、马思伟、徐春静、徐超和文高。2021.预训练图像处理变压器。IEEE/CVF计算机视觉和模式识别会议记录。12299--12310.谷歌学者谷歌学者交叉引用交叉引用
  4. 陈强、吴奇曼、王健、胡庆浩、胡涛、丁二瑞、程健和王京东。2022.混音器:跨窗口和维度的混音功能。IEEE/CVF计算机视觉和模式识别会议记录。5249--5259.谷歌学者谷歌学者交叉引用交叉引用
  5. 郑晨,张玉伦,顾金进,孔凌河,袁欣,等.2022。用于图像恢复的交叉聚合变压器。神经信息处理系统研究进展35 (2022), 25478--25490.谷歌学者谷歌学者
  6. 朱湘祥、田志天、王玉清、张波、任海兵、魏小林、夏华霞和沈春华。2021.双胞胎:重新审视视觉变换器中的空间注意设计。神经信息处理系统研究进展34 (2021), 9355--9366.谷歌学者谷歌学者
  7. 戴涛、蔡建瑞、张永兵、夏树涛和张磊。2019.用于单图像超分辨率的二阶注意网络。IEEE/CVF计算机视觉和模式识别会议记录。11065--11074.谷歌学者谷歌学者交叉引用交叉引用
  8. 丁明宇(Mingyu Ding)、肖斌(Bin Xiao)、诺埃尔·科迪拉(Noel Codella)、罗萍(Ping Luo)、王京东(Jingdong Wang)和卢远(Lu Yuan)。2022.吊杆:双注意视觉变压器。欧洲计算机视觉会议。施普林格,74-92。谷歌学者谷歌学者数字图书馆数字图书馆
  9. Chao Dong、Chen Change Loy、Kaiming He和Xiaou Tang。2014.学习用于图像超分辨率的深度卷积网络。2014年9月6日至12日在瑞士苏黎世举行的第13届欧洲计算机视觉会议,《会议记录》,第四部分,第13页。施普林格,184-199。谷歌学者谷歌学者
  10. Chao Dong、Chen Change Loy、Kaiming He和Xiaou Tang。2015。使用深度卷积网络的图像超分辨率。IEEE模式分析和机器智能事务38, 2 (2015), 295--307.谷歌学者谷歌学者
  11. Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、Xiaohua Zhai、Thomas Unterthiner、Mostafa Dehghani、Matthias Minderer、Georg Heigold、Sylvain Gelly等人,2020。一幅图像相当于16x16个单词:用于大规模图像识别的变形金刚。arXiv预印arXiv:2010.11929(2020).谷歌学者谷歌学者
  12. 黄家斌、阿布谢克·辛格和纳伦德拉·阿胡贾。2015.改造后的自拍相机的单图像超分辨率。IEEE计算机视觉和模式识别会议记录。5197--5206.谷歌学者谷歌学者交叉引用交叉引用
  13. Jiwon Kim、Jung Kwon Lee和Kyong Mu Lee。2016.使用非常深的卷积网络实现精确的图像超分辨率。IEEE计算机视觉和模式识别会议记录。1646--1654.谷歌学者谷歌学者交叉引用交叉引用
  14. Diederik P Kingma和Jimmy Ba.2014年。亚当:一种随机优化方法。arXiv预打印arXiv:1412.6980(2014).谷歌学者谷歌学者
  15. Christian Ledig、Lucas Theis、Ferenc Huszár、Jose Caballero、Andrew Cunningham、Alejandro Acosta、Andrew-Aitken、Alykhan Tejani、Johannes Totz、Zehan Wang等,2017年。使用生成对抗网络的真实感照片单图像超分辨率IEEE计算机视觉和模式识别会议记录。4681--4690.谷歌学者谷歌学者交叉引用交叉引用
  16. 梁静云、曹洁璋、孙国磊、张凯、吕克·范古尔和拉杜·蒂莫夫特。2021.Swinir:使用swin变压器恢复图像。IEEE/CVF计算机视觉国际会议论文集。1833--1844.谷歌学者谷歌学者交叉引用交叉引用
  17. Bee Lim、Sanghyun Son、Heewon Kim、Seungjun Nah和Kyoung Mu Lee。2017.增强的深度残差网络用于单图像超分辨率。IEEE计算机视觉和模式识别研讨会会议记录。136--144.谷歌学者谷歌学者交叉引用交叉引用
  18. 刘泽、林宇通、曹岳、胡涵、魏一轩、张正、林士泰和郭白宁。2021.Swin transformer:使用移动窗口的分层视觉变换器。IEEE/CVF计算机视觉国际会议论文集。10012--10022.谷歌学者谷歌学者交叉引用交叉引用
  19. 大卫·马丁(David Martin)、查尔斯·福克斯(Charless Fowlkes)、多伦·塔尔(Doron Tal)和吉坦德拉·马利克(Jitendra Malik)。2001.人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。第八届IEEE计算机视觉国际会议论文集。ICCV 2001,第2卷。IEEE,416--423。谷歌学者谷歌学者交叉引用交叉引用
  20. 松井裕介、伊藤晃太、荒木裕二、藤本阿祖马、小川彻、山崎俊彦和爱泽清纯。2017.使用manga109数据集进行基于草图的漫画检索。多媒体工具和应用程序76 (2017), 21811--21838.谷歌学者谷歌学者数字图书馆数字图书馆
  21. 梅依群、范玉晨和周玉谦。2021.非局部稀疏关注的图像超分辨率。IEEE/CFF计算机视觉与模式识别会议论文集。3517--3526.谷歌学者谷歌学者交叉引用交叉引用
  22. 本牛、文伟磊、任文琪、张祥德、杨连平、王淑珍、张开浩、曹晓春和沈海峰。2020年,通过整体关注网络实现单图像超分辨率计算机愿景—ECCV 2020:第16届欧洲会议,英国格拉斯哥,2020年8月23日至28日,会议记录,第十二部分16。施普林格,191-207。谷歌学者谷歌学者
  23. Adam Paszke、Sam Gross、Soumith Chintala、Gregory Chanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。2017.pytorch中的自动区分。(2017).谷歌学者谷歌学者
  24. Radu Timofte、Eirikur Agustsson、Luc Van Gool、Ming-Hsuan Yang和Lei Zhang。2017年,Ntire 2017单图像超分辨率挑战:方法和结果。IEEE计算机视觉和模式识别研讨会会议记录。114--125.谷歌学者谷歌学者交叉引用交叉引用
  25. 王文孝、陈伟、邱启波、陈龙、吴伯喜、林斌、何晓飞和刘伟。2023.Crossformer++:一款多功能视觉变换器,专注于跨尺度注意力。arXiv预打印arXiv:2303.06908(2023).谷歌学者谷歌学者
  26. 王文海、谢恩泽、李翔、范登平、宋凯涛、丁亮、桐庐、罗萍和凌绍。2021.金字塔视觉变换器:无卷积密集预测的通用主干。IEEE/CVF计算机视觉国际会议论文集。568--578.谷歌学者谷歌学者交叉引用交叉引用
  27. 王新涛、柯瑜、吴世祥、顾金进、刘一浩、赵东、于乔和陈昌乐。2018年,Esrgan:增强超分辨率生成对抗网络。欧洲计算机视觉会议(ECCV)研讨会会议记录。0--0.谷歌学者谷歌学者
  28. Zhou Wang、Alan C Bovik、Hamid R Sheikh和Eero P Simoncelli。2004年。图像质量评估:从错误可见性到结构相似性。IEEE图像处理事务13, 4 (2004), 600--612.谷歌学者谷歌学者数字图书馆数字图书馆
  29. Syed Waqas Zamir、Aditya Arora、Salman Khan、Munawar Hayat、Fahad Shahbaz Khan和Ming-Hsuan Yang。2022.还原器:用于高分辨率图像还原的高效变压器。IEEE/CVF计算机视觉和模式识别会议记录。5728--5739.谷歌学者谷歌学者交叉引用交叉引用
  30. 罗曼·泽德、迈克尔·埃拉德和马坦·普洛特。2012年。关于使用稀疏表示的单幅图像放大。曲线和曲面:第七届国际会议,法国阿维尼翁,2010年6月24日至30日,修订论文集7。施普林格,711-730。谷歌学者谷歌学者数字图书馆数字图书馆
  31. 张嘉乐、张玉伦、顾金进、张永兵、孔凌河、袁欣。2022.使用引人注目的可伸缩变压器进行精确的图像恢复。arXiv预打印arXiv:2210.01427(2022).谷歌学者谷歌学者
  32. 张玉伦、李坤鹏、李凯、王立晨、钟碧能和傅云。2018年。使用非常深的剩余通道注意网络的图像超分辨率。欧洲计算机视觉会议记录。286--301.谷歌学者谷歌学者数字图书馆数字图书馆
  33. 张玉伦、田亚鹏、余刚、钟彬能、傅云。2018.图像超分辨率剩余密集网络。IEEE计算机视觉和模式识别会议记录。2472--2481.谷歌学者谷歌学者交叉引用交叉引用

索引术语

  1. 用于图像超分辨率的高效双注意变换器

    建议

    评论

    登录选项

    检查您是否可以通过登录凭据或您的机构访问本文。

    登录

    完全访问权限

    • 发布于

      封面图片ACM会议
      SAC’24:第39届ACM/SIGAPP应用计算研讨会会议记录
      2024年4月
      1898页
      国际标准图书编号:9798400702433
      内政部:10.1145/3605098

      版权所有©2024版权归所有人/作者所有。授权给ACM的出版权。

      如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布,在服务器上发布或重新发布到列表,需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

      出版商

      计算机协会

      美国纽约州纽约市

      出版历史

      • 出版:2024年5月21日

      检查更新

      限定符

      • 研究论文

      接受率

      总体验收率1,650属于6,669提交,25%
    • 文章指标

      • 下载次数(过去12个月)8
      • 下载次数(最近6周)8

      其他指标

    PDF格式

    以PDF文件的形式查看或下载。

    PDF格式

    电子阅读器

    使用eReader联机查看。

    电子阅读器