研究论文

用于图像超分辨率的信息增长注意力网络

作者:

通用电气锂,

掸邦线路接口单元，以及

世界环境学会高作者信息和声明

MM’21：第29届ACM国际多媒体会议记录

2021年10月

页544-552

https://doi.org/10.1145/3474085.3475207

出版:2021年10月17日出版历史

获取访问权限

摘要

众所周知，与低分辨率（LR）图像相比，高分辨率（HR）图像包含更多的生产信息，因此图像超分辨率（SR）满足信息增长过程。考虑到这种特性，我们试图通过一种特殊的注意机制来利用不断增长的信息。本文提出了一种简洁而有效的信息增长注意网络（IGAN），该网络表明增量信息对SR有益。它的目的是通过将网络中当前特征与以前特征的差异同化，来关注包含大量信息增长能力的特征。我们还通过熵和泛化分析来说明其与广泛使用的自我关注相比的有效性。此外，由于直接计算特征图的全局平均值，现有的通道式注意力生成模块（CAGM）具有较大的信息衰减。因此，我们提出了一种创新的CAGM，它可以逐步减小特征地图的大小，从而实现更充分的特征利用。大量实验还表明，IGAN优于最先进的注意力软件SR方法。

补充材料

ZIP文件（mfp0266aux.pdf.zip）

这是一些更多的实验结果和证明。

下载
15.41 MB

MP4文件（MM21-fp266.mp4）

介绍我们的工作IGAN。

下载
329.08 MB

工具书类

[1]

Dzmitry Bahdanau、Kyunghyun Cho和Yoshua Bengio。2014年，通过联合学习对齐和翻译实现神经机器翻译。CoRR，第abs/1409.0473卷（2014年）。arxiv:1409.0473号

[2]

马可·贝维拉夸（Marco Bevilacqua）、阿琳·鲁米（Aline Roumy）、克里斯汀·吉列莫特（Christine Guillemot）和玛丽·莱恩·阿尔贝里·莫尔（Marie-Line Alberi-Morel）。2012.基于非负邻域嵌入的低复杂度单图像超分辨率。在BMVC中。1--10.

[3]

托马斯·M·盖。1999.信息论要素。约翰·威利父子公司。

[4]

Cristóv a o Cruz、Rakesh Mehta、Vladimir Katkovnik和Karen o.Egiazarian。2018.基于相似域维纳滤波器的单图像超分辨率。IEEE传输。图像处理，第27卷，第3卷（2018年），1376-1389。

[5]

戴涛、蔡建瑞、张永兵、夏树涛和张磊。2019.单图像超分辨率二级关注网络。在CVPR中。11065--11074.

[6]

Chao Dong、Chen Change Loy、Kaiming He和Xiaou Tang。2016年b。利用深度卷积网络进行图像超分辨。IEEE传输。模式分析。机器。智力。，第38卷，第2卷（2016年），295--307。

数字图书馆

[7]

Chao Dong、Chen Change Loy和Xiaou Tang。2016年a。加速ECCV中的超分辨率卷积神经网络。391--407.

[8]

Chia Hui Feng、Yu Hsiu Hung、Chao Kwang Yang、Liang Chi Chen、Wen Cheng Hsu和Shih Hao Lin。2020。将Holo360视频和图像超分辨率生成对抗网络应用于虚拟现实沉浸。在人机交互中。设计和用户体验——专题领域，HCI（计算机科学讲义，第12181卷）。569--584.

[9]

吉拉德·弗里德曼和拉安娜·法塔尔。2011年，从当地自选样本中升级图像和视频。ACM事务处理。图表。，第30卷，第2卷（2011年），12:1-12.11。

数字图书馆

[10]

丹尼尔·格拉斯纳（Daniel Glassner）、谢·巴贡（Shai Bagon）和米查尔·伊拉尼（Michal Irani）。2009年。单个图像的超分辨率。在ICCV中。349--356.

[11]

Tomio Goto、Takafumi Fukuka、Fumiya Nagashima、Satoshi Hirano和Masaru Sakurai。2014年，4K-HDTV超分辨率系统。在模式识别国际会议上。IEEE计算机学会，4453-4458。

数字图书馆

[12]

郭勇、陈健、王京东、陈琦、曹洁璋、邓泽帅、徐延武和谭明奎。2020年，闭环问题：单图像超分辨率的双重回归网络。在CVPR中。5406--5415.

[13]

穆罕默德·哈里斯（Muhammad Haris）、格雷格·沙赫纳罗维奇（Greg Shakhnarovich）和北洋Ukita。2018年，超级解决方案的深度回馈网络。在CVPR中。

[14]

何开明、张湘玉、任少清、孙建军。2016.图像识别的深度剩余学习。在CVPR中。770--778.

[15]

何祥宇、莫子涛、王培松、刘洋、杨明元和程健。2019.ODE-Inspired网络设计，用于单图像超分辨率。在CVPR中。1732--1741.

[16]

胡杰、李深和孙刚。2017.挤压和励磁网络。CoRR，第abs/1709.01507卷（2017年）。arxiv:1709.01507年

[17]

Jia-Bin Huang、Abhishek Singh和Narendra Ahuja。2015.改造后的自拍相机的单图像超分辨率。在CVPR中。5197--5206.

[18]

康旭东，李书涛，胡建文，2012。融合软判决自适应和双三次方法进行图像插值。在ICPR中。1043--1046.

[19]

Jiwon Kim、Jung Kwon Lee和Kyoung Mu Lee。2016年a。使用极深卷积网络实现精确的图像超分辨率。在CVPR中。1646--1654.

[20]

Jiwon Kim、Jung Kwon Lee和Kyong Mu Lee。2016年b。图像超分辨率的深度递归卷积网络。在CVPR中。1637--1645.

[21]

Kwang In Kim和Younghee Kwon。2010年。使用稀疏回归和自然图像先验的单图像超分辨率。IEEE传输。模式分析。机器。智力。，第32卷，第6卷（2010年），第1127--1133页。

数字图书馆

[22]

Diederik P.Kingma和Jimmy Ba.2014年。亚当：一种随机优化方法。CoRR，卷abs/1412.6980（2014）。arxiv:1412.6980年http://arxiv.org/abs/11412.6980

[23]

亚历克斯·克利舍夫斯基（Alex Krizhevsky）、伊利亚·萨茨克弗（Ilya Sutskever）和杰弗里·欣顿（Geoffrey E.Hinton）。2012.使用深度卷积神经网络进行ImageNet分类。以NIPS为单位。1106--1114.

数字图书馆

[24]

赖伟生、黄佳斌、阿胡加和杨明慧。2017年，深度拉普拉斯金字塔网络实现快速准确的超分辨率。在CVPR中。5835--5843.

[25]

R.Lan、L.Sun、Z.Liu、H.Lu、Z.Su、C.Pang和X.Luo。2020年，级联和增强残差网络，实现精确的单图像超分辨率。IEEE控制论汇刊（2020），1-11。

[26]

Yann LeCun、Yoshua Bengio和Geoffrey E.Hinton。2015年，深度学习。《自然》，第521卷，第7553页（2015年），第436-444页。

[27]

李俊成、方法明、梅康夫和张桂旭。2018年，图像超分辨率多尺度残差网络。在ECCV中。527--542. https://doi.org/10.1007/978-3-030-01237--3_32

[28]

《庄子里》2019。基于注意的DenseNet与残差反褶积的图像超分辨率。CoRR，第abs/1907.05282卷（2019年）。http://arxiv.org/abs/1907.05282

[29]

李庄子、冯代、张乃光、王磊和薛紫玉。2019.图像检索的代表性特征匹配网络。在ACM多媒体亚洲。45:1--45:6.

[30]

Bee Lim、Sanghyun Son、Heewon Kim、Seungjun Nah和Kyoung Mu Lee。2017.增强的单图像超分辨率深度残余网络。在CVPR研讨会中。1132--1140.

[31]

J.Lin.1991年。基于香农熵的散度度量。IEEE信息理论汇刊，第37卷，第1卷（1991年），第145-151页。

数字图书馆

[32]

刘洁、张文杰、汤玉亭、汤洁和吴刚山。2020年，图像超分辨率剩余特征聚合网络。在CVPR中。2356--2365.

[33]

毛晓娇、沈春华和杨玉斌。2016.使用具有对称跳跃连接的卷积自动编码器进行图像恢复。CoRR，卷abs/1606.08921（2016）。阿西夫：1606.08921

[34]

David R.Martin、Charless C.Fowlkes、Doron Tal和Jitendra Malik。2001.人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。在ICCV中。416--425. https://doi.org/10.109/ICCV.2001.937655

[35]

松井优助、伊藤高塔、荒木由纪夫、藤本固木、小川彻、山崎俊彦和爱泽清原。2017.使用manga109数据集进行基于草图的漫画检索。多媒体工具应用。，第76卷，第20卷（2017年），21811--21838。

数字图书馆

[36]

Mehryar Mohri、Afshin Rostamizadeh和Amee Talwalkar。2012.机器学习基础。麻省理工学院出版社。

数字图书馆

[37]

Abdelkader Mokkadem。1989.绝对连续随机变量的熵和信息的估计。IEEE传输。《信息论》，第35卷，第1卷（1989年），193-196。

数字图书馆

[38]

Sung Y Park和Anil K Bera。最大熵自回归条件异方差模型。《计量经济学杂志》，第150卷，第2卷（2009年），第219-230页。

[39]

史文哲（Wenzhe Shi）、何塞·卡巴列罗（Jose Caballero）、费伦斯·胡萨尔（Ferenc Huszar）、约翰内斯·托茨（Johannes Totz）、安德鲁·艾特肯（Andrew P.Aitken）、罗伯·毕晓普（Rob Bishop）、丹尼尔·鲁克特。2016.使用高效的亚像素卷积神经网络实时单图像和视频超分辨率。CVPR。1874--1883.

[40]

伊利亚·萨茨克弗（Ilya Sutskever）、Oriol Vinyals和Quoc V.Le。2014.使用神经网络进行序列到序列学习。在NIPS中。3104--3112.

数字图书馆

[41]

Ying Tai、Jian Yang和Xiaoming Liu。2017年，通过深度递归残差网络实现图像超分辨率。CVPR。2790--2798.

[42]

Radu Timofte、Eirikur Agustsson和Luc Van Gool等人，2017年。NTIRE 2017单图像超分辨率挑战：方法和结果。在CVPR研讨会中。1110--1121.

[43]

Radu Timofte、Vincent De Smet和Luc J.Van Gool。2013.基于快速示例的超分辨率锚定邻域回归。在ICCV中。1920--1927.

[44]

童童、李根、刘谢杰和高钦泉。2017.使用密集跳过连接实现图像超分辨率。在ICCV中。4809--4817.

[45]

吴桑亨（Sanghyun Woo）、宗禅公园（Jongchan Park）、李俊英（Joon Young Lee）和尹素奎（In So Kweon）。2018.CBAM：卷积块注意模块。ECCV，第11211卷。3--19.

[46]

吴浩、邹振中、桂建中、曾维中、叶建中、张建中、刘浩、魏振中。2020年。单图像超分辨率的多粒度注意力网络。IEEE视频技术电路和系统汇刊（2020年），1-1。

[47]

谢慈航（Cihang Xie）、吴宇欣（Yuxin Wu）、劳伦斯·范德马滕（Laurens van der Maaten）、艾伦·L·尤耶（Alan L.Yuille）和何开明（Kaiming He）。2019.特征去噪以提高对抗鲁棒性。在CVPR中。501--509.

[48]

徐静、赵睿、朱峰、王华明和欧阳万里。2018.用于人员重新识别的注意-软件组成网络。在CVPR中。

[49]

杨建超、林哲和斯科特·科恩。2013.基于就地示例回归的快速图像超分辨率。在CVPR中。1059--1066.

[50]

杨文明、张学晨、田亚鹏、王伟和薛京浩。2018.单图像超分辨率深度学习：简要回顾。CoRR，第abs/1808.03344卷（2018年）。arxiv:1808.03344号

[51]

罗曼·泽德、迈克尔·埃拉德和马坦·普洛特。2010年。关于使用稀疏表示的单幅图像放大。在国际曲线和曲面会议上。711--730.

[52]

张开兵，高新波，陶大成，李雪龙，2012。基于非局部均值和指导核回归的单图像超分辨。IEEE传输。图像处理。，第21卷，第11卷（2012年），第4544-4556页。

数字图书馆

[53]

张晓宁（Xiaoning Zhang）、王天天（Tiantian Wang）、齐金庆（Jinqing Qi）、卢虎川（Huchuan Lu）和王刚（Gang Wang）。2018年c。用于显著目标检测的渐进注意引导递归网络。在CVPR中。

[54]

张玉伦、李昆鹏、李凯、王立晨、钟彬能和傅云。2018年a。利用极深剩余通道注意网络进行图像超分辨。在ECCV中。294--310.

[55]

张玉伦、李昆鹏、李凯、钟彬能和傅云。2019.用于图像恢复的剩余非局部注意网络。在ICLR中。

[56]

张玉伦、田亚鹏、余刚、钟彬能、傅云。2018年b月。图像超分辨率的剩余密度网络。在CVPR中。

[57]

朱晓斌、李庄子、李显波、李珊珊和冯岱。2020年。低分辨率图像分类的注意感知增强网络。信息科学。，第515卷（2020年），233-247。

数字图书馆

引用人

史杰王毅于Z李G香港X王菲龚Y(2024)基于双分支变换-CNN结构的多尺度并行自我注意和局部变异人脸超分辨IEEE多媒体期刊10.1109/TMM.2023.330122526(2608-2620)在线发布日期：2024年1月1日
https://dl.acm.org/doi/101109/TTM.2023.3301225
李G史杰纵Y王菲王T龚YElkind E公司(2023)从注意力中学习注意力第三十二届国际人工智能联合会议记录10.24963/ijcai.2023/115(1035-1043)在线发布日期：2023年8月19日
https://dl.acm.org/doi/10.24963/ijcai.2023/115
刘毅东H梁B刘S东Q陈凯陈FFu L公司王菲El Saddik A公司梅·T库奇亚拉R贝尔蒂尼MTobon Vallejo D公司Atrey P公司侯赛因·M(2023)展开一次就足够了：一个面向部署的超级解决方案变压器单元第31届ACM国际多媒体会议记录10.1145/3581783.3612128(7952-7960)在线发布日期：2023年10月26日
https://dl.acm.org/doi/10.1145/3581783.3612128
显示更多引用者

索引术语

用于图像超分辨率的信息增长注意力网络
1. 计算方法
  1. 人工智能
    1. 计算机视觉
      1. 计算机视觉问题
        重建

建议

一种用于图像超分辨率的快速域自适应网络
图像和图形
摘要
以往大多数超分辨率（SR）方法都是基于高分辨率（HR）图像和相应的低分辨率（LR）图像，这些图像是通过双三次下采样人工获得的。然而，在实际场景中，LR图像通常是用。。。
阅读更多信息
轻量图像超分辨率的平衡空间特征提取和金字塔注意网络
摘要
近年来，注意机制成为图像超分辨率（SR）的关键问题，因为它能够根据使用的注意类型从图像中提取不同的特征。尽管关注取得了巨大成功。。。
阅读更多信息
光谱图像超分辨的深度剩余注意网络
计算机愿景–ECCV 2018研讨会
摘要
光谱成像传感器通常具有较低的空间分辨率，因为在可以同时实现的光谱分辨率和空间分辨率之间存在一个基本的折衷，特别是当需要获得时间分辨率时。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

MM’21：第29届ACM国际多媒体会议记录

2021年10月

5796页

国际标准图书编号：9781450386517

内政部：10.1145/3474085

总主席：
恒涛申
中国电子科技大学
,
岳廷庄
中国浙江大学
,
约翰·史密斯
IBM，美国
,
课程主席：
杨扬
中国电子科技大学
,
巴布罗·塞萨尔
CWI&TU Delft，荷兰
,
弗洛里安·梅茨
美国FACEBOOK公司
,
巴拉克里什南·普拉巴卡兰
美国德克萨斯大学达拉斯分校

版权所有©2021 ACM。

允许制作本作品的全部或部分数字或硬拷贝供个人或课堂使用，但不收取任何费用，前提是复制品的制作或分发不是为了盈利或商业利益，并且复制品在首页注明本通知和完整引文。必须尊重ACM以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护]

赞助商

SIGMM:ACM多媒体特别兴趣小组

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2021年10月17日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章

资金来源

国家重点研发计划

会议

21年月日

赞助商：

SIGMM公司

21岁MM：ACM多媒体会议

2021年10月20日至24日

虚拟活动，中国

接受率

4171份提交文件的总体接受率为995份，24%

即将召开的会议

24年月日

赞助商：
西格玛

24岁MM：第32届ACM国际多媒体会议

2024年10月28日至11月1日

墨尔本，维多利亚州，澳大利亚

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

6
引文总数
查看引文
460
总下载次数

下载量（最近12个月）53
下载次数（最近6周）4

其他指标

查看作者指标

引文

引用人

史杰王毅于Z李G香港X王菲龚Y(2024)基于双分支变换-CNN结构的多尺度并行自我注意和局部变异人脸超分辨IEEE多媒体期刊10.1109/TMM.2023.330122526(2608-2620)在线发布日期：2024年1月1日
https://dl.acm.org/doi/10.109/TMM.2023.3301225
李G史杰纵Y王菲王T龚YElkind E公司(2023)从注意力中学习注意力第三十二届国际人工智能联合会议记录10.24963/ijcai.2023/115(1035-1043)在线发布日期：2023年8月19日
https://dl.acm.org/doi/10.24963/ijcai.2023/115
刘毅东H梁B刘S东Q陈凯陈FFu L公司王菲El Saddik A公司梅·T库奇亚拉R贝尔蒂尼MTobon Vallejo D公司Atrey P公司侯赛因·M(2023)展开一次就足够了：一个面向部署的超级解决方案变压器单元第31届ACM国际多媒体会议记录10.1145/3581783.3612128(7952-7960)在线发布日期：2023年10月26日
https://dl.acm.org/doi/10.1145/3581783.3612128
何G长S徐莉（Xu L）吴C于伟周J(2023)用于联合超分辨率和SDRTV-HDRTV的全局优先制导调制网络神经计算2016年10月10日/j.neucom.2023.126590554：C在线发布日期：2023年10月14日
https://dl.acm.org/doi/10.1016/j.neucom.2023.126590
王菲陈杰王R(2022)图像压缩中的熵降低关注度2022 IEEE图像处理国际会议（ICIP）10.1109/ICIP46576.2022.9897669(2401-2405)在线发布日期：2022年10月16日
https://doi.org/10.109/ICIP46576.2022.9897669
纪毅蒋P史杰郭Y张瑞王菲(2022)用于图像超分辨率的信息增长Swin变压器网络2022 IEEE图像处理国际会议（ICIP）10.1109/ICIP46576.2022.9897359(3993-3997)在线发布日期：2022年10月16日
https://doi.org/10.109/ICIP46576.2022.9897359

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

视图选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子