第条

用于高效图像超分辨率的非局部空间和全局信道变压器

作者:

风扇王，以及

小鹏胡作者信息和声明

多媒体建模：第30届国际会议，MMM 2024，荷兰阿姆斯特丹，2024年1月29日至2月2日，会议记录，第三部分

2024年1月

页70-85

https://doi.org/10.1007/978-3-031-53311-2_6

出版:2024年1月29日出版历史

摘要

基于变换的方法在图像超分辨率（SR）方面取得了良好的突破，因为它具有捕获图像中长距离相关性的强大能力。然而，这些方法主要集中于捕捉空间交互信息，往往忽略了探索通道维度的全局特征。在本文中，我们提出了一种新的用于高效图像SR的非局部空间和全局信道变换器（NSGCT）。为了全面研究空间和信道维的固有相似性信息，我们设计了一种非局部空间自我注意（NSSA）和全局信道自我注意（GCSA）的混合在Transformer层中。具体而言，NSSA是基于移位窗口的，专注于非局部空间相似性特征，而GCSA计算通道之间的互协方差，以利用全局长程图像关系。我们还设计了一个高效的门控深度-宽度-转换前馈网络（EGDFN）作为前馈网络，以增强和控制Transformer中的信息流，并有效实现进一步恢复准确的纹理信息。对基准数据集进行的大量定量和定性评估表明，所提出的NSGCT在计算成本和图像重建质量方面优于其他最先进的高效图像SR方法。

工具书类

[1]

使用深度卷积网络的Dong C、Loy CC、He K和Tang X图像超分辨率IEEE传输。模式分析。机器。智力。2015 38 2 295-307

数字图书馆

[2]

Kim，J.、Lee，J.K.、Lee、K.M.：使用深度卷积网络实现精确的图像超分辨率。摘自：IEEE计算机视觉和模式识别会议记录，第1646–1654页（2016）

[3]

Kim，J.、Lee，J.K.、Lee、K.M.：用于图像超分辨率的深度递归卷积网络。摘自：IEEE计算机视觉和模式识别会议记录，第1637-1645页（2016）

[4]

He，K.，Zhang，X.，Ren，S.，Sun，J.：图像识别的深度剩余学习。在：《IEEE计算机视觉和模式识别会议论文集》，第770–778页（2016）

[5]

Lai，W.S.，Huang，J.B.，Ahuja，N.，Yang，M.H.：用于快速准确超分辨率的深拉普拉斯金字塔网络。摘自：IEEE计算机视觉和模式识别会议记录，第624-632页（2017年）

[6]

Zhang Y、Li K、Li K、Wang L、Zhong B和Fu Y Ferrari V、Hebert M、Sminchisescu C和Weiss Y Image使用深度残余通道注意网络超分辨率计算机愿景–ECCV 20182018查姆斯普林格294-310

数字图书馆

[7]

Tai，Y.，Yang，J.，Liu，X.：基于深度递归残差网络的图像超分辨率。摘自：IEEE计算机视觉和模式识别会议论文集，第3147–3155页（2017）

[8]

Muqeet A、Hwang J、Yang S、Kang J、Kim Y、Bae S-H Bartoli A和Fusiello A基于多关注的超轻量图像超分辨率计算机愿景–ECCV 2020研讨会2020查姆斯普林格103-118

数字图书馆

[9]

Ahn N、Kang B和Sohn K-A Ferrari V、Hebert M、Sminchisescu C和Weiss Y采用级联残差网络实现快速、准确和轻量级超分辨率计算机愿景–ECCV 20182018查姆斯普林格256-272

数字图书馆

[10]

Hui，Z.，Gao，X.，Yang，Y.，Wang，X.：具有信息多静止网络的轻量级图像超分辨率。摘自：第27届ACM国际多媒体会议论文集，第2024–2032页（2019）

[11]

Liu J、Tang J和Wu G Bartoli A和Fusiello A轻量级图像超分辨率的残差特征提取网络计算机愿景–ECCV 2020研讨会2020查姆斯普林格41-55

数字图书馆

[12]

Chu X，Zhang B，Xu R Bartoli A和Fusiello A移动神经架构搜索中的多目标强化进化计算机愿景–ECCV 2020研讨会2020查姆斯普林格99-113

数字图书馆

[13]

Chu，X.，Zhang，B.，Ma，H.，Xu，R.，Li，Q.：使用神经架构搜索实现快速、准确和轻量级的超分辨率。摘自：2020年第25届模式识别国际会议（ICPR），第59-64页。IEEE（2021）

[14]

瓦斯瓦尼（Vaswani，A.）等人：注意力是你所需要的。In：《神经信息处理系统进展》，第30卷（2017）

[15]

Lu，Z.，Li，J.，Liu，H.，Huang，C.，Zhang，L.，Zeng，T.：单图像超分辨率变压器。摘自：IEEE/CVF计算机视觉和模式识别会议记录，第457-466页（2022年）

[16]

Gao，G.、Wang，Z.、Li，J.、Li、W.、Yu，Y.、Zeng，T.：通过对称CNN和递归变换实现单图像超分辨率的轻量级双模网络。摘自：国际人工智能联合会议（IJCAI），第913–919页（2022年）

[17]

张，X.，曾，H.，郭，S.，张，L.：用于图像超分辨率的高效远程注意网络。载于：Avidan，S.、Brostow，G.、Cisse，M.、Farinella，G.M.、Hassner，T.（编辑）《欧洲计算机视觉会议》，第13677卷，第649-667页。查姆施普林格（2022）。

数字图书馆

[18]

Li，M.，Fu，Y.，Zhang，Y.：用于高光谱图像去噪的空间谱变换器。在：AAAI人工智能会议记录，第37卷，第1期，第1368-1376页，2023年6月

[19]

Liu，Z.，et al.：Swin transformer：使用移动窗口的分层视觉变换器。摘自：IEEE/CVF计算机视觉国际会议记录，第10012–10022页（2021）

[20]

Liang，J.，Cao，J.、Sun，G.、Zhang，K.、Van Gool，L.、Timofte，R.：SwinIR：使用Swin变换器进行图像恢复。摘自：IEEE/CVF国际计算机视觉会议记录，第1833-1844页（2021年）

[21]

Wang，Z.，Cun，X.，Bao，J.，Zhou，W.，Liu，J.、Li，H.：Uformer：用于图像恢复的通用U形变压器。摘自：IEEE/CVF计算机视觉和模式识别会议记录，第17683–17693页（2022年）

[22]

Zamir，S.W.、Arora，A.、Khan，S.、Hayat，M.、Khan、F.S.、Yang，M.H.：还原器：用于高分辨率图像还原的高效变压器。摘自：IEEE/CVF计算机视觉和模式识别会议记录，第5728-5739页（2022年）

[23]

Shi，W.，等：使用有效的亚像素卷积神经网络实现实时单图像和视频超分辨率。摘自：IEEE计算机视觉和模式识别会议论文集，第1874–1883页（2016）

[24]

Wang Z、Bovik AC、Sheikh HR和Simoncelli EP图像质量评估：从错误可见性到结构相似性IEEE传输。图像处理。2004 13 4 600-612

数字图书馆

[25]

Agustsson，E.，Timofte，R.：2017年NTIRE单图像超分辨率挑战：数据集和研究。摘自：IEEE计算机视觉和模式识别研讨会会议记录，第126-135页（2017年）

[26]

用于轻量级图像恢复的Luo X、Qu Y、Xie Y、Zhang Y、Li C和Fu Y Lattice网络IEEE传输。模式分析。机器。智力。2022 45 4 4826-4842

[27]

Gao，G.，Li，W.、Li，J.、Wu，F.、Lu，H.、Yu，Y.：轻量级图像超分辨率的特征提取交互加权网络。摘自：《AAAI人工智能会议记录》，第36卷，第1期，第661-669页，2022年6月

[28]

Sun，B.，Zhang，Y.，Jiang，S.，Fu，Y.：用于轻量级图像超分辨率的混合像素无遮挡网络。摘自：《AAAI人工智能会议记录》，第37卷，第2期，第2375–2383页，2023年6月

[29]

Zhao H、Kong X、He J、Qiao Y和Dong C Bartoli A和Fusiello使用像素注意力的高效图像超分辨率计算机愿景–ECCV 2020研讨会2020查姆斯普林格56-72

数字图书馆

[30]

Wang，L.，et al.：探索图像超分辨率中的稀疏性以进行有效推断。摘自：IEEE/CVF计算机视觉和模式识别会议记录，第4917–4926页（2021年）

建议

图像超分辨率变换器中需要信息的鉴别激活
模式识别与计算机视觉
摘要
尽管Transformer在图像超分辨率任务方面取得了重大进展，但它没有有效地利用图像频域中的先验知识，并区分高频和低频信息的处理。。。
阅读更多信息
用于图像超分辨率的高效双注意变换器
SAC’24：第39届ACM/SIGAPP应用计算研讨会会议记录

基于计算效率高的局部窗口自关注的研究在图像超分辨率（SR）领域取得了积极进展，导致性能显著提高。然而，在最近的研究中，当地人的自我关注。。。
阅读更多信息
用于图像超分辨率的轻型小波变换器
PRICAI 2022：人工智能趋势
摘要
由于深度和广度网络的低效性，大多数出色的超分辨率算法无法轻易应用于现实世界的场景，尤其是资源受限的设备。本文集中讨论较少的参数。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片指南会议记录

多媒体建模：第30届国际会议，MMM 2024，荷兰阿姆斯特丹，2024年1月29日至2月2日，会议记录，第三部分

2024年1月

551页

国际标准图书编号：978-3-031-53310-5

内政部：10.1007/978-3-031-53311-2

编辑：
斯特万·鲁迪纳克
https://ror.org/04dkp9463大学阿姆斯特丹、阿姆斯特丹和荷兰
,
阿兰·汉贾利奇
https://ror.org/02e2c7k09Delft网站荷兰代尔夫特理工大学
,
辛西娅·利姆
https://ror.org/02e2c7k09Delft网站荷兰代尔夫特理工大学
,
马赛尔·沃林
https://ror.org/04dkp9463大学阿姆斯特丹、阿姆斯特丹和荷兰
,
比约恩？约森
https://ror.org/05d2kyx68雷克雅未克冰岛雷克雅未克大学
,
贝柳
微软研究实验室–亚洲，中国北京
,
山田洋子
https://ror.org/057zh3y96东京大学，日本东京

©作者，经施普林格自然瑞士公司2024独家授权。

出版商

Springer-Verlag公司

柏林，海德堡

出版历史

出版：2024年1月29日

作者标记

限定符

第条

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

0
引文总数
0
总下载次数

下载量（最近12个月）0
下载次数（最近6周）0

其他指标

查看作者指标

引文

视图选项

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子