基于全局依赖Transformer的图像超分辨率网络

doi:10.11772/j.issn.1001-9081.2023050636

《计算机应用》唯一官方网站››2024，第44卷››问题（5）: 1588-1596.内政部：10.11772/j.issn.1001-9081.2023050636

• • （一）

基于全局依赖变压器的图像超分辨率网络

刘子涵(),周登文，刘玉铠

华北电力大学控制与计算机工程学院，北京 102206

收稿日期:2023-05-23年 收益率：2023-08-31 接受日期:2023-09-13 日本：2023-09-19年 出版日期:2024-05-10
通讯作者:刘子涵
作者简介:周登文（1965—），男，湖北黄梅人，教授，硕士，主要研究方向：图像去噪、图像超分辨率
刘玉铠（1996—），男，河北衡水人，硕士研究生，主要研究方向：深度学习、计算机视觉。
第一联系人：刘子涵（1997—），男，河北石家庄人，硕士研究生，主要研究方向：深度学习、计算机视觉

基于全局依赖变换的图像超分辨率网络

刘子汉(),周登文，刘玉凯

华北电力大学控制与计算机工程学院，北京102206

收到：2023-05-23年 修订过的：2023-08-31 认可的：2023-09-13 在线：2023-09-19 出版：2024-05-10
联系人：刘子汉
关于作者：周登文，1965年生，硕士，教授。他的研究兴趣包括图像去噪、图像超分辨率。
刘玉凯，1996年出生，硕士研究生。他的研究兴趣包括深度学习、计算机视觉。

摘要/摘要

摘要：

目前，基于深度学习的图像超分辨网络主要由卷积实现。相较于传统的卷积神经网络（CNN），变压器在图像超分辨率任务中的主要优势是它的长距离依赖建模能力；然而大多数基于变压器的图像超分辨率模型在参数量小、网络层数少的情况下无法建立全局依赖，限制了模型的性能。为了在超分辨率网络中建立全局依赖，提出了基于全局依赖变压器的图像超分辨率网络（GDTSR）专业人士（RSAWB）它的内部轴向窗口变压器残差层利用轴向窗口和自注意力，可以使每个像素与整个特征图建立起全局依赖。此外，目前大多数图像超分辨率模型的超分辨率图像重建模块都由卷积组成，为了动态整合提取到的特征信息，结合变压器与卷积，共同重建超分辨率图像。实验结果表明，GDTSR Set5、Set14、B100、Urban100和Manga109上的测试结果中，3个倍数（ $× 2$ ， $× 三$ ， $× 4$ )信息（PSNR）和可靠性（SSIM）均达到了最优，特别是在大尺寸图像的城市100和Manga109数据集上模型性能的提升尤为明显。

关于： 图像超分辨率, 变压器，自注意力, 全局依赖, 轴向窗口

摘要：

目前，基于深度学习的图像超分辨率网络主要是通过卷积实现的。与传统的卷积神经网络（CNN）相比，Transformer在图像超分辨率任务中的主要优势在于其远程相关性建模能力。然而，大多数基于Transformer的图像超分辨率模型无法建立参数小、网络层少的全局相关性，这限制了模型的性能。为了在超分辨率网络中建立全局相关性，提出了一种基于全局相关性变换器（GDTSR）的图像超分辨率网络。它的主要组成部分是残留方形轴向窗口块（RSAWB），在Transformer残留层中，使用轴向窗口和自聚焦使每个像素全局依赖于整个特征图。此外，目前大多数图像超分辨率模型的超分辨率图像重建模块都是由卷积组成的。为了对提取的特征信息进行动态集成，将Transformer和卷积相结合，共同重建超分辨率图像。实验结果表明，在Set5、Set14、B100、Urban100和Manga109五个标准测试集上，GDTSR的峰值信噪比（PSNR）和结构相似性指数（SSIM）对于三个倍数是最优的( $× 2$ ， $× 三$ ， $× 4$ )在大型数据集Urban100和Manga109上，性能改进尤其明显。

关键词： 图像超分辨率，变压器，自我关注，全局依赖性，轴向窗

中图分类号:

TP391.4标准

刘子涵, 周登文, 刘玉铠. 基于全局依赖变压器的图像超分辨率网络[J] ●●●●。计算机应用, 2024, 44(5): 1588-1596.

刘子翰、周登文、刘玉凯。基于全局依赖变换的图像超分辨率网络[J]。计算机应用杂志，2024，44（5）：1588-1596。

图/表19

参考文献45

1	DONG C，LOY C C，HE K，等.学习用于图像超分辨率的深度卷积网络〔C〕//第13届欧洲计算机视觉会议论文集。查姆：斯普林格2014： 184-199.10.1007/978-3-319-10593-2_13
2	DONG C，LOY C C，TANG X.加速超分辨率卷积神经网络〔C〕//第14届欧洲计算机视觉会议论文集。查姆：斯普林格2016： 391-407.10.1007/978-3-319-46475-6_25
三	KIM J，LEE J K，LEE K M.使用极深卷积网络实现精确图像超分辨率〔C〕//2016年IEEE计算机视觉和模式识别会议论文集。皮斯卡塔韦：IEEE2016： 1646-1654.10.1109/cvpr.2016.182
4	LIM B，SON S，KIM H等。用于单图像超分辨率的增强深度残差网络[C]//2017年IEEE计算机视觉和模式识别研讨会论文集。皮斯卡塔韦：IEEE2017：136-144.10.1109/cvprw.2017.151
5	张毅，李凯，李凯等.利用极深剩余通道注意网络进行图像超分辨〔C〕//第十五届欧洲计算机视觉会议论文集。查姆：斯普林格2018： 294-310.10.1007/978-3-030-01234-2_18
6	唐涛，李刚，刘霞，等.基于密集跳跃连接的图像超分辨〔C〕//2017 IEEE国际计算机视觉会议论文集。皮斯卡塔韦：IEEE2017： 4799-4807.10.1109/iccv.2017.514
7	VASWANI A，SHAZEER N，PARMAR N，et al.注意力是你所需要的一切〔C〕//第31届神经信息处理系统国际会议论文集。红钩：Curran Associates Inc2017：6000-6010.
8	梁杰，曹杰，孙刚，等.SwinIR：基于Swin Transformer的图像恢复〔C〕//2021 IEEE/CVF国际计算机视觉会议论文集。皮斯卡塔韦：IEEE2021： 1833-1844.10.1109/iccvw54120.2021.00210
9	LIU Z，LIN Y，CAO Y，et al.Swin Transformer:使用移位窗口的分层视觉转换器[C]//2021 IEEE/CFF国际计算机视觉会议论文集。皮斯卡塔韦：IEEE2021： 9992-10002.10.1109/iccv48922.2021.00986
10	HO J，KALCHBRENNER N，WEISSENBORN D，等.多维变压器的轴向注意〔EB/OL〕2023-04-16］. .
11	SHI W，CABALLERO J，HUSZáR F，等.利用高效亚像素卷积神经网络实现实时单图像和视频超分辨率〔C〕//2016 IEEE计算机视觉和模式识别会议论文集。皮斯卡塔韦：IEEE2016： 1874-1883.10.1109/cvpr.2016.2007
12	黄J-B，SINGH A，AHUJA N.基于变换自聚焦的单图像超分辨〔C〕//2015 IEEE计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2015： 5197-5206.2015年10月10日至2015年7月29日
13	TIMOFTE R，DE SMET V，VAN GOOL L.A+：快速超分辨率的调整锚定邻域回归〔C〕//第十二届亚洲计算机视觉会议论文集。查姆：斯普林格2015： 111-126.10.1007/978-3-319-16817-3_8
14	张磊，吴霞.一种基于方向滤波和数据融合的边缘引导图像插值算法〔J〕。IEEE图像处理汇刊，2006，15（8）： 2226-2238.10.1109/tip.2006.877407
15	MEI Y，FAN Y，ZHOU Y.具有非局部稀疏关注的图像超分辨率〔C〕//2021年IEEE/CVF计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2021： 3517-3526.10.1109/cvpr46437.2021.00352
16	KIM J，LEE J K，LEE K M.用于图像超分辨率的深度递归卷积网络〔C〕//2016 IEEE计算机视觉和模式识别会议论文集。皮斯卡塔韦：IEEE2016： 1637-1645.10.1109/cvpr.2016.181
17	LEDIG C，THEIS L，HUSZÁR F等。使用生成对抗性网络的逼真单图像超分辨率[C]/2017年IEEE计算机视觉和模式识别会议论文集。皮斯卡塔韦：IEEE2017： 4681-4690.2017.19年10月10日/cvpr
18	王旭，于克，吴斯，等.ESRGAN:增强超分辨率生成对抗网络〔C〕//2018年ECCV研讨会论文集。柏林：斯普林格2018： 63-79.10.1007/978-3-030-11021-5_5
19	GOODFELLOW I J，POUGET-ABADIE J，MIRZA M，等.第27届神经信息处理系统国际会议论文集〔C〕//。剑桥：麻省理工学院出版社2014： 2672-2680.
20	李伟，陆X，钱S，等.基于变换器的低水平视觉图像预训练研究〔EB/OL〕2023-05-01］. .10.24963/ijcai.2023/121
21	DOSOVITSKIY A，BEYER L，KOLESNIKOV A，等.图像值16×16个单词：用于大规模图像识别的变形金刚[EB/OL].〔2023-06-01］. .
22	杨杰，李聪，张鹏，等.视觉变换器中局部-全局相互作用的焦点自我关注〔EB/OL〕2023-05-23］. .10.448550/arXiv.2107.00641
23	董霞，鲍杰，陈德，等.CSWin Transformer：一种具有交叉窗口的通用视觉Transformer主干〔C〕//2022年IEEE/CVF计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2022： 12124-12134.10.1109/cvpr52688.2022.01181
24	CARION N，MASSA F，SYNNAEVE G，等.用变压器进行端到端目标检测〔C〕//第十六届欧洲计算机视觉会议论文集。查姆：斯普林格2020： 213-229.10.1007/978-3-030-58452-8_13
25	陈浩，王毅，郭涛，等.预处理图像处理变压器〔C〕//2021 IEEE/CVF计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2021： 12294-12305.10.1109/cvpr46437.2021.01212
26	YOO J，KIM T，LEE S，et al.用于超分辨率的Rich CNN transformer特征聚合网络〔C〕//2023年IEEE/CFF计算机视觉应用冬季会议论文集。皮斯卡塔韦：IEEE2023： 4956-4965.10.1109/wacv56688.2023.00493
27	卢Z，李杰，刘华，等.单图像超分辨率变换器〔C〕//2022 IEEE/CVF计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2022： 457-466.10.1109/cvprw56347.2022.00061
28	CHOI H，LEE J，YANG J.N-Gram，《Swin Transformers for the efficient lightweight image super-resolution》〔C〕//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition会议论文集。皮斯卡塔韦：IEEE2023： 2071-2081.10.1109/cvpr52729.2023.00206
29	张斌，陈杰，温奇.基于Swin Transforme的轻量级网络单图像超分辨率研究〔EB/OL〕2023-06-07］. .
30	TIMOFTE R，AGUSTSSON E，VAN GOOL L，等.2017年NTIRE单图像超分辨率挑战：方法与结果〔C〕//2017年IEEE计算机视觉与模式识别研讨会论文集。皮斯卡塔韦：IEEE2017： 114-125.2010年10月10日/2015年11月20日
31	KINGMA D P，BA J.ADAM：一种随机优化方法2023-05-21］. .
32	BEVILACQUA M，ROUMY A，GUILLEMOT R C，等.基于非负邻域嵌入的低复杂度单图像超分辨率〔C/OL〕//2012年英国机器视觉会议论文集〔S.l.]:BMVC，2012年〔2023-05-01〕。
33	ZEYDE R，ELAD M，PROTTER M.关于使用稀疏表示的单图像放大〔C〕//第七届曲线和曲面国际会议论文集。柏林：斯普林格2012： 711-730.10.1007/978-3-642-27413-8_47
34	MARTIN D，FOWLKES C，TAL D，等.人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用〔C〕//第八届IEEE国际计算机视觉会议论文集。皮斯卡塔韦：IEEE2001，2： 416-423.10.1109/iccv.2001.937491
35	MATSUI Y，ITO K，ARAMAKI Y，等.利用Manga109数据集进行基于草图的漫画检索〔J〕。多媒体工具和应用程序，2017，76： 21811-21838.10.1007/s11042-016-4020-z
36	王Z，波维克·阿·C，谢赫·H·R，等。图像质量评估：从误差可见性到结构相似性〔J〕。IEEE图像处理汇刊，2004，13（4）： 600-612.10.1109/tip.2003.819861
37	惠泽，王霞，高霞.基于信息蒸馏网络的快速准确单图像超分辨〔C〕//2018 IEEE/CVF计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2018： 723-731.10.1109/cvpr.2018.00082
38	惠Z，高X，杨毅，等.基于信息多静止网络的轻量化图像超分辨率〔C〕//第27届ACM国际多媒体会议论文集。纽约：ACM2019： 2024-2032.10.1145/3343031.3351084
39	李伟，周凯，齐磊，等.线性组合像素自适应回归网络在单幅图像超分辨率及更高分辨率中的应用〔C〕//第34届神经信息处理系统国际会议论文集。红钩：Curran Associates Inc2020： 20343-20355.
40	罗X，谢毅，张毅，等.LatticeNet：用格子块实现轻量级图像超分辨率〔C〕//第十六届欧洲计算机视觉会议论文集。查姆：斯普林格2020： 272-289.10.1007/978-3-030-58542-6_17
41	张旭，曾赫，郭S，等.图像超分辨率高效远程注意网络〔C〕//第17届欧洲计算机视觉会议论文集。查姆：斯普林格2022： 649-667.10.1007/978-3-031-19790-1_39
42	安恩，康B，K-A SOHN。利用级联残差网络实现快速、准确、轻量级超分辨率〔C〕//第15届欧洲计算机视觉会议论文集。查姆：斯普林格2018： 256-272.10.1007/978-3-030-01249-6_16
43	王磊，董X，王毅，等.探索图像超分辨率稀疏性以实现高效推理〔C〕//2021年IEEE/CVF计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2021电话：4917-4926。10.1109/cvpr46437.2021.00488
44	田C，张毅，邹伟，等.一种用于图像超分辨率的异构组CNN〔J／OL〕。IEEE神经网络和学习系统汇刊，2022（早期访问）[2023-07-09]。2016年10月10日/j.neunet.2022.06.009
45	CONDE M V，U-J CHOI，BURCHI M，et al.Swin2SR:SwinV2 Transformer for compressed image super-resolution and restoration〔C〕//ECCV 2022研讨会论文集。查姆：斯普林格2023： 669-687.10.1007/978-3-031-25063-7_42

训练集	模型	参数量/10^三	设置5		设置14		B100元		城市100		曼加109
训练集	模型	参数量/10^三	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司
DIV2K型	IMDN（综合管理数据网）^［38］	694	38	零点九六零五	33.63	零点九一七七	32.19	零点八九九六	32.17	零点九二八三	38.88	零点九七七四
DIV2K型	拉帕尔^［39］	548	38.01	零点九六零五	33.62	零点九一八三	32.19	零点八九九九	32.10	零点九二八三	38.67	零点九七七二
DIV2K型	LatticeNet公司^［40］	756	38.15	零点九六一零	33.78	零点九一九三	32.25	零点九零零五	32.43	零点九三零二	—	—
DIV2K型	ESRT公司^［27］	677	38.03	零点九六零零	33.75	零点九一八四	32.25	零点九零零五	32.58	零点九三一八	39.12	零点九七七四
DIV2K型	SwinIR灯^［8］	878	38.14	零点九六一一	33.86	零点九二零六	32.31	零点九零一二	32.76	零点九三四零	39.12	零点九七八三
DIV2K型	ELAN灯^［41］	582	38.17	零点九六一一	33.94	零点九二零七	32.30	零点九零一二	32.76	零点九三四零	39.11	零点九七八二
DIV2K型	GDTSR-T公司	600	38.17	零点九六一二	33.99	零点九二零三	32.31	零点九零一三	32.78	零点九三四二	39.27	零点九七八四
DIV2K型	EDSR基线^［4］	1 370个	37.99	零点九六零四	33.57	零点九一七五	32.16	零点八九九四	31.98	零点九二七二	38.54	零点九七六九
DIV2K型	CARN（汽车）^［42］	1 592	37.76	零点九五九零	33.52	零点九一六六	32.09	零点八九七八	31.92	零点九二五六	38.36	零点九七六五
DIV2K型	安全管理系统^［43］	985	38	零点九六零一	33.64	零点九一七九	32.17	零点八九九零	32.19	零点九二八四	38.76	零点九七七一
DIV2K型	HGSRCNN公司^［44］	2 178	37.80	零点九五九一	33.56	零点九一七五	32.12	零点八九八四	32.21	零点九二九二	—	—
DIV2K型	游泳池-NG^［28］	1 181	38.17	零点九六一二	33.94	零点九二零五	32.31	零点九零一三	32.78	零点九三四零	39.20	零点九七八一
DIV2K型	Swin2SR-s型^［45］	1 000	38.17	零点九六一三	33.95	零点九二一六	32.35	零点九零二四	32.85	零点九三四九	39.32	零点九七八四
DIV2K型	GDTSR公司	1 003	38.26	零点九六一五	34.13	零点九二一七	32.35	零点九零一八	33.15	零点九三六八	39.45	零点九七八七
DF2K（DF2K）	EDT-T公司^［24]	917	38.23	零点九六一五	33.99	零点九二零九	32.37	零点九零二一	32.98	零点九三六二	39.45	零点九七八九
DF2K（DF2K）	GDTSR-DF公司	2003年1月	38.31	零点九六一六	34.28	零点九二三九	32.39	零点九零二三	33.34	零点九三八四	39.66	零点九七八八

训练集	模型	中国/10^三	设置5		设置14		B100元		城市100		曼加109
训练集	模型	中国/10^三	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司
DIV2K型	IMDN（综合管理数据网）^［38］	694	38	零点九六零五	33.63	零点九一七七	32.19	零点八九九六	32.17	零点九二八三	38.88	零点九七七四
DIV2K型	拉帕尔^［39］	548	38.01	零点九六零五	33.62	零点九一八三	32.19	零点八九九九	32.10	零点九二八三	38.67	零点九七七二
DIV2K型	LatticeNet公司^［40］	756	38.15	零点九六一零	33.78	零点九一九三	32.25	零点九零零五	32.43	零点九三零二	—	—
DIV2K型	ESRT公司^［27]	677	38.03	零点九六零零	33.75	零点九一八四	32.25	零点九零零五	32.58	零点九三一八	39.12	零点九七七四
DIV2K型	SwinIR灯^［8］	878	38.14	零点九六一一	33.86	零点九二零六	32.31	零点九零一二	32.76	零点九三四零	39.12	零点九七八三
DIV2K型	ELAN灯^［41］	582	38.17	零点九六一一	33.94	零点九二零七	32.30	零点九零一二	32.76	零点九三四零	39.11	零点九七八二
DIV2K型	GDTSR-T公司	600	38.17	零点九六一二	33.99	零点九二零三	32.31	零点九零一三	32.78	零点九三四二	39.27	零点九七八四
DIV2K型	EDSR基线^［4]	1 370	37.99	零点九六零四	33.57	零点九一七五	32.16	零点八九九四	31.98	零点九二七二	38.54	零点九七六九
DIV2K型	CARN（汽车）^［42]	1 592	37.76	零点九五九零	33.52	零点九一六六	32.09	零点八九七八	31.92	零点九二五六	38.36	零点九七六五
DIV2K型	SMSR公司^［43］	985	38	零点九六零一	33.64	零点九一七九	32.17	零点八九九零	32.19	零点九二八四	38.76	零点九七七一
DIV2K型	HGSRCNN（美国有线电视新闻网）^［44］	2 178	37.80	零点九五九一	33.56	零点九一七五	32.12	零点八九八四	32.21	零点九二九二	—	—
DIV2K型	摇摆器NG^［28］	1 181	38.17	零点九六一二	33.94	零点九二零五	32.31	零点九零一三	32.78	零点九三四零	39.20	零点九七八一
DIV2K型	游泳2SR-s^［45］	1000	38.17	零点九六一三	33.95	零点九二一六	32.35	零点九零二四	32.85	零点九三四九	39.32	零点九七八四
DIV2K型	GDTSR公司	1 003	38.26	零点九六一五	34.13	零点九二一七	32.35	零点九零一八	33.15	零点九三六八	39.45	零点九七八七
DF2K（DF2K）	EDT-T公司^［24］	917	38.23	零点九六一五	33.99	零点九二零九	32.37	零点九零二一	32.98	零点九三六二	39.45	零点九七八九
DF2K（DF2K）	GDTSR-DF公司	1 003	38.31	零点九六一六	34.28	零点九二三九	32.39	零点九零二三	33.34	零点九三八四	39.66	零点九七八八

（美国）	模型	参数量/10^三	设置5		设置14		B100元		城市100		曼加109
（美国）	模型	参数量/10^三	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	最短持续时间	峰值信噪比/分贝	SSIM公司
DIV2K型	IMDN（综合管理数据网）^［38］	703	34.36	零点九二七零	30.32	零点八四一七	29.09	零点八零四六	28.17	零点八五一九	33.61	零点九四四五
DIV2K型	拉帕尔^［39］	544	34.36	零点九二六七	30.34	零点八四二一	29.11	零点八零五四	28.15	零点八五二三	33.51	零点九四四一
DIV2K型	LatticeNet公司^［40］	765	34.53	零点九二八一	30.39	零点八四二四	29.15	零点八零五九	28.33	零点八五三八	—	—
DIV2K型	ESRT公司^［27］	770	34.42	零点九二六八	30.43	零点八四三三	29.15	零点八零六三	28.46	零点八五七四	33.95	零点九四五五
DIV2K型	SwinIR灯^［8］	886	34.62	零点九二八九	30.54	零点八四六三	29.20	零点八零八二	28.66	零点八六二四	33.98	零点九四七八
DIV2K型	ELAN灯^［41］	590	34.61	零点九二八八	30.55	零点八四六三	29.21	零点八零八一	28.69	零点八六二四	34	零点九四七八
DIV2K型	GDTSR-T公司	611	34.62	零点九二八九	30.58	零点八四六三	29.23	零点八零八六	28.71	零点八六二九	34.35	零点九四八八
DIV2K型	EDSR基线^［4］	1 555个	34.37	零点九二七零	30.28	零点八四一七	29.09	零点八零五二	28.15	零点八五二七	33.45	零点九四三九
DIV2K型	CARN（汽车）^［42］	1 592	34.29	零点九二五五	30.29	零点八四零七	29.06	零点八零三四	28.06	零点八四九三	33.43	零点九四二七
DIV2K型	SMSR公司^［46］	993	34.40	零点九二七零	30.33	零点八四一二	29.10	零点八零五零	28.25	零点八五三六	33.68	零点九四四五
DIV2K型	HGSRCNN（美国有线电视新闻网）^［44］	2 363	34.35	零点九二六零	33.32	零点八四一三	29.09	零点八零四二	28.29	零点八五四六	—	—
DIV2K型	游泳池-NG^［28］	1 190	34.64	零点九二九三	30.58	零点八四七一	29.24	零点八零九零	28.75	零点八六三九	34.22	零点九四八八
DIV2K型	GDTSR公司	1 014	34.78	零点九三零零	30.67	零点八四七七	29.29	零点八一零二	29.07	零点八六九一	34.58	零点九五零四
DF2K型	EDT-T公司^［24］	919	34.73	零点九二九九	30.66	零点八四八一	29.29	零点八一零三	28.89	零点八六七四	34.44	零点九四九八
DF2K（DF2K）	GDTSR公司	1 014	34.83	零点九三零四	30.72	零点八四八七	29.33	零点八一零九	29.22	零点八七一七	34.80	零点九五一三

训练集	模型	参数量/10^三	设置5		设置14		B100元		城市100		曼加109
训练集	模型	参数量/10^三	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	最短持续时间	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司
DIV2K型	IMDN（综合管理数据网）^［38］	703	34.36	零点九二七零	30.32	零点八四一七	29.09	零点八零四六	28.17	零点八五一九	33.61	零点九四四五
DIV2K型	拉帕尔^［39］	544	34.36	零点九二六七	30.34	零点八四二一	29.11	零点八零五四	28.15	零点八五二三	33.51	零点九四四一
DIV2K型	LatticeNet公司^［40］	765	34.53	零点九二八一	30.39	零点八四二四	29.15	零点八零五九	28.33	零点八五三八	—	—
DIV2K型	ESRT公司^［27］	770	34.42	零点九二六八	30.43	零点八四三三	29.15	零点八零六三	28.46	零点八五七四	33.95	零点九四五五
DIV2K型	SwinIR灯^［8］	886	34.62	零点九二八九	30.54	零点八四六三	29.20	零点八零八二	28.66	零点八六二四	33.98	零点九四七八
DIV2K型	ELAN灯^［41］	590	34.61	零点九二八八	30.55	零点八四六三	29.21	零点八零八一	28.69	零点八六二四	34	零点九四七八
DIV2K型	GDTSR-T公司	611	34.62	零点九二八九	30.58	零点八四六三	29.23	零点八零八六	28.71	零点八六二九	34.35	零点九四八八
DIV2K型	EDSR基线^［4］	1 555	34.37	零点九二七零	30.28	零点八四一七	29.09	零点八零五二	28.15	零点八五二七	33.45	零点九四三九
DIV2K型	CARN（汽车）^［42］	1 592	34.29	零点九二五五	30.29	零点八四零七	29.06	零点八零三四	28.06	零点八四九三	33.43	零点九四二七
DIV2K型	SMSR公司^［46］	993	34.40	零点九二七零	30.33	零点八四一二	29.10	零点八零五零	28.25	零点八五三六	33.68	零点九四四五
DIV2K型	HGSRCNN（美国有线电视新闻网）^［44］	2 363	34.35	零点九二六零	33.32	零点八四一三	29.09	零点八零四二	28.29	零点八五四六	—	—
DIV2K型	游泳池-NG^［28］	1 190	34.64	零点九二九三	30.58	零点八四七一	29.24	零点八零九零	28.75	零点八六三九	34.22	零点九四八八
DIV2K型	GDTSR公司	1 014	34.78	零点九三零零	30.67	零点八四七七	29.29	零点八一零二	29.07	零点八六九一	34.58	零点九五零四
DF2K（DF2K）	EDT-T公司^［24］	919	34.73	零点九二九九	30.66	零点八四八一	29.29	零点八一零三	28.89	零点八六七四	34.44	零点九四九八
DF2K（DF2K）	GDTSR公司	1 014	34.83	零点九三零四	30.72	零点八四八七	29.33	零点八一零九	29.22	零点八七一七	34.80	零点九五一三

（美国）	模型	参数量/10^三	设置5		设置14		B100元		城市10		曼加109
（美国）	模型	参数量/10^三	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	SSIM公司	峰值信噪比/分贝	最短持续时间	峰值信噪比/分贝	SSIM公司
DIV2K型	IMDN（综合管理数据网）^［38］	715	32.21	零点八九四八	28.58	零点七八一一	27.56	零点七三五三	26.04/	零点七八三八	30.45	零点九零七五
DIV2K型	拉帕尔^［39］	659	32.15	零点八九四四	28.61	零点七八一八	27.61	零点七三六六	26.14	零点七八七一	30.42	零点九零七四
DIV2K型	LatticeNet公司^［40］	777	32.30	零点八九六二	28.68	零点七八三零	27.62	零点七三六七	26.25	零点七八七三	—	—
DIV2K型	ESRT公司^［27］	751	32.19	零点八九四七	28.69	零点七八三三	27.69	零点七三七九	36.39	零点七九六二	30.75	零点九一零零
DIV2K型	SwinIR灯^［8］	897	32.44	零点八九七六	28.77	零点七八五八	27.69	零点七四零六	26.47	零点七九八零	30.92	零点九一五一
DIV2K型	ELAN灯^［41］	601	32.43	零点八九七五	28.78	零点七八五八	27.69	零点七四零六	26.54	零点七九八二	30.92	零点九一五零
DIV2K型	GDTSR-T型	627	32.40	零点八九七八	28.84	零点七八六九	27.72	零点七四一四	26.64	零点八零一二	31.21	零点九一六三
DIV2K型	EDSR基线^［4］	1 518	32.09	零点八九三八	28.58	零点七八一三	27.57	零点七三五七	26.04	零点七八四九	30.35	零点九零六七
DIV2K型	通行证^［42］	1 592	32.13	零点八九三七	28.60	零点七八零六	27.58	零点七三四九	26.07	零点七八三七	30.42	零点九零七零
DIV2K型	安全管理系统^［46］	1 006	32.12	零点八九三二	28.55	零点七八零八	27.55	零点七三五一	26.11	零点七八六八	30.54	零点九零八五
DIV2K型	HGSRCNN（美国有线电视新闻网）^［44]	2 321	32.13	零点八九四零	28.62	零点七八二零	27.60	零点七三六三	26.27	零点七九零八	—	—
DIV2K型	游泳池-NG^［28］	1 201	32.44	零点八九八零	28.83	零点七八七零	27.73	零点七四一八	26.61	零点八零一零	31.09	零点九一六一
DIV2K型	GDTSR公司	1 030	32.65	零点九零零一	28.91	零点七八八五	27.78	零点七四三五	26.89	零点八零八四	31.47	零点九一九一
DF2K（DF2K）	乙二胺四乙酸^［24］	922	32.53	零点八九九一	28.88	零点七八八二	27.76	零点七四三三	26.71	零点八零五一	31.35	零点九一八零
DF2K（DF2K）	GDTSR公司	1 030	32.71	零点九零零七	28.97	零点七八九八	27.82	零点七四四四	27.04	零点八一二零	31.64	零点九二零二

基于全局依赖变压器的图像超分辨率网络

基于全局依赖变换的图像超分辨率网络

RichHTML格式

PDF格式

可视化

摘要/摘要

引用本文

使用本文

图/表19

参考文献45

相关文章15

编辑推荐

度量标准

模型	推理时间/秒	GFLOP公司	峰值信噪比/分贝
SwinIR灯^［8］	118.25	49.6	26.47
EDT-T公司^［20］	128.48	54.9	26.71
GDTSR公司	110.75	71.9	26.89

窗口宽度	占用显存/MB（MB）	推理时间/秒	峰值信噪比/分贝
1	3 898	50.46	29.89
2	5 427	56.73	29.89
4	7 982	62.94	29.90
8	9 864	81.87	29.91

模型	是否采用TACUp样本	峰值信噪比/分贝
EDSR基线	否	29.61
EDSR基线	是	29.67（↑0.06）
SwinIR灯	否	29.80
SwinIR灯	是	29.83（↑0.03）

[1]	席治远, 唐超, 童安炀, 王文剑.基于双路时空网络的驾驶员行为识别[J] ●●●●。《一、，2024, 44(5): 1511-1519.
[2]	郭琳, 刘坤虎, 马晨阳, 来佑雪, 徐映芬.基于感受野扩展残差注意力网络的图像超分辨率重建[J] ●●●●。《一、，2024, 44(5): 1579-1587.
[3]	黄荣, 宋俊杰, 周树波, 刘浩.基于自监督视觉变压器的图像美学质量评价方法[J] ●●●●。《一、，2024, 44(4): 1269-1276.
[4]	吴宁, 罗杨洋, 许华杰.基于多尺度特征融合的遥感图像语义分割方法[J] ●●●●。《一、，2024, 44(3): 737-744.
[5]	蒋占军, 吴佰靖, 马龙, 廉敬.多尺度特征和极化自注意力的更快的RCNN[J] ●●●●。《一、，2024, 44(3): 938-944.
[6]	麒，鹏。实体类别增强的汽车领域嵌套命名实体识别[J] ●●●●。《一、，2024, 44(2): 377-384.
[7]	陈田, 蔡从虎, 袁晓辉, 罗蓓蓓.基于多尺度卷积和自注意力特征融合的多模态情感识别方法[J] ●●●●。《一、，2024, 44(2): 369-376.
[8]	罗歆然, 李天瑞, 贾真.基于自注意力机制与词汇增强的中文医学命名实体识别[J] ●●●●。《一、，2024, 44(2): 385-392.
[9]	崔晨辉, 蔺素珍, 李大威, 禄晓飞, 武杰.基于孪生网络和变压器的红外弱小目标跟踪方法[J] ●●●●。《一、，2024, 44(2): 563-571.
[10]	是的，是的。融合个体偏差信息的文本情感分析模型[J] ●●●●。《一、，2024, 44(1): 145-151.
[11]	史含笑, 王雷春.结合LSTM公司和自注意力机制的图卷积网络短期电力负荷预测[J] ●●●●。《一、，2024, 44(1): 311-317.
[12]	陈豪, 夏振平, 程成, 林李兴, 张博文.基于转换器-CNN的轻量级图像超分辨率重建网络[J] ●●●●。《一、，2024, 44(1): 292-299.
[13]	陈佳, 张鸿.基于特征增强和语义相关性匹配的图像文本检索方法[J] ●●●●。《一、，2024, 44(1): 16-23.
[14]	陈蒙蒙, 乔志伟.基于融合通道注意力的前CT[J] ●●●●。《一、，2023, 43(9): 2948-2954.
[15]	袁国龙, 张玉金, 刘洋.基于残差反馈和自注意力的图像篡改取证网络[J] ●●●●。《一、，2023, 43(9): 2925-2931.

AWTRL公司	峰值信噪比/分贝
方形窗口	29.72
轴向窗口	29.89

AWTRL公司	峰值信噪比/分贝
方形窗口	29.72
轴向窗口	29.89

模型	峰值信噪比/分贝	中国/10^三
GDTSR_0	29.85	1 024
GDTSR_1	29.66	1 027
GDTSR公司	29.89	1 030

模型	峰值信噪比/分贝	中国/10^三
GDTSR_0	29.85	1 024
GDTSR_1	29.66	1 027
GDTSR公司	29.89	1 030