基于渐进式多尺度Transformer的图像去雾算法

doi:10.11896/jsjkx.230300049

摘要

摘要：为了同时恢复图像细节并保持去噪图像中的全局信息，提出了一种多尺度渐进变换器（MSP-transformer）用于图像去噪。MSP-Transformer可以有效地从不同尺度提取与阴影相关的特征，并逐步恢复清晰的图像，实现特征和图像的多尺度学习和融合。该MSP-Transformer分为编码阶段、解码阶段和恢复阶段。在编码阶段，使用基于Transformer块的编码器将输入图像分解为不同的尺度。从不同尺度提取的雾度相关特征可以充分表征雾度图像的信息损失。在解码阶段，考虑到雾度图像的不同区域具有不同的信息损失，本文在解码器中设计了一个包含多尺度注意力机制的特征聚合模块。多尺度注意包括通道注意和多尺度空间注意，可以融合不同尺度的特征信息。恢复阶段包括恢复块和融合块，首先，多尺度特征融合恢复块从不同尺度上聚合haze相关特征，以增加这些特征之间的关联，然后使用聚合的特征在每个尺度上恢复无haze图像。此外，通过融合块对每个尺度的恢复图像进行融合，得到最终的脱氮结果。对真实数据集和合成数据集的定性和定量实验表明，该MSP变压器具有良好的去噪性能。与11种最新方法相比，MSP-Transformer在RESIDE数据集上获得了最佳的PSNR（39.53db）和SSIM（0.9954），并取得了良好的视觉效果。此外，烧蚀实验也证明了该方法的有效性。

关键词： 图像去叠，多尺度，变压器，注意机制，特征融合

CLC编号：

TP391型

周瑜、陈志华、盛斌、梁磊。用于图像去噪的多尺度累进变换器[J]。计算机科学，2024，51（5）：117-124。

工具书类

[1] 何金明，孙杰，唐霞。利用暗通道先验去除单幅图像雾霾[J]。IEEE模式分析和机器智能汇刊，2011,33（12）：2341-2353。
[2] 朱清生，梅俊明，邵立.一种基于颜色衰减先验的快速单幅图像去雾算法[J]。IEEE图像处理汇刊，2015,24（11）：3522-3533。
[3] BERMAN D，TREIBITZ T，AVIDAN S.2020.使用Haze-Lines进行单图像去噪[J]。IEEE模式分析和机器智能汇刊，2020,42（3）：720-734。
[4] 张建林，史德勇，贾斌。基于暗通道先验理论的绝缘子图像消雾算法[J]。重庆工业大学学报（自然科学版），2022,36（7）：208-215。
[5] 秦昕，王振林，白玉川，等.FFA-Net:单图像去噪的特征融合注意网络[C]//美国人工智能学会人工智能会议论文集.2020,34:11908-11915。
[6] 张建林，史大勇，贾斌.基于暗通道先验理论的绝缘子图像消雾算法[J]。重庆工业大学学报（自然科学版），2022,36（7）：208-215。
[7] 刘晓H，马永荣，史志浩，等.GridDehazeNet:基于注意的多尺度图像去噪网络[C]//IEEE/CVF国际计算机视觉会议进程.2019:7313-7322。
[8] VASWANI A，SHAZEER N，PARMER N等。注意力就是你所需要的[C]//神经信息处理系统。2017:5998-6008。
[9] ZAMIR S W，ARORA A，KHAN S，et al.Restormer:高效高分辨率图像恢复变压器[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2022:5718-5729。
[10] 王志德，CUN X D，BAO J M，等.Uformer:一种用于图像恢复的通用U形变换器[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2022:17662-17672。
[11] 宋毅，何志强，钱赫，等.2022.单图像去噪视觉变换器[J].arXiv:2204.038832022。
[12] 刘智，林毅，曹毅，等。Swin transformer:使用移位窗口的层次视觉变换器[C]//IEEE/CVF国际计算机视觉会议论文集。2021:10012-10022。
[13] CAI B L，XU X M，JIA K，等.Dehazenet：一种端到端的单幅图像去雾系统[J]。IEEE图像处理汇刊，2016,25（11）：5187-5198。
[14] REN W Q，LIU S，ZHANG H，et al.通过多尺度卷积神经网络进行单图像去雾[C]//欧洲计算机视觉会议论文集。施普林格，2016:154-169。
[15] WU H Y，QU Y Y，LIN S H，等.压缩单图像去噪的对比学习[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2021:10551-10560。
[16] 于赫，郑南斯，周敏，等.图像去噪的频率和空间双重制导[C]//欧洲计算机视觉会议论文集。施普林格，2022:181-198。
[17] 肖永杰，李丽蓉，任伟强，等.图像去噪的域适配[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2020:2805-2814。
[18] 李碧莹，郭义斌，顾世辉，等.你只看自己：无监督、无训练的单图像去噪神经网络[J]。国际计算机视觉杂志，2021129（5）：1754-1767。
[19] 陈海涛，王彦宏，郭天勇，等.预训练图像处理变压器[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2021:12299-12310。
[20] 梁建业，曹建中，孙国良，等.SwinIR：基于Swin变换的图像恢复[C]//IEEE/CVF国际计算机视觉会议论文集.2021:1833-1844。
[21]李X，金X，余T，等.学习实数图像超分辨率的全频区域自适应表示[C]//AAAI人工智能会议论文集.2021:1975-1983。
[22]李旭，王文海，胡晓林，等.选择性核网络[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2019:510-519。
[23]王X T，KELVIN C K C，YU K，等.EDVR:增强可变形卷积网络视频恢复[C]//IEEE/CVF计算机视觉与模式识别研讨会论文集.2019:1954-1963。
[24]刘毅，潘俊生，任杰，等.图像去噪的深度先验学习[C]//IEEE/CVF计算机视觉国际会议论文集.2019:2492-2500。
[25]DONG H，PAN J S，XIANG L，等.具有密集特征融合的多尺度增强去噪网络[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2020:2154-2164。
[26]洪M，谢毅，李春华，等.利用异构任务模拟提取图像去噪[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2020:3459-3468。
[27]陈志毅，王毅中，杨毅，等.PSD:物理先验指导下的原则合成-真实去噪[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2021:7180-7189。
[28]张R，ISOLA P，EFROS A A，等.深度特征作为感知度量的不合理有效性[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2018:586-595。
[29]MITTAL A，SOUNDARARAJAN R，BOVIK A C.制作“完全盲”图像质量分析仪[J]。IEEE信号处理快报，2013,20（3）：209-212。
[30]李碧莹，任伟强，傅德平，等.单图像去噪与超越的标杆管理[J]。IEEE图像处理学报，2010,28（1）：492-505。
[31]尹伟，张继明，王欧，等.学习从单个图像恢复三维场景形状[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2021:204-213。

相关文章15

[1]	张建良、李阳、朱青山、薛红玲、马俊伟、张丽霞、毕生。基于双域稀疏变压器的变电站设备故障报警算法[J] ●●●●。计算机科学，2024，51（5）：62-69。
[2]	何世阳、王朝辉、龚盛荣、钟山。基于交叉模式信息过滤的可视问答网络[J] ●●●●。计算机科学，2024，51（5）：85-91。
[3]	尚新新、李凯、温颖。融合全尺度特征融合和RNN的医学图像分割网络[J] ●●●●。计算机科学，2024，51（5）：100-107。
[4]	王平，于振煌，卢磊。基于变压器低维压缩编码的部分近重复视频检测算法[J] ●●●●。计算机科学，2024，51（5）：108-116。
[5]	白雪飞、沈武成、王文健。基于特征注意净化的显著目标检测[J] ●●●●。计算机科学，2024，51（5）：125-133。
[6]	吴晓琴、周文军、邹成林、王一凡、彭波。基于多尺度视觉感知特征融合的显著目标检测方法[J] ●●●●。计算机科学，2024，51（5）：143-150。
[7]	兰永奇，何兴兴，李英芳，李天瑞。一种新的用于前提选择的图约简表示和图神经网络模型[J] ●●●●。计算机科学，2024，51（5）：193-199。
[8]	洪体静、刘登峰、刘毅。基于多尺度全卷积神经网络和GRU的雷达有源干扰识别[J] ●●●●。计算机科学，2024，51（5）：306-312。
[9]	奚莹，吴雪萌，崔晓辉。基于变压器的节点影响排序模型[J] ●●●●。计算机科学，2024，51（4）：106-116。
[10]	王瑞平、吴世宏、张美航、王小平。基于视觉的神经网络三维动态手势识别方法综述[J] ●●●●。计算机科学，2024，51（4）：193-208。
[11]	薛金强、吴琴。卷积神经网络和小波变换相结合的渐进多级图像去噪算法多层感知器[J] ●●●●。计算机科学，2024，51（4）：243-253。
[12]	张明道、周欣、吴晓红、青林波、何晓海。基于语义扩展和HDGCN的统一伪新闻检测[J] ●●●●。计算机科学，2024，51（4）：299-306。
[13]	王自红、邵英霞、何继元、刘金宝。基于多空间属性信息融合的序贯推荐[J] ●●●●。计算机科学，2024，51（3）：102-108。
[14]	郝冉、王红军、李天瑞。基于双分支序列混合注意的输电线路缺陷检测深度神经网络模型[J] ●●●●。计算机科学，2024，51（3）：135-140。
[15]	张扬，夏莹。基于多尺度特征融合的遥感图像目标检测方法[J] ●●●●。计算机科学，2024，51（3）：165-173。

韵律学

已查看

全文

摘要

引用

共享

讨论

用于图像去叠的多尺度累进变换器

PDF（PC）

摘要

引用这篇文章

分享这篇文章

工具书类

相关文章15

韵律学

评论

推荐0