计算机科学

计算机科学››2024,第51卷››问题（5）: 117-124.数字对象标识：10.11896/jsjkx.230300049

• 计算机图形学&多媒体 • 上一篇   下一篇

基于渐进式多尺度变压器的图像去雾算法

周宇1,陈志华1,盛斌2,梁磊1  

  1. 1华东理工大学信息科学与工程学院 上海 200237
    2上海交通大学计算机科学与技术系 上海 200240
  • 收稿日期:2023-03-06 修回日期:2023-06-28 出版日期:2024-05-15 发布日期:2024-05-08
  • 通讯作者:陈志华(czh@ecust.edu.cn)
  • 作者简介:(1178910860@qq.com)
  • 基金资助:
    国家自然科学基金(62272164);空间智能控制技术实验室开放基金（HTKJ2022KL502010）

用于图像去叠的多尺度累进变换器

周瑜1、陈志华1、盛斌2，梁磊1  

  1. 1华东理工大学信息科学与工程学院，上海，200237
    2上海交通大学计算机科学与技术系，中国上海200240
  • 收到：2023-03-06 修订过的：2023-06-28 在线：2024-05-15 出版：2024-05-08
  • 关于作者：周瑜，1994年生，博士，中共党员（编号D2304G）。她的主要研究兴趣包括计算机视觉和图像处理。
    陈志华，1969年生，博士、教授、博士生导师，中共党员（12441D）。他的主要研究兴趣包括计算机视觉、机器学习、目标检测和图像视频处理。
  • 支持单位：
    国家自然科学基金（62272164）和空间智能控制科学技术实验室（HTKJ2022KL502010）。

PDF（PC）

98

摘要：现有的去雾方法难以在复原图像细节的同时保持全局信息。为了解决此问题,文中提出了一种基于渐进式多尺度变压器（多尺度渐进式变压器，MSP-Transformer）的图像去雾算法。该模型能够有效提取和利用不同尺度的雾相关特征,实现了特征和图像的多尺度学习和融合,渐进式地从有雾图像中复原清晰图像。所提出的MSP变压器分为编码、解码和复原三个阶段。在编码阶段,利用基于变压器模块的编码器将输入图像分解为不同尺度的雾图像特征,以全面表征真实有雾图像的信息损失。在解码阶段,考虑到有雾图像的不同区域存在不同尺度的信息丢失,设计了一个包含多尺度注意力机制的特征聚合模块,利用通道注意力和多尺度空间注意力来融合不同尺度的特征信息。复原阶段包含了复原模块和融合模块,首先基于多尺度特征融合的复原模块聚合不同尺度的雾相关特征以增加不同尺度特征的联系,并在每个尺度复原出清晰的无雾图像,然后将每个尺度的复原图像送入融合模块以获得最终的去雾结果。定性和定量的实验结果表明,所提出的MSP变压器在真实图像和合成数据集上能够实现雾的有效去除,具有良好的鲁棒性。在公开的住宅11种去雾方法进行定量和定性比较,MSP变压器PSNR（39.53db）和SSIM（0.9954），并获得了良好的视觉效果。此外,消融实验也证明了MSP变压器中所提出的模块的有效性。

关键词: 图像去雾, 多尺度, 变压器， 注意力机制, 特征融合

摘要：为了同时恢复图像细节并保持去噪图像中的全局信息，提出了一种多尺度渐进变换器（MSP-transformer）用于图像去噪。MSP-Transformer可以有效地从不同尺度提取与阴影相关的特征，并逐步恢复清晰的图像，实现特征和图像的多尺度学习和融合。该MSP-Transformer分为编码阶段、解码阶段和恢复阶段。在编码阶段，使用基于Transformer块的编码器将输入图像分解为不同的尺度。从不同尺度提取的雾度相关特征可以充分表征雾度图像的信息损失。在解码阶段，考虑到雾霾图像的不同区域具有不同的信息损失，本文设计了一个在解码器中包含多尺度注意机制的特征聚合模块。多尺度注意力包含通道注意力和多尺度空间注意力，可以融合不同尺度的特征信息。恢复阶段包括恢复块和融合块，首先，多尺度特征融合恢复块聚合不同尺度的雾度相关特征，以增加这些特征之间的关联，然后使用聚合的特征来恢复每个尺度的无雾度图像。此外，通过融合块对每个尺度的恢复图像进行融合，得到最终的脱氮结果。对真实数据集和合成数据集的定性和定量实验表明，该MSP变压器具有良好的去噪性能。与11种最新方法相比，MSP-Transformer在RESIDE数据集上获得了最佳的PSNR（39.53db）和SSIM（0.9954），并取得了良好的视觉效果。此外，烧蚀实验也证明了该方法的有效性。

关键词： 图像去叠， 多尺度， 变压器， 注意机制， 特征融合

中图分类号: 

  • TP391型
[1] 何金明，孙杰，唐霞。利用暗通道先验去除单幅图像雾霾[J]。IEEE模式分析和机器智能汇刊，2011,33（12）：2341-2353。
[2] 朱清生，梅俊明，邵立.一种基于颜色衰减先验的快速单幅图像去雾算法[J]。IEEE图像处理汇刊，2015,24（11）：3522-3533。
[3] BERMAN D，TREIBITZ T，AVIDAN S.2020.使用Haze-Lines进行单图像去噪[J]。IEEE模式分析和机器智能汇刊，2020,42（3）：720-734。
[4] 张建林，史大勇，贾斌.基于暗通道先验理论的绝缘子图像消雾算法[J]。重庆工业大学学报（自然科学版），2022,36（7）：208-215。
[5] 秦昕，王振林，白玉川，等.FFA-Net:单图像去噪的特征融合注意网络[C]//美国人工智能学会人工智能会议论文集.2020,34:11908-11915。
[6] 张建林，史大勇，贾斌.基于暗通道先验理论的绝缘子图像消雾算法[J]。重庆工业大学学报（自然科学版），2022,36（7）：208-215。
[7] 刘晓H，马永荣，史志浩，等.GridDehazeNet:基于注意的多尺度图像去噪网络[C]//IEEE/CVF国际计算机视觉会议进程.2019:7313-7322。
[8] VASWANI A、SHAZEER N、PARMER N等。注意力是你所需要的全部[C]//神经信息处理系统。2017:5998-6008。
[9] ZAMIR S W，ARORA A，KHAN S，et al.Restormer:高效高分辨率图像恢复变压器[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2022:5718-5729。
[10] 王志德，CUN X D，BAO J M，等.Uformer:一种用于图像恢复的通用U形变换器[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2022:17662-17672。
[11] 宋毅，何志强，钱赫，等.2022.单图像去噪视觉变换器[J].arXiv:2204.038832022。
[12] 刘智，林毅，曹毅，等。Swin transformer:使用移位窗口的层次视觉变换器[C]//IEEE/CVF国际计算机视觉会议论文集。2021:10012-10022。
[13] CAI B L，XU X M，JIA K，等.Dehazenet：一种端到端的单幅图像去雾系统[J]。IEEE图像处理汇刊，2016,25（11）：5187-5198。
[14] 任伟强，刘斯，张华，等.基于多尺度卷积神经网络的单图像去噪[C]//欧洲计算机视觉会议论文集。斯普林格，2016:154-169。
[15] WU H Y，QU Y Y，LIN S H等。紧凑单图像去雾的对比学习[C]//IEEE/CFF计算机视觉和模式识别会议论文集。2021:10551-10560。
[16] YU H，ZHENG Ns，ZHOU M，et al.图像去雾的频率和空间双重制导[C]//欧洲计算机视觉会议论文集。施普林格，2022:181-198。
[17] 肖永杰，李丽蓉，任伟强，等.图像去噪的域适配[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2020:2805-2814。
[18] 李碧莹，郭义斌，顾世辉，等.你只看自己：无监督、无训练的单图像去噪神经网络[J]。国际计算机视觉杂志，2021129（5）：1754-1767。
[19] 陈海涛，王彦宏，郭天勇，等.预训练图像处理变压器[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2021:12299-12310。
[20] 梁建业，曹建中，孙国良，等.SwinIR：基于Swin变换的图像恢复[C]//IEEE/CVF国际计算机视觉会议论文集.2021:1833-1844。
[21]李X，金X，余T，等.学习实数图像超分辨率的全频区域自适应表示[C]//AAAI人工智能会议论文集.2021:1975-1983。
[22]李旭，王文海，胡晓林，等.选择性核网络[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2019:510-519。
[23]王X T，KELVIN C K C，YU K，等.EDVR:增强可变形卷积网络视频恢复[C]//IEEE/CVF计算机视觉与模式识别研讨会论文集.2019:1954-1963。
[24]刘毅，潘俊生，任杰，等.图像去噪的深度先验学习[C]//IEEE/CVF计算机视觉国际会议论文集.2019:2492-2500。
[25]DONG H，PAN J S，XIANG L，等.具有密集特征融合的多尺度增强去噪网络[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2020:2154-2164。
[26]HONG M，XIE Y，LI C H，et al.用异构任务模拟提取图像去雾[C]//IEEE/CFF计算机视觉和模式识别会议论文集。2020:3459-3468。
[27]陈志毅，王毅中，杨毅，等.PSD:物理先验指导下的原则合成-真实去噪[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2021:7180-7189。
[28]张R，ISOLA P，EFROS A A，等.深度特征作为感知度量的不合理有效性[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2018:586-595。
[29]MITTAL A，SOUNDARARAJAN R，BOVIK A C.制作“完全盲”图像质量分析仪[J]。IEEE信号处理快报，2013,20（3）：209-212。
[30]李碧莹，任伟强，傅德平，等.单图像去噪与超越的标杆管理[J]。IEEE图像处理学报，2010,28（1）：492-505。
[31]尹伟，张继明，王欧，等.学习从单个图像恢复三维场景形状[C]//IEEE/CVF计算机视觉与模式识别会议论文集.2021:204-213。
已查看
全文


摘要

引用
  共享   
  讨论   
找不到建议阅读的文章！
渝国际比较项目16013121？-4
地址：重庆市渝北区洪湖西路18号    邮编：401121  
电话：023-63500828（编辑部） 023-67039612（会议/专题） 023-67039623（财务/发票）
电子邮件：jsjkx12@163.com
本系统由北京玛格泰克科技发展有限公司设计开发