计算机应用》唯一官方网站››2024,第44卷››问题(5): 1579-1587.内政部:10.11772/j.issn.1001-9081.2023050689

多媒体计算与计算机仿真 • 上一篇   

基于感受野扩展残差注意力网络的图像超分辨率重建

郭琳1,2,,刘坤虎1(),马晨阳1,来佑雪1,徐映芬1  

  1. 1湖北大学 人工智能学院, 武汉 430062
    2智能感知系统与安全教育部重点实验室, 武汉 430062
    三。智慧政务与人工智能应用湖北省工程研究中心, 武汉 430062
  • 收稿日期:2023-06-01 修回日期:2023-09-01 接受日期:2023-09-12 发布日期:2023-09-14 出版日期:2024-05-10
  • 通讯作者:刘坤虎
  • 作者简介:郭琳(1978—),女,湖北随州人,副教授,博士,主要研究方向:信号处理、机器视觉、深度学习
    马晨阳(1998—),男,河南驻马店人,硕士研究生,主要研究方向:深度学习
    来佑雪(2000—),女,山东济宁人,硕士研究生,主要研究方向:图像处理
    徐映芬(2003—),女,安徽安庆人,主要研究方向:计算机视觉。
    第一联系人:刘坤虎(1998—),男,湖北荆州人,硕士研究生,主要研究方向:图像超分辨率重建
  • 基金资助:
    国家自然科学基金资助项目(62273135)

基于剩余注意网络和感受野扩展的图像超分辨率重建

林国1,2,,刘昆虎1(),马萨诸塞州晨阳1,莱友雪1,XU颖芬1  

  1. 1湖北大学人工智能学院,湖北武汉430062
    2教育部智能感知系统与安全重点实验室,湖北武汉430062
    三。湖北省智能政务与人工智能应用工程研究中心,湖北武汉430062
  • 收到:2023-06-01 修订过的:2023-09-01 认可的:2023-09-12 在线:2023-09-14 出版:2024-05-10
  • 联系人:刘坤虎
  • 关于作者:郭琳,1978年生,博士,副教授。她的研究兴趣包括信号处理、机器视觉、深度学习。
    马晨阳,1998年出生,硕士研究生。他的研究兴趣包括深度学习。
    赖有学,2000年出生,硕士研究生。她的研究兴趣包括图像处理。
    徐英芬,2003年出生。她的研究兴趣包括计算机视觉。
  • 支持单位:
    国家自然科学基金(62273135)

摘要:

针对现有残差网络存在残差特征利用不充分、细节丢失的问题,提出一种结合两层残差聚合结构和感受野扩展双注意力机制的深度神经网络模型,用于单幅图像超分辨率(SISR)重建。该模型通过跳跃连接形成两层嵌套的残差聚合网络结构,对网络各层提取的大量残差信息进行分层聚集和融合,能减少包含图像细节的残差信息的丢失。同时,设计一种多尺度感受野扩展模块,能捕获更大范围、不同尺度的上下文相关信息,促进深层残差特征的有效提取;并引入空间-通道双注意力机制,增强残差网络的判别性学习能力,提高重建图像质量。在数据集Set5、Set14、BSD100和Urban100上进行重建实验,并从客观指标和主观视觉效果上将所提模型与主流模型进行比较。客观评价结果表明,所提模型在全部4个测试数据集上均优于对比模型,其中,相较于经典的超分辨率卷积神经网络(SRCNN)模型和性能次优的对比模型迭代超分辨网络倍时的平均峰值信噪比(峰值信噪比)分别为1.91、1.71、1.61 dB和0.06、0.04、0.04 dB视觉效果对比显示,所提模型恢复的图像细节纹理更清晰。

关键词: 图像超分辨率, 残差网络, 感受野, 深度学习, 注意力

摘要:

为了解决现有残差网络中残差特征利用不足和细节丢失的问题,提出了一种将残差聚集和双注意机制两层结构与感受野扩展相结合的深度神经网络模型,用于单图像超分辨率(SISR)重建。在该模型中,通过跳跃连接构造了一个两层嵌套的残差聚集网络结构,对网络各层提取的残差信息进行分层聚集和融合,从而减少了包含图像细节的残差数据的丢失。同时,设计了多尺度感受野扩展模块,在不同尺度上捕获更大范围的上下文相关信息,有效提取深度残差特征并引入了空间通道双注意机制,增强了残差网络的判别学习能力,从而提高了重建图像的质量。对基准数据集Set5、Set14、B100和Urban100进行定量和定性评估,以与主流方法进行比较。客观评价结果表明,该方法在所有四个数据集上都优于比较方法与经典的SRCNN(使用卷积神经网络的超分辨率)模型和性能次优的比较模型ISRN(迭代超分辨率网络)相比,该模型提高了峰值信噪比(PSNR)的平均值在2、3和4倍的放大倍数下,分别减少1.91、1.71、1.61 dB和0.06、0.04、0.04 dB。视觉效果表明,该模型重建了更清晰的图像细节和纹理。

关键词: 图像超分辨率, 剩余网络, 感受野, 深度学习, 注意

中图分类号: