研究论文

开放式访问

基于参考的超分辨率的密集对比学习和深度动态聚合

作者:舒香锂,柳韩洋行东,志德锂、和雪峰江作者信息和声明

CVIPPR’24：2024年第二届亚洲计算机视觉、图像处理和模式识别会议记录

2024年4月

文章编号：18，页数1-5

https://doi.org/10.1145/3663976.3663997

出版:2024年6月27日出版历史

所有格式 PDF格式

摘要

基于参考的超分辨率（RefSR）因其利用外部先验信息的能力而吸引了越来越多的兴趣。RefSR涉及基于相应的像素或面片关系将纹理细节从参考（Ref）图像迁移到低分辨率（LR）图像。因此，高质量的匹配和特征提取至关重要。然而，最新的RefSR方法主要侧重于高级网络体系结构以提高性能，通常忽略了特征匹配和提取的潜力。本文介绍了用于基于参考的超分辨率的密集对比学习和深度动态聚合网络，即DDSR，它由密集对比学习（DCL）网络和深度动态聚集（DDA）模块组成。为了进一步提高特征匹配的准确性，我们提出了一种新的DCL网络，该网络以密集对比的方式优化特征空间分布，从而实现更精确的特征匹配。此外，我们设计了一个DDA模块，从Ref图像中提取特征，利用多深度的可变特征来全面提取特征信息。实验结果表明，DDSR在定量和定性测量方面都优于最先进的方法。

工具书类

[1]

曹洁璋、梁静云、张凯、李亚伟、张玉伦、王文冠和卢克凡古。2022.使用可变形注意变压器的基于参考的图像超分辨率。

[2]

Chao Dong、Chen Change Loy、Kaiming He和Xiaou Tang。2015.使用深度卷积网络的图像超分辨率。IEEE模式分析和机器智能汇刊（2015年6月），295–307。https://doi.org/10.1109/t帕米.2015.2439281

数字图书馆

[3]

何开明（Kaiming He）、范浩琪（Haoqi Fan）、吴玉欣（Yuxin Wu）、谢赛宁（Saining Xie）和罗斯·吉希克（Ross Girshick）。2020年，无监督视觉表征学习的动力对比。2020年IEEE/CVF计算机视觉和模式识别会议（CVPR）。https://doi.org/10.109/cvpr42600.2020.00975

[4]

Jia-Bin Huang、Abhishek Singh和Narendra Ahuja。2015.改造后的自拍相机的单图像超分辨率。在IEEE计算机视觉和模式识别会议记录中。5197–5206.

[5]

米查尔·伊拉尼（Michal Irani）和什穆埃尔·佩莱（Shmuel Peleg）。2004年，通过图像配准提高分辨率。CVGIP：图形模型和图像处理（2004年9月），231–239。https://doi.org/10.1016/1049-9652（91）90045-l

数字图书馆

[6]

蒋玉明，KelvinC。K.Chan、Xintao Wang、ChenChange Loy和Ziwei Liu。2021.通过C2-匹配实现基于参考的稳健超分辨率。

[7]

J.Kim和J.K。Lee和K.M。李。2016.图像超分辨率的深度加密卷积网络。IEEE（2016）。

[8]

Christian Ledig、Lucas Theis、Ferenc Huszar、Jose Caballero、Andrew Cunningham、Alejandro Acosta、Andrew-Aitken、Alykhan Tejani、Johannes Totz、Zehan Wang和Wenzhe Shi。2017.使用生成对抗网络的真实照片单图像超分辨率。2017年IEEE计算机视觉和模式识别会议（CVPR）。https://doi.org/10.109/cvpr.2017.19

[9]

Wonkyung Lee、Junghyup Lee、DoHyung Kim和Bumsub Ham。2020年，利用特权信息进行学习，实现高效图像超分辨率。

[10]

梁静云、曹洁璋、孙国磊、张凯、吕克·范古尔和拉杜·蒂莫夫特。2021.SwinIR：使用Swin Transformer恢复图像。2021年IEEE/CVF国际计算机视觉研讨会（ICCVW）。https://doi.org/10.109/iccvw54120.2021.00210

[11]

BeeOh Lim、Sanghyun Son、Heewon Kim、Seungjun Nah和KyongMu Lee。2017.增强的单图像超分辨率深度残余网络。

[12]

陆丽英、李文波、陶鑫、陆江波和贾佳雅。2021.MASA-SR：基于参考的图像超分辨率的匹配加速和空间自适应。2021年IEEE/CVF计算机视觉和模式识别会议（CVPR）。https://doi.org/10.109/cvpr46437.2021.00630

[13]

松井优助、伊藤高塔、荒木由纪夫、藤本固木、小川彻、山崎俊彦和爱泽清原。2017.使用manga109数据集进行基于草图的漫画检索。多媒体工具和应用76（2017），21811–21838。

[14]

MehdiS公司。M.Sajjadi、Bernhard Schölkopf和Michael Hirsch。2016.EnhanceNet:通过自动纹理合成实现单图像超分辨率。

[15]

Gyumin Shim、Jinsun Park和In So Kweon。2020年。基于参考的稳健超分辨率，具有相似感知的可变形卷积。2020年IEEE/CVF计算机视觉和模式识别会议（CVPR）。https://doi.org/10.109/cvpr42600.2020.00845

[16]

凯伦·西蒙扬和安德鲁·齐瑟曼。2015.用于大规模图像识别的极深卷积网络。

[17]

李宾·孙和詹姆斯·海斯。2012.互联网场景匹配的超分辨率。2012年IEEE国际计算摄影会议（ICCP）。IEEE，1-12。

[18]

王新涛、柯瑜、吴世祥、顾金进、刘一浩、赵东、于乔和陈昌乐。2019.ESRGAN：增强的超分辨率生成对抗网络。63–79. https://doi.org/10.1007/978-3-030-11021-5_5

数字图书馆

[19]

谢延春、肖继敏、孙明杰、姚超和黄凯珠。2020年。特征表示至关重要：基于参考的图像超分辨率的端到端学习。230–245. https://doi.org/10.1007/978-3-030-58548-8_14

数字图书馆

[20]

杨福之、杨欢、傅建龙、卢洪涛和郭白宁。2020年，学习图像超分辨率纹理变换网络。

[21]

张文龙、刘一浩、赵东和于乔。2020年，RankSRGAN：图像超分辨率排名的生成性对抗网络。2019年IEEE/CVF国际计算机视觉会议（ICCV）。https://doi.org/10.109/iccv.2019.00319

[22]

张玉伦、李昆鹏、李凯、王立晨、钟彬能和傅云。2018年，使用深度剩余渠道注意力网络的图像超分辨率。294–310. https://doi.org/10.1007/978-3-030-01234-2_18

数字图书馆

[23]

张志飞、王兆文、林哲、齐海蓉。2020年，通过神经纹理传输实现图像超分辨率。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR）。https://doi.org/10.109/cvpr.2019.00817

[24]

郑海天、季梦琪、韩磊、徐紫薇、王浩谦、刘叶斌、陆芳。2019.学习基于参考的超分辨率的跨尺度对应和基于补丁的合成。2017年英国机器视觉会议进程。https://doi.org/10.5244/c.31.138

[25]

郑海天、季梦琪、王浩谦、刘叶斌、陆芳。2018.CrossNet:一种使用跨尺度Warping的端到端基于参考的超分辨率网络。

[26]

朱西洲、胡涵、林志浩和戴继峰。2018.可变形ConvNets v2：更多可变形，更好的结果。

索引术语

基于参考的超分辨率的密集对比学习和深度动态聚合
1. 计算方法
  1. 人工智能
    1. 计算机视觉
      1. 计算机视觉问题
        重建
      2. 计算机视觉表示
        图像表示法

建议

基于参考的图像超分辨率的双层搜索和自适应池融合
基于参考的图像超分辨率（RefSR）旨在通过引入HR参考图像，从低分辨率（LR）图像中重建高分辨率（HR）图像。RefSR的关键步骤是将参考特征转换为LR特征。然而，现有。。。
阅读更多信息
插值下采样半密集深度图的超分辨率
Web3D’18：第23届国际ACM 3D Web技术会议记录

针对快速粗糙深度近似的特定任务，我们研究了深度图重建，该任务具有从低成本深度传感器或SLAM算法获得的稀疏深度样本。我们提出了一个插值下采样半稠密深度值的模型，然后。。。
阅读更多信息
基于联合示例的深度贴图超分辨率
ICME'12:2012 IEEE多媒体与博览会国际会议记录

近年来，飞行时间（ToF）相机的快速发展使得能够捕捉运动物体的高帧频3D深度图。然而，ToF所捕获的深度图的分辨率相当有限，因此不能直接用于构建。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM其他会议

CVIPPR’24：2024年第二届亚洲计算机视觉、图像处理和模式识别会议记录

2024年4月

373页

十亿英镑：9798400716607

内政部：10.1145/3663976

版权所有©2024所有者/作者。

本作品根据Creative Commons Attribution International 4.0许可证授权。

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2024年6月27日

检查更新

作者标记

限定符

研究文章
研究
推荐有限公司

资金来源

广东省教育厅重点研发计划

会议

CVIPPR 2024年

CVIPPR 2024:2024第二届亚洲计算机视觉、图像处理和模式识别会议

2024年4月26日至28日

中国厦门

接受率

总体接受率38份提交文件中的14份，37%

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

0
引文总数
0
总下载次数

下载次数（过去12个月）0
下载次数（最近6周）0

其他指标

查看作者指标

引文

视图选项

视图选项

PDF格式

以PDF文件的形式查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

HTML格式格式

在中查看本文HTML格式格式。

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子