研究论文

基于深度卷积网络的图像超分辨

作者:

Chen Change（陈更改）洛伊,

开明他、和

小欧唐作者信息和声明

IEEE模式分析和机器智能汇刊,体积38,问题2

页295-307

https://doi.org/10.1109/TPAMI.2015.2439281

出版:2016年2月1日出版历史

摘要

我们提出了一种单图像超分辨率（SR）的深度学习方法。我们的方法直接学习低/高分辨率图像之间的端到端映射。该映射表示为深度卷积神经网络（CNN），以低分辨率图像为输入，输出高分辨率图像。我们进一步表明，传统的基于稀疏编码的SR方法也可以被视为深度卷积网络。但与单独处理每个组件的传统方法不同，我们的方法联合优化了所有层。我们的deep CNN具有轻量级结构，同时还展示了最先进的恢复质量，并实现了实际在线使用的快速速度。我们探索不同的网络结构和参数设置，以在性能和速度之间取得平衡。此外，我们扩展了网络以同时处理三个彩色通道，并显示出更好的整体重建质量。

工具书类

[1]

M.Aharon、M.Elad和A.Bruckstein，“K-SVD：为稀疏表示设计过完备字典的算法”IEEE传输。信号处理。2006年11月，第54卷，第11期，第4311–4322页。

数字图书馆

[2]

M.Bevilacqua、A.Roumy、C.Guillemot和M.L.A.Morel，《基于非负邻域嵌入的低复杂度单幅图像超分辨率》程序。英国。机器。视觉。Conf.公司。2012年，第1-10页。

[3]

H.C.Burger、C.J.Schuler和S.Harmeling，“图像去噪：普通神经网络能与BM3D竞争吗？”程序。IEEE配置计算。视觉。模式记录。2012年，第2392–2399页。

[4]

H.Chang、D.Y.Yeung和Y.Xiong，“通过邻居嵌入的超分辨率”，在IEEE配置计算。视觉。图案编号。，华盛顿特区，美国。

[5]

崔振中、张海昌、珊珊、钟彬和陈晓霞，《图像超分辨率的深层网络级联》，in程序。Eur.Conf.计算。视觉。2014年，第49-64页。

[6]

D.Dai、R.Timofte和L.Van Gool，“联合优化图像超分辨率回归因子”欧洲制图学会，第7卷，第8页，2015年。

[7]

S.Dai、M.Han、W.Xu、Y.Wu、Y.Gong和A.K.Katsaggelos，“软切割：彩色图像超分辨率之前的软边平滑，”IEEE传输。图像处理。，第18卷，第11期，第969–981页，2009年5月。

[8]

N.Damera-Venkata、T.D.Kite、W.S.Geisler、B.L.Evans和A.C.Bovik，“基于退化模型的图像质量评估”IEEE传输。图像处理。2000年4月，第9卷，第11期，第636–650页。

数字图书馆

[9]

J.Deng、W.Dong、R.Socher、L.J.Li、K.Li和L.Fei Fei，“ImageNet:一个大型层次图像数据库”程序。IEEE配置计算。视觉。模式记录。2009年，第248-255页。

[10]

E.Denton、W.Zaremba、J.Bruna、Y.LeCun和R.Fergus，《利用卷积网络中的线性结构进行有效评估》程序。高级神经信息处理。系统。2014年，第1269–1277页。

[11]

C.Dong、C.C.Loy、K.He和X.Tang，“学习用于图像超分辨率的深度卷积网络”，in程序。Eur.Conf.计算。视觉。2014年，第184–199页。

[12]

D.Eigen、D.Krishnan和R.Fergus，“恢复从布满灰尘或雨水的窗户拍摄的图像”程序。IEEE国际协调计算。视觉。2013年，第633–640页。

[13]

G.Freedman和R.Fattal，“从本地自选样本中升级图像和视频”ACM事务处理。图表。，第30卷，第11期，第12页，2011年。

[14]

W.T.Freeman、T.R.Jones和E.C.Pasztor，“基于示例的超分辨率”计算。图表。申请。2002年，第22卷，第11期，第56–65页。

数字图书馆

[15]

W.T.Freeman、E.C.Pasztor和O.T.Carmichael，“学习低水平视觉”国际期刊计算。视觉。2000年，第40卷，第11期，第25-47页。

数字图书馆

[16]

D.Glassner、S.Bagon和M.Irani，《单个图像的超分辨率》，in程序。IEEE国际协调计算。视觉。2009年，第349-356页。

[17]

K.He和J.Sun，“受限时间成本下的卷积神经网络”，in程序。IEEE配置计算。视觉。模式记录。2015年，第3791–3799页。

[18]

K.He、X.Zhang、S.Ren和J.Sun，“视觉识别深层卷积网络中的空间金字塔池”程序。Eur.Conf.计算。视觉。2014年，第346–361页。

[19]

J.B.Huang、A.Singh和N.Ahuja，“来自变换自样本的单图像超分辨率”程序。IEEE配置计算。视觉。图案编号。2015年，第5197–5206页。

[20]

M.Irani和S.Peleg，“通过图像配准提高分辨率”图表。模型图像处理。1991年，第53卷，第11期，第231–239页。

数字图书馆

[21]

V.Jain和S.Seung，“利用卷积网络进行自然图像去噪”，in程序。高级神经信息处理。系统。2008年，第769-776页。

[22]

K.Jia、X.Wang和X.Tang，“基于跨图像空间学习词典的图像转换”IEEE传输。模式分析。机器。智力。，第35卷，第11期，第367–380页，2013年2月。

[23]

Y.Jia、E.Shelhamer、J.Donahue、S.Karayev、J.Long、R.Girshick、S.Guadarrama和T.Darrell，《咖啡馆：快速特征嵌入的卷积架构》程序。ACM国际会议多媒体，2014年，第675–678页。

[24]

K.I.Kim和Y.Kwon，“使用稀疏回归和自然图像先验的单图像超分辨率，”IEEE传输。模式分析。机器。智力。，第32卷，第6期，第1127–1133页，2010年6月。

[25]

A.Krizhevsky、I.Sutskever和G.Hinton，“使用深度卷积神经网络进行ImageNet分类”，in程序。高级神经信息处理。系统。2012年，第1097-1105页。

[26]

Y.LeCun、B.Boser、J.S.Denker、D.Henderson、R.E.Howard、W.Hubbard和L.D.Jackel，“反向传播应用于手写邮政编码识别，”神经计算。1989年，第1卷，第4期，第541-551页。

数字图书馆

[27]

Y.LeCun、L.Bottou、Y.Bengio和P.Haffner，“基于梯度的学习应用于文档识别”程序。电气与电子工程师协会1998年11月，第86卷，第11期，第2278–2324页。

[28]

H.Lee、A.Battle、R.Raina和A.Y.Ng，《高效稀疏编码算法》，in程序。高级神经信息处理。系统。2006年，第801-808页。

[29]

C.Liu、H.Y.Shum和W.T.Freeman，“面部幻觉：理论与实践”国际期刊计算。视觉。2007年，第75卷，第11期，第115–134页。

数字图书馆

[30]

F.Mamalet和C.Garcia，“简化convNets以实现快速学习”程序。国际Conf.Artif。神经网络。2012年，第58–65页。

[31]

D.Martin、C.Fowlkes、D.Tal和J.Malik，“人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用”程序。IEEE国际协调计算。视觉。2001年，第2卷，第416–423页。

[32]

V.Nair和G.E.Hinton，“整流线性单元改善受限的Boltzmann机器”程序。国际会议马赫数。学习。2010年，第807–814页。

[33]

W.Ouyang，X.Wang，X.Zeng，S.Qiu，P.Luo，Y.Tian，H.Li，S.Yang，Z.Wang程序。IEEE配置计算。视觉。模式识别。2015年，第2403-2412页。

[34]

W.Ouyang和X.Wang，《行人检测联合深度学习》程序。IEEE国际协调计算。视觉。，2013年，第2056–2063页。

[35]

C.J.Schuler、H.C.Burger、S.Harmeling和B.Scholkopf，“非盲图像去卷积的机器学习方法”程序。IEEE配置计算。视觉。模式记录。2013年，第1067–1074页。

[36]

S.Schulter、C.Leistner和H.Bischof，“利用超分辨率森林快速准确地进行图像放大”程序。IEEE配置计算。视觉。模式记录。2015年，第3791–3799页。

[37]

H.R.Sheikh、A.C.Bovik和G.De Veciana，“使用自然场景统计进行图像质量评估的信息保真度标准”IEEE传输。图像处理。第14卷，第11期，第2117–2128页，2005年12月。

数字图书馆

[38]

孙毅、陈毅、王旭和唐旭，“通过联合身份验证深入学习面部表征”程序。高级神经信息处理。系统。2014年，第1988-1996页。

[39]

R.Timofte、V.De Smet和L.Van Gool，“基于示例的快速超分辨率锚定邻域回归”，in程序。IEEE国际会议计算。视觉。2013年，第1920–1927页。

[40]

R.Timofte、V.De Smet和L.Van Gool，“A+：快速超分辨率的调整锚定邻域回归”，in程序。IEEE亚洲会议计算。视觉。2014年，第111–126页。

[41]

Z.Wang、A.C.Bovik、H.R.Sheikh和E.P.Simoncelli，“图像质量评估：从错误可见性到结构相似性”IEEE传输。图像处理。，第13卷，第11期，第600–612页，2004年4月。

数字图书馆

[42]

Z.Wang、E.P.Simoncelli和A.C.Bovik，“图像质量评估的多尺度结构相似性”，in程序。IEEE Conf.Rec.37th Asilomar Conf.Signals，系统。计算。2003年，第2卷，第1398–1402页。

[43]

C.Y.Yang、J.B.Huang和M.H.Yang，“利用单帧超分辨率的自相似性”，in程序。IEEE亚洲会议计算。视觉。2010年，第497–510页。

[44]

C.Y.Yang、C.Ma和M.H.Yang，“单图像超分辨率：基准”，in程序。Eur.Conf.计算。视觉。2014年，第372-386页。

[45]

J.Yang、Z.Lin和S.Cohen，“基于就地示例回归的快速图像超分辨率”，in程序。IEEE配置计算。视觉。模式记录。2013年，第1059–1066页。

[46]

J.Yang、Z.Wang、Z.Lin、S.Cohen和T.Huang，“图像超分辨率的耦合词典训练”IEEE传输。图像处理。，第21卷，第11期，第3467–3478页，2012年8月。

数字图书馆

[47]

J.Yang、J.Wright、T.Huang和Y.Ma，“图像超分辨率作为原始图像补丁的稀疏表示”，in程序。IEEE配置计算。视觉。模式记录。2008年，第1-8页。

[48]

J.Yang、J.Wright、T.S.Huang和Y.Ma，“通过稀疏表示实现图像超分辨率”IEEE传输。图像处理。，第19卷，第11期，第2861–2873页，2010年11月。

数字图书馆

[49]

R.Zeyde、M.Elad和M.Protter，《关于使用稀疏表示进行单图像放大》，in程序。第7国际配置曲线表面，2012年，第711-730页。

数字图书馆

[50]

N.Zhang、J.Donahue、R.Girshick和T.Darrell，“用于细粒度类别检测的基于部分的R-CNN”，in程序。Eur.Conf.计算。视觉。2014年，第834-849页。

引用人

谭J周伟林·LJumahong H公司(2024)基于不同范式的语义医学图像分割综述国际语义网与信息系统杂志10.4018/IJSWIS.34524620:1(1-25)在线发布日期：2024年5月7日
https://dl.acm.org/doi/10.4018/IJSWIS.345246
张Y林X杨H何J青LHe X公司李毅陈H(2024)轻量级单图像超分辨率的多关注特征提取神经网络国际智能系统杂志10.1155/2024/32552332024在线发布日期：2024年1月1日
https://dl.acm.org/doi/10.1155/2024/3255233
陈雷吴X吴毅(2024)基于SE-SRCNN的低场磁共振图像重建技术及其应用2024年第二届亚洲计算机视觉、图像处理和模式识别会议记录10.1145/3663976.3664007(1-6)在线发布日期：2024年4月26日
https://dl.acm.org/doi/10.1145/3663976.3664007
显示更多引用者

索引术语

基于深度卷积网络的图像超分辨
1. 计算方法

索引项已通过自动分类分配给内容。

建议

基于深度卷积神经网络的显微图像超分辨率
摘要
最近，深度卷积神经网络（CNNs）在单图像超分辨率（SISR）方面取得了优异的结果。由于深度细胞神经网络的优势，与最先进的基于学习的模型相比，它给出了有希望的结果。。。
阅读更多信息
小波域超分辨率卷积神经网络

提出了一种比以往重建精度更高的超分辨率方法。将超分辨率视为稀疏小波细节系数的估计问题。使用卷积神经网络（CNN）估计稀疏小波系数。。。
阅读更多信息
基于深度扩展卷积网络的图像超分辨率
2017 IEEE国际图像处理会议（ICIP）
深度学习技术已成功应用于单图像超分辨率（SR）。最近，研究表明，增加网络深度可以显著提高SR性能。SR的非常深入的网络实现了巨大的。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片IEEE模式分析和机器智能汇刊

IEEE模式分析和机器智能汇刊第38卷第2期

2016年2月

208页

国际标准编号：0162-8828

版权所有©2015。

出版商

IEEE计算机学会

美国

出版历史

出版：2016年2月1日

限定符

研究文章

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

1,323
引文总数
查看引文
0
总下载次数

下载次数（过去12个月）0
下载次数（最近6周）0

其他指标

查看作者指标

引文

引用人

谭J周伟林·LJumahong H公司(2024)基于不同范式的语义医学图像分割综述国际语义网与信息系统杂志10.4018/IJSWIS.34524620:1(1-25)在线发布日期：2024年5月7日
https://dl.acm.org/doi/10.4018/IJSWIS.345246
张Y林X杨H何J青LHe X公司李毅陈H(2024)轻量级单图像超分辨率的多关注特征提取神经网络国际智能系统杂志10.1155/2024/32552332024在线发布日期：2024年1月1日
https://dl.acm.org/doi/10.1155/2024/35255333
陈雷吴X吴毅(2024)基于SE-SRCNN的低场磁共振图像重建技术及其应用2024年第二届亚洲计算机视觉、图像处理和模式识别会议记录10.1145/3663976.3664007(1-6)在线发布日期：2024年4月26日
https://dl.acm.org/doi/10.1145/3663976.3664007
李斯（Li S）东Y李Z江X(2024)基于参考的超分辨率的密集对比学习和深度动态聚合2024年第二届亚洲计算机视觉、图像处理和模式识别会议记录10.1145/3663976.3663997(1-5)在线发布日期：2024年4月26日
https://dl.acm.org/doi/10.1145/3663976.3663997
冀Z邹B奎X李毅刘杰赵伟朱C戴Y(2024)MRI超分辨率重建引导多级网络计算机视觉和深度学习国际会议记录10.1145/3653781.3653787(1-5)在线发布日期：2024年1月19日
https://dl.acm.org/doi/10.1145/36537781.3653787
刘浩钱Y梁毅张B刘ZHe T公司赵伟卢J于B(2024)边缘FPGA实时超分辨的高性能加速器ACM电子系统设计自动化汇刊10.1145/365285529:3(1-25)在线发布日期：2024年3月16日
https://dl.acm.org/doi/10.1145/3652855
杨YKe L公司古林CKongkachandra R公司肖夫曼K当仁元D罗塞托L佐藤S周L(2024)在现实世界图像超分辨率中利用退化先验进行个性化联合学习2024年国际多媒体检索会议记录10.1145/3652583.3658060(146-154)在线发布日期：2024年5月30日
https://dl.acm.org/doi/10.1145/3652583.3658060
吴Z刘伟黄D古林CKongkachandra R公司肖夫曼K当仁元D罗塞托L佐藤S周L(2024)当手工制作的过滤器遇到美国有线电视新闻网：高效图像超分辨率的轻量级Conv-Filter混合器网络2024年国际多媒体检索会议记录10.1145/3652583.3658003(722-730)在线发布日期：2024年5月30日
https://dl.acm.org/doi/10.1145/3652583.3658003
刘C张D秦K古林CKongkachandra R公司肖夫曼K当仁元D罗塞托L佐藤S周L(2024)基于对比学习的单图像超分辨率知识提取2024年国际多媒体检索大会论文集10.1145/3652583.3657606(1079-1083)在线发布日期：2024年5月30日
https://dl.acm.org/doi/10.1145/3652583.3657606
Yi P公司王Z罗L蒋KHe Z公司蒋J卢·T马J(2024)具有显隐对齐的全知视频超分辨率ACM多媒体计算、通信和应用汇刊10.1145/364034620:5(1-23)在线发布日期：2024年1月11日
https://dl.acm.org/doi/10.1145/3640346
显示更多引用者

视图选项

查看选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子

查看问题目录