×

低分辨率对深度神经网络图像识别的影响:一项实验研究。 (英语) Zbl 1429.94016号

摘要:由于近年来取得的进展,基于深度神经网络的方法已经能够在各种计算机视觉问题中实现最先进的性能。在一些任务中,例如图像识别,基于神经的方法甚至能够超越人类的表现。然而,神经网络实现这些令人印象深刻的结果所依据的基准通常包含相当高质量的数据。另一方面,在实际应用中,我们经常会遇到低质量的图像,受到诸如低分辨率、存在噪声或小动态范围等因素的影响。目前尚不清楚深层神经网络对这些因素的存在有多大的弹性。本文通过实验评估了近年来低分辨率对几种著名神经结构分类精度的影响。此外,我们研究了在分类之前应用超分辨率来提高神经网络在低分辨率图像识别任务中性能的可能性。我们的实验结果表明,当代神经结构仍然受到低图像分辨率的显著影响。通过在分类之前应用超分辨率,只要图像的分辨率没有严重降低,我们就能在很大程度上缓解这个问题。然而,在极低分辨率图像的情况下,分类精度仍然受到很大影响。

MSC公司:

94A08型 信息与通信理论中的图像处理(压缩、重建等)
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Abadi,M.、Agarwal,A.、Barham,P.、Brevdo,E.、Chen,Z.、Citro,C.、Corrado,G.S.、Davis,A.、Dean,J.、Devin,M.,Ghemawat,S.、Goodfellow,I.、Harp,A.、Irving,G.、Isard,M.和Jia,Y.、Jozefowicz,R.、Kaiser,L.、Kudlur,M.版本,I.,Talwar,K.,Tucker,P.,Vanhoucke,V.,Vasudevan,V.、Viegas,F.、Vinyals,O.、Warden,P.、Wattenberg,M.、Wicke,M..、Yu,Y.和Zheng,X.(2016)。TensorFlow:异构分布式系统上的大规模机器学习,arXiv:1603.04467。;
[2] Bevilacqua,M.、Roumy,A.、Guillemot,C.和Alberi-Morel,M.L.(2012年)。基于非负邻域嵌入的低复杂度单幅图像超分辨率,英国机器视觉会议(BMVC),英国吉尔福德·Zbl 1374.94045号
[3] Chang,H.,Yeung,D.-Y.和Xiong,Y.(2004)。通过邻域嵌入实现超分辨率,2004年IEEE计算机学会计算机视觉和模式识别会议论文集,CVPR,华盛顿特区,美国,第1卷,第I-I页。;
[4] da Costa,G.B.P.、Contato,W.A.、Nazare,T.S.、Neto,J.E.和Ponti,M.(2016)。图像分类任务中不同类型噪声影响的实证研究,arXiv:1609.02781。;
[5] Dodge,S.和Karam,L.(2016)。《了解图像质量如何影响深层神经网络》,第八届多媒体体验质量国际会议(QoMEX),葡萄牙里斯本,第1-6页。;
[6] Dong,C.、Loy,C.C.、He,K.和Tang,X.(2014)。《学习图像超分辨率的深度卷积网络》,欧洲计算机视觉会议,瑞士苏黎世,第184-199页。;
[7] Dong,C.、Loy,C.C.和Tang,X.(2016)。加速超分辨率卷积神经网络,欧洲计算机视觉会议,荷兰阿姆斯特丹,第391-407页。;
[8] Dutta,A.、Veldhuis,R.N.和Spreeuwers,L.J.(2012年)。《图像质量对人脸识别性能的影响》,第33届世界知识理事会信息理论研讨会,荷兰博埃克洛,第141-148页。;
[9] Freeman,W.T.、Jones,T.R.和Pasztor,E.C.(2002年)。基于示例的超分辨率,IEEE计算机图形和应用22(2):56-65。;
[10] Goodfellow,I.、Bengio,Y.和Courville,A.(2016)。《深度学习》,麻省理工学院出版社,马萨诸塞州剑桥·Zbl 1373.68009号
[11] Goodfellow,I.、Pouget-Abadie,J.、Mirza,M.、Xu,B.、Warde-Farley,D.、Ozair,S.、Courville,A.和Bengio,Y.(2014)。生成性对抗网络,载于Z.Ghahramani等人(编辑),《神经信息处理系统的进展》,Curran Associates,Inc.,纽约州Red Hook,第2672-2680页。;
[12] He,K.,Zhang,X.,Ren,S.和Sun,J.(2016)。用于图像识别的深度残差学习,IEEE论文集;
[13] Huang,J.-B.、Singh,A.和Ahuja,N.(2015)。从变换的自拍相机获得的单图像超分辨率,IEEE计算机视觉和模式识别会议论文集,美国马萨诸塞州波士顿,第5197-5206页。;
[14] Johnson,J.、Karpathy,A.和Fei-Fei,L.(2016)。DenseCap:用于密集字幕的全卷积定位网络,IEEE计算机视觉和模式识别会议论文集,美国弗吉尼亚州拉斯维加斯,第4565-4574页。;
[15] Karahan,S.、Yildirum,M.K.、Kirtac,K.、Rende,F.S.、Butun,G.和Ekenel,香港(2016)。图像退化如何影响基于深度CNN的人脸识别,生物计量学特别兴趣小组(BIOSIG)国际会议,德国达姆施塔特,第1-5页。;
[16] Kim,J.、Kwon Lee,J.和Mu Lee,K.(2016)。使用深度卷积网络的精确图像超分辨率,IEEE计算机视觉和模式识别会议论文集,美国内华达州拉斯维加斯,第1646-1654页。;
[17] Kingma,D.和Ba,J.(2014)。亚当:随机优化方法,arXiv:1412.6980。;
[18] Koziarski,M.和Cyganek,B.(2017年)。存在噪声时利用深度神经网络进行图像识别——处理和利用畸变,综合计算机辅助工程24(4):337-349。;
[19] Krizhevsky,A.、Sutskever,I.和Hinton,G.E.(2012年)。ImageNet分类与深度卷积神经网络,神经信息处理系统,加州塔霍湖,美国,第1097-1105页。;
[20] Ledig,C.、Theis,L.、Huszár,F.、Caballero,J.、Cunningham,A.、Acosta,A.、Aitken,A.、Tejani,A.、Totz,J.,Wang,Z.和Shi,W.(2016)。使用生成对抗网络的真实感照片单图像超分辨率,arXiv:1609.04802。;
[21] Lim,B.、Son,S.、Kim,H.、Nah,S.和Lee,K.M.(2017年)。用于单图像超分辨率的增强深度残差网络,IEEE计算机视觉和模式识别会议(CVPR)研讨会,夏威夷州火奴鲁鲁,美国,第1卷,第3页。;
[22] Long,J.、Shelhamer,E.和Darrell,T.(2015)。用于语义分割的完全卷积网络,《IEEE计算机视觉和模式识别会议论文集》,马萨诸塞州波士顿,美国,第3431-3440页。;
[23] Mao,X.,Shen,C.和Yang,Y.-B.(2016)。使用具有对称跳跃连接的深度卷积编解码网络进行图像恢复,《神经信息处理系统》,西班牙巴塞罗那,第2802-2810页。;
[24] Martin,D.、Fowlkes,C.、Tal,D.和Malik,J.(2001)。人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用,第八届IEEE国际计算机视觉会议,ICCV 2001,加拿大温哥华,第2卷,第416-423页。;
[25] Peng,X.、Hoffman,J.、Stella,X.Y.和Saenko,K.(2016)。低分辨率图像分类的精细到粗知识转移,IEEE国际图像处理会议(ICIP),美国亚利桑那州凤凰城,第3683-3687页。;
[26] Ronneberger,O.、Fischer,P.和Brox,T.(2015)。U-net:生物医学图像分割的卷积网络,医学图像计算和计算机辅助干预国际会议,德国慕尼黑,第234-241页。;
[27] Russakovsky,O.,Deng,J.,Su,H.,Krause,J.、Satheesh,S.、Ma,S.,Huang,Z.、Karpathy,A.、Khosla,A.、Bernstein,M.、Berg,A.C.和Fei-Fei,L.(2015)。ImageNet大规模视觉识别挑战,国际计算机视觉杂志115(3):211-252。;
[28] Sanchez,A.、Moreno,A.B.、Velez,D.和V´elez,J.F.(2016)。分析对比度对自然图像大规模识别的影响,综合计算机辅助工程23(3):221-235。;
[29] Schmidhuber,J.(2015)。神经网络中的深度学习:概述,神经网络61(1):85-117。;
[30] Schulter,S.、Leistner,C.和Bischof,H.(2015)。使用超分辨率森林快速准确地进行图像放大,IEEE计算机视觉和模式识别会议论文集,美国马萨诸塞州波士顿,第3791-3799页。;
[31] Shi,W.、Caballero,J.、Huszár,F.、Totz,J.,Aitken,A.P.、Bishop,r.、Rueckert,D.和Wang,Z.(2016)。使用有效的亚像素卷积神经网络实现实时单图像和视频超分辨率,IEEE计算机视觉和模式识别会议论文集,美国内华达州拉斯维加斯,第1874-1883页。;
[32] Simonyan,K.和Zisserman,A.(2014)。用于大规模图像识别的极深卷积网络,arXiv:1409.1556。;
[33] 孙毅、王旭和唐旭(2013)。面部点检测的深度卷积网络级联,IEEE计算机视觉和模式识别会议论文集,俄勒冈州波特兰,美国,第3476-3483页。;
[34] Tai,Y.、Yang,J.和Liu,X.(2017)。通过深度递归残差网络实现图像超分辨率,2017年IEEE计算机视觉和模式识别会议(CVPR),美国夏威夷州火奴鲁鲁,第2790-2798页。;
[35] Timofte,R.、De Smet,V.和Van Gool,L.(2014)。A+:用于快速超分辨率的调整锚定邻域回归,亚洲计算机视觉会议,新加坡,新加坡,第111-126页。;
[36] Vasiljevic,I.、Chakrabarti,A.和Shakhnarovich,G.(2016)。研究模糊对卷积网络识别的影响,arXiv:1611.05760。;
[37] Yang,J.、Wright,J.,Huang,T.S.和Ma,Y.(2010)。通过稀疏表示实现图像超分辨率,IEEE图像处理汇刊19(11):2861-2873·Zbl 1371.94429号
[38] Zeyde,R.、Elad,M.和Protter,M.(2010年)。关于使用稀疏表示进行单幅图像放大,曲线和曲面国际会议,法国巴黎,第711-730页·Zbl 1314.94018号
[39] 邹文伟和袁,P.C.(2012)。极低分辨率人脸识别问题,IEEE图像处理汇刊21(1):327-340·Zbl 1372.94319号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。