陈云梅;刘洪成;叶晓静;张庆超 非光滑非凸图像重建的可学习下降算法。 （英语） Zbl 1474.90353号 SIAM J.成像科学。 14，第4期，1532-1564（2021）。 摘要：我们提出了一个基于学习的通用框架来解决非光滑和非凸图像重建问题。我们将正则化函数建模为（l{2,1}）范数和参数化为深度卷积神经网络的光滑但非凸特征映射的组合。我们利用Nesterov的平滑技术和残差学习的思想，开发了一种下降型算法来解决非光滑非凸最小化问题，并学习网络参数，使算法的输出与训练数据中的参考相匹配。我们的方法是通用的，因为可以将各种现代网络结构应用到正则化中，并且得到的网络继承了算法的收敛特性。我们还表明，所提出的网络是参数有效的，在实际的各种图像重建问题中，其性能优于最先进的方法。 引用于三文件 MSC公司： 90C26型 非凸规划，全局优化 65千5 数值数学规划方法 65K10码 数值优化和变分技术 68平方英寸10 图像处理的计算方法 关键词：图像重建;非凸非光滑优化;可学习优化算法;深度学习 软件：阿里斯塔;TVAL3型;网络电话;iPiano公司;亚当;DnCNN公司;ISTA-Net公司;TensorFlow公司 PDF格式BibTeX公司 XML格式引用 \textit{Y.Chen}等人，SIAM J.成像科学。14，第4号，1532-1564（2021；Zbl 1474.90353） 全文： 内政部 arXiv公司 参考文献： [1] M.Abadi、P.Barham、J.Chen、Z.Chen等人，《Tensorflow:大规模机器学习系统》，载于《第十二届USENIX操作系统设计与实现研讨会论文集》（OSDI’16），佐治亚州萨凡纳，2016年，第265-283页。 [2] J.Adler和O.Oéktem，《学习的原对偶重建》，IEEE Trans。《医学成像》，37（2018），第1322-1332页。 [3] P.Arbelaez、M.Maire、C.Fowlkes和J.Malik，轮廓检测和分层图像分割，IEEE Trans。模式分析。机器。英特尔。，33（2010年），第898-916页。 [4] H.Attouch、J.Bolt、P.Redont和A.Soubeyran，非凸问题的交替最小化和投影方法，预印本，https://arxiv.org/abs/0801.1780v1, 2008. ·Zbl 1154.65044号 [5] H.Attouch、J.Bolt、P.Redont和A.Soubeyran，非凸问题的近似交替最小化和投影方法：基于Kurdyka-Łojasiewicz不等式的方法，数学。操作。研究，35（2010），第438-457页·Zbl 1214.65036号 [6] H.Attouch、J.Bolt和B.F.Svaiter，半代数和驯服问题下降方法的收敛性：近似算法、前向背向分裂和正则高斯-赛德尔方法，数学。程序。，137（2013），第91-129页·Zbl 1260.49048号 [7] S.W.e.Bennett Landman，2013年Diencephalon Free Challenge，2013年，https://doi.org/10.7303/syn3270353。 [8] M.A.Bernstein、S.B.Fain和S.J.Riederer，MRI数据的窗口化和零填充重建对空间分辨率和采集策略的影响，J.Magn。Reson公司。《成像》，14（2001），第270-280页。 [9] W.Bian和X.Chen，非凸正则化约束优化问题的最优性和复杂性，数学。操作。第42号决议（2017年），第1063-1084页·Zbl 1386.90167号 [10] M.Borgerding、P.Schniter和S.Rangan，AMP激励的稀疏线性反问题深层网络，IEEE Trans。信号处理。，65（2017年），第4293-4308页·Zbl 1414.94083号 [11] R.I.Boţ、E.R.Csetnek和S.C.Laíszloí，两个非凸函数之和最小化的惯性前向后退算法，EURO J.Compute。最佳。，4（2016），第3-25页·Zbl 1338.90311号 [12] K.Bredies、K.Kunisch和T.Pock，总广义变异，SIAM J.成像科学。，3（2010），第492-526页，https://doi.org/10.1137/090769521。 ·兹比尔1195.49025 [13] A.Buades、B.Coll和J.-M.Morel，《图像去噪的非局部算法》，载于《2005年CVPR学报》第2卷，IEEE，华盛顿特区，2005年，第60-65页·Zbl 1108.94004号 [14] A.Buades、B.Coll和J.M.Morel，《图像去噪方法》。新的非局部原理，SIAM Rev.，52（2010），第113-147页，https://doi.org/10.1137/090773908。 ·Zbl 1182.62184号 [15] J.R.Chang、C.Li、B.Poíczos和B.V.K.V.Kumar，《使用深度投影模型解决全解线性逆问题的一个网络》，载《IEEE计算机视觉国际会议论文集》，2017年（意大利威尼斯），IEEE，华盛顿特区，2017年，第5889-5898页，https://doi.org/10.109/ICCV.2017.627。 [16] X.Chen，非光滑非凸极小化的平滑方法，数学。程序。，134（2012），第71-99页·Zbl 1266.90145号 [17] X.Chen，J.Liu，Z.Wang和W.Yin，未展开ISTA的理论线性收敛及其实际权重和阈值，摘自《神经信息处理系统进展》第31期：2018年神经信息处理体系年会（加拿大蒙特利尔），S.Bengio，H.M.Wallach，H.Larochelle，K.Grauman，N.Cesa Bianchi和R。Garnett，eds.，NeurIPS，加州圣地亚哥，2018，第9079-9089页，https://proceedings.neurips.cc/paper/2018/hash/cf8c9be2a4508a24ae92c9d3d379131d-Abstract.html。 [18] F.H.Clarke，优化和非光滑分析，经典应用。数学。5，SIAM，费城，1990年，https://doi.org/10.1137/1.9781611971309。 ·Zbl 0696.49002号 [19] J.X.Cruz Neto、P.R.Oliveira、A.Soubeyran和J.C.O.Souza，DC函数的广义近似线性化算法及其在企业问题最优规模中的应用，Ann.Oper。研究，289（2020），第313-339页·Zbl 1496.90065号 [20] G.de Carvalho Bento、S.D.B.Bitar、J.X.da Cruz Neto、A.Soubeyran和J.C.de Oliveira Souza，多目标优化中凸函数差分的近点方法及其在群体动力学问题中的应用，计算。最佳方案。申请。，75（2020年），第263-290页·Zbl 1433.90148号 [21] K.Q.Dinh、H.J.Shim和B.Jeon，《使用结构测量网络矩阵进行压缩成像的测量编码》，《2013年IEEE图像处理国际会议论文集》，IEEE，华盛顿特区，2013年，第10-13页。 [22] T.P.Dinh和H.A.Le Thi，DC编程和DCA的最新进展，收录于《计算智能学报》第十三期，纽约斯普林格出版社，2014年，第1-37页。 [23] C.Dong、C.C.Loy、K.He和X.Tang，学习用于图像超分辨率的深度卷积网络，《计算机视觉ECCV 2014》，施普林格，查姆，2014，第184-199页。 [24] D.Drusvyatskiy和A.S.Lewis，误差界，二次增长和近似方法的线性收敛，数学。操作。决议，43（2018），第919-948页·Zbl 1440.90046号 [25] 杜浩，刘永明，最小方差去噪，信号图像视频处理。，12（2018年），第1027-1034页。 [26] V.Dumoulin和F.Visin，深度学习卷积算法指南，预印本，https://arxiv.org/abs/1603.07285, 2016. [27] A.Effland、E.Kobler、K.Kunisch和T.Pock，《变分网络：图像恢复早期停止变分方法的最优控制方法》，J.Math。《成像视觉》，62（2020），第396-416页·Zbl 1434.68626号 [28] J.E.Fowler、S.Mun和E.W.Tramel，基于块的图像和视频压缩传感，Found。趋势信号处理。，4（2012），第297-416页·Zbl 1250.94013号 [29] P.Frankel、G.Garrigos和J.Peypouquet，Kurdyka-Łojasiewicz函数的变度量分裂方法和一般收敛速度，J.Optim。理论应用。，165（2015），第874-900页·Zbl 1316.49039号 [30] M.Fukushima和H.Mine，某些非凸最小化问题的广义近点算法，国际。系统科学杂志。，12（1981年），第989-1000页·Zbl 0467.65028号 [31] L.Gan，自然图像的块压缩感知，摘自第15届IEEE数字信号处理国际会议论文集，IEEE，华盛顿特区，2007年，第403-406页。 [32] D.Gilton、G.Ongie和R.Willett，《成像逆问题的基于补丁的学习正则化》，载于第八届IEEE多传感器自适应处理（CAMSAP）计算进展国际研讨会论文集，IEEE，华盛顿特区，2019年，第211-215页。 [33] P.Gong，C.Zhang，Z.Lu，J.Huang，and J.Ye，非凸正则优化问题的通用迭代收缩和阈值算法，《第三十届机器学习国际会议论文集》，2013年（佐治亚州亚特兰大），JMLR研讨会论文集。28，JMLR.org，2013年，第37-45页，http://proceedings.mlr.press/v28/gong13a.html。 [34] S.Gratton、E.Simon和P.Toint，使用不精确计算及其最坏情况复杂性最小化非光滑非凸函数的算法，数学。程序。，187（2021），第1-24页·Zbl 1465.90071号 [35] K.Gregor和Y.LeCun，学习稀疏编码的快速近似，第27届国际机器学习会议论文集，ICML-10（以色列海法），J.Fuörnkranz和T.Joachims编辑，Omnipress，2010年，第399-406页，https://icml.cc/Conferences/2010/papers/449.pdf。 [36] K.Hammernik、T.Klatzer、E.Kobler、M.P.Recht、D.K.Sodickson、T.Pock和F.Knoll，学习用于重建加速MRI数据的变分网络，Magn。Reson公司。《医学》，79（2018），第3055-3071页。 [37] K.He、X.Zhang、S.Ren和J.Sun，图像识别的深度剩余学习，摘自2016年IEEE计算机视觉和模式识别会议记录，2016年CVPR（内华达州拉斯维加斯），IEEE，华盛顿特区，2016年，第770-778页，https://doi.org/10.109/CVPR.2016.90。 [38] K.He、X.Zhang、S.Ren和J.Sun，深度剩余网络中的身份映射，《欧洲计算机视觉会议》，纽约斯普林格，2016年，第630-645页。 [39] K.Hornik、M.Stinchcombe和H.White，多层前馈网络是通用逼近器，《神经网络》，2（1989），第359-366页·兹比尔1383.92015 [40] D.P.Kingma和J.Ba，Adam:《随机优化方法》，载于《第三届学习表征国际会议论文集》，ICLR 2015（加利福尼亚州圣地亚哥），Y.Bengio和Y.LeCun编辑，《会议记录》，2015；预印本，https://arxiv.org/abs/1412.6980。 [41] E.Kobler、A.Effland、K.Kunisch和T.Pock，线性反问题的总深度变化，《2020年IEEE/CVF计算机视觉和模式识别会议论文集》，CVPR 2020（西雅图，华盛顿），IEEE，华盛顿特区，2020年，第7546-7555页，https://doi.org/10.109/CVPR42600.2020.00757。 [42] K.Kulkarni、S.Lohit、P.K.Turaga、R.Kerviche和A.Ashok，《重新连接：基于压缩感知测量的图像非迭代重建》，载《2016年IEEE计算机视觉和模式识别会议论文集》，2016年（内华达州拉斯维加斯），IEEE，华盛顿特区，2016年，第449-458页，https://doi.org/10.109/CVPR.2016.55。 [43] C.Lemareíchal和C.Sagastizaíbal，Moreau-Yosida正则化的实际方面：理论预备，SIAM J.Optim。，7（1997），第367-385页，https://doi.org/10.1137/S10526223494267127。 ·Zbl 0876.49019号 [44] A.S.Lewis和S.J.Wright，复合物最小化的近似方法，数学。程序。，158（2016），第501-546页·Zbl 1345.49041号 [45] C.Li，W.Yin，H.Jiang，and Y.Zhang，一种有效的增广拉格朗日方法及其在总变差最小化中的应用，计算。最佳方案。申请。，56（2013），第507-530页·Zbl 1287.90066号 [46] H.Li和Z.Lin，非凸规划的加速近端梯度法，《神经信息处理系统的进展》，第28期：2015年神经信息处理体系年度会议（加拿大蒙特利尔），C.Cortes、N.D.Lawrence、D.D.Lee、M.Sugiyama和R.Garnett编辑，NeurIPS，加州圣地亚哥，2015年，第379-387页，https://proceedings.neurips.cc/paper/2015/hash/f7664060cc52bc6f3d620bcedc94a4b6-Abstract.html。 [47] H.Li、J.Schwab、S.Antholzer和M.Haltmeier，NETT：用深度神经网络解决逆问题，逆问题，36（2020），065005·Zbl 1456.65038号 [48] J.Liu、X.Chen、Z.Wang和W.Yin，ALISTA：在2019年ICLR第七届国际学习代表大会（洛杉矶新奥尔良）OpenReview.net上，分析权重与LISTA中的学习权重一样好，https://openreview.net/forum？id=B1lnzn0ctQ。 [49] 卢总、浦总、王总、胡总、王立群，《神经网络的表达能力：从宽度看神经信息处理系统的进展30：2017年神经信息处理体系年会》（加州长滩），I.Guyon、U.von Luxburg、S.Bengio、H.M.Wallach、R.Fergus、S.V.N.Vishwanathan和R.Garnett，编辑，NeurIPS，加利福尼亚州圣地亚哥，2017年，第6231-6239页，https://proceedings.neurips.cc/paper/2017/hash/32cbf687880eb1674a07bf717761dd3a-Abstract.html。 [50] T.Meinhardt、M.Moöller、C.Hazirbas和D.Cremers，《学习近端算子：使用去噪网络正则化逆成像问题》，摘自《IEEE计算机视觉国际会议论文集》，2017年（意大利威尼斯），IEEE，华盛顿特区，2017年，第1799-1808页，https://doi.org/10.109/ICCV.2017.198。 [51] C.A.Metzler、A.Maleki和R.G.Baraniuk，《从去噪到压缩传感》，IEEE Trans。通知。《理论》，62（2016），第5117-5144页·Zbl 1359.94137号 [52] R.Mifflin，L.Qi和D.Sun，分段凸函数的Moreau-Yosida正则化的性质，数学。程序。，84（1999），第269-281页·Zbl 0971.90082号 [53] J.-J.Moreau，Proximite®et dualite®dans un espace hilbertien，公牛。社会数学。法国，93（1965），第273-299页·Zbl 0136.12101号 [54] Y.Nesterov，非光滑函数的平滑最小化，数学。程序。，103（2005），第127-152页·Zbl 1079.90102号 [55] Y.Nesterov，最小化复合函数的梯度方法，数学。程序。，140（2013），第125-161页·兹比尔1287.90067 [56] Y.E.Nesterov，一种求解具有收敛速度的凸规划问题的方法\（O（1/k^2）\），Dokl。阿卡德。Nauk SSSR，269（1983），第543-547页（俄语），https://ci.nii.ac.jp/naid/10029946121/en/。 [57] P.Ochs，Y.Chen，T.Brox，and T.Pock，iPiano：非凸优化的惯性近似算法，SIAM J.Imaging Sci。，7（2014），第1388-1419页，https://doi.org/10.1137/10942954。 ·兹比尔1296.90094 [58] P.Ochs、A.Dosovitskiy、T.Brox和T.Pock，《计算机视觉中非光滑非凸优化的迭代重加权算法》，SIAM J.Imaging Sci。，8（2015），第331-372页，https://doi.org/10.1137/140971518。 ·Zbl 1326.65078号 [59] P.Ochs、J.Fadili和T.Brox，非光滑非凸Bregman最小化：统一和新算法，J.Optim。理论应用。，181（2019），第244-278页·Zbl 1416.49015号 [60] R.T.Rockafellar和R.J.-B.Wets，变分分析，格兰德伦数学。威斯。317，柏林施普林格，1998年·兹比尔0888.49001 [61] L.I.Rudin、S.Osher和E.Fatemi，基于非线性总变差的噪声去除算法，物理。D、 60（1992年），第259-268页·Zbl 0780.49028号 [62] W.Shi、F.Jiang、S.Liu和D.Zhao，用于图像压缩传感的可伸缩卷积神经网络，摘自《IEEE/CVF计算机视觉和模式识别会议论文集》，CVPR 2019（加州长滩），计算机视觉基金会/IEEE，华盛顿特区，2019年，第12290-12299页，https://doi.org/10.109/CVPR.2019.01257。 [63] W.Shi、F.Jiang、S.Zhang和D.Zhao，压缩图像传感的深层网络，《2017年IEEE多媒体与博览会（ICME）国际会议论文集》，IEEE，华盛顿特区，2017年，第877-882页。 [64] J.C.O.Souza、P.R.Oliveira和A.Soubeyran，凸函数差分近似线性化算法的全局收敛性，Optim。莱特。，10（2016），第1529-1539页·Zbl 1355.90073号 [65] P.Sprechmann、A.M.Bronstein和G.Sapiro，《学习高效稀疏和低秩模型》，IEEE Trans。模式分析。机器。英特尔。，37（2015），第1821-1833页。 [66] 孙毅、陈振杰、刘庆清、刘斌和郭国强，压缩感知图像重建的双路径注意网络，IEEE Trans。图像处理。，29（2020年），第9482-9495页·Zbl 07586562号 [67] P.D.Tao等人，DC（凸函数的差异）编程和DCA与现实世界非凸优化问题的DC模型重访，Ann.Oper。Res.，133（2005），第23-46页·Zbl 1116.90122号 [68] S.Wang、S.Fidler和R.Urtasun，《近端深层结构模型》，摘自《神经信息处理系统的进展29：2016年神经信息处理体系年度会议》（西班牙巴塞罗那），D.D.Lee、M.Sugiyama、U.von Luxburg、I.Guyon和R.Garnett编辑，NeurIPS，加州圣地亚哥，2016年，第865-873页，https://proceedings.neurips.cc/paper/2016/hash/f4be00279ee2e0a53eafdaa94a151e2c-Abstract.html。 [69] Z.Wang、A.C.Bovik、H.R.Sheikh和E.P.Simoncelli，《图像质量评估：从错误可见性到结构相似性》，IEEE Trans。图像处理。，13（2004年），第600-612页。 [70] B.Wen、X.Chen和T.K.Pong，带外推的近似凸差分算法，计算。最佳方案。申请。，69（2018），第297-324页·Zbl 1401.90175号 [71] S.Xie、R.B.Girshick、P.DollaíR、Z.Tu和K.He，深度神经网络的聚合残差变换，摘自2017年IEEE计算机视觉和模式识别会议论文集，2017年CVPR（夏威夷州火奴鲁鲁），IEEE，华盛顿特区，2017年，第5987-5995页，https://doi.org/10.1109/CVR.2017.634。 [72] X.Xie，J.Wu，G.Liu，Z.Zhong，Z.Lin，可微线性化ADMM，第36届机器学习国际会议论文集，2019年（加州长滩），K.Chaudhuri和R.Salakhutdinov编辑，Proc。机器。学习。第97号决议，PMLR，2019年，第6902-6911页，http://proceedings.mlr.press/v97/xie19c.html。 [73] B.Xin、Y.Wang、W.Gao、D.P.Wipf和B.Wang，深网络的最大稀疏性？，《神经信息处理系统的进展29：2016年神经信息处理体系年度会议》（西班牙巴塞罗那），D.D.Lee、M.Sugiyama、U.von Luxburg、I.Guyon和R.Garnett编辑，NeurIPS，加利福尼亚州圣地亚哥，2016年，第4340-4348页，https://proceedings.neurips.cc/paper/2016/hash/0d73a25092e5c1c9769a9f3255caa65a-Abstract.html。 [74] Y.Yang、J.Sun、H.Li和Z.Xu，《用于压缩传感MRI的Deep ADMM-Net》，摘自《神经信息处理系统的进展》第29期：2016年神经信息处理体系年度会议（西班牙巴塞罗那），D.D.Lee、M.Sugiyama、U.von Luxburg、I.Guyon和R.Garnett，eds.，NeurIPS，加州圣地亚哥，2016年，第10-18页，https://proceedings.neurips.cc/paper/2016/hash/1679091c5a880faf6fb5e6087eb1b2dc-Abstract.html。 [75] H.Yao，F.Dai，S.Zhang，Y.Zhang，Q.Tian和C.Xu，\（DR^2 \）-Net:用于图像压缩传感的深度残差重建网络，神经计算机。，359（2019），第483-493页。 [76] D.Yarotsky，深度ReLU网络近似的误差边界，神经网络，94（2017），第103-114页·Zbl 1429.68260号 [77] K.Yosida，《功能分析》，施普林格出版社，柏林，1964年·Zbl 0126.11504号 [78] S.Zagoruyko和N.Komodakis，《Wide residual networks》，《2016年英国机器视觉会议论文集》，BMVC 2016（英国约克），R.C.Wilson、E.R.Hancock和W.A.P.Smith编辑，BMVA出版社，伦敦，2016年，https://doi.org/10.5244/C.30.87。 [79] C.Zhang和X.Chen，平滑投影梯度法及其在随机线性互补问题中的应用，SIAM J.Optim。，20（2009），第627-649页，https://doi.org/10.1137/070702187。 ·Zbl 1204.65073号 [80] J.Zhang和B.Ghanem，ISTA-Net：基于迭代收缩阈值算法的图像压缩传感深度网络，预打印，https://arxiv.org/abs/1706.07929v1, 2017. [81] J.Zhang和B.Ghanem，《ISTA-Net：图像压缩传感的可解释优化激励深层网络》，载于《2018年IEEE计算机视觉和模式识别会议论文集》，2018年（犹他州盐湖城），IEEE，华盛顿特区，2018年，第1828-1837页，https://doi.org/10.109/CVPR.2018.00196。 [82] J.Zhang、C.Zhao和W.Gao，优化激励的紧凑型深层压缩传感，IEEE J.信号处理精选课题。，14（2020年），第765-774页。 [83] K.Zhang、W.Zuo、Y.Chen、D.Meng和L.Zhang，超越高斯去噪器：用于图像去噪的深度CNN剩余学习，IEEE Trans。图像处理。，26（2017），第3142-3155页·Zbl 1409.94754号 [84] K.Zhang、W.Zuo、S.Gu和L.Zhang，在图像恢复之前学习深度CNN去噪器，摘自2017年IEEE计算机视觉和模式识别会议记录，2017年CVPR（夏威夷州火奴鲁鲁），IEEE，华盛顿特区，2017年，第2808-2817页，https://doi.org/10.109/CVPR.2017.300。 [85] Z.Zhang，Y.Liu，J.Liu，F.Wen，C.Zhu，AMP-Net:基于去噪的压缩图像传感深度展开，IEEE Trans。图像处理。，30（2021），第1487-1500页，https://doi.org/10.1109/TIP.2020.3044472。 [86] W.Zhong和J.T.Kwok，非凸和复合正则化的近端平均梯度下降，载于《第二十届AAAI人工智能会议论文集》（加拿大魁北克市魁北克），C.E.Brodley和P.Stone编辑，AAAI出版社，加利福尼亚州帕洛阿尔托，2014年，第2206-2212页。 [87] S.Zhou、Y.He、Y.Liu、C.Li和J.Zhang，基于块的图像压缩传感的多通道深层网络，IEEE Trans。多媒体，23（2020），第2627-2640页，https://doi.org/10.109/TMM.2020.3014561。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。