塞巴斯蒂安·巴内特;里恩，阿克塞尔;乔纳斯·阿德勒;约翰·卡尔松;奥赞·奥克坦 数据驱动的非光滑优化。 （英语） Zbl 1435.90105号 SIAM J.Optim公司。 30，第1期，102-131（2020）. 小结：在这项工作中，我们考虑了求解具有可能非光滑目标函数的大规模优化问题的方法。其关键思想是首先使用通用迭代方案将一类优化方法参数化，该方案仅涉及线性运算和近端算子的应用。该方案包含一些现代的原始-对偶一阶算法，如Douglas-Rachford和混合梯度法，作为特例。此外，对于同样属于该类的一种新方法，我们证明了迭代到最优点的弱收敛性。接下来，我们将泛型方案解释为一个神经网络，并使用无监督训练来学习特定类目标函数的最佳参数集，同时施加固定的迭代次数。与其他“学习优化”的方法相比，我们提出了一种仅在收敛方案集中学习参数的方法。最后，我们说明了层析重建和图像反褶积中出现的优化问题的方法，并在给定迭代次数的情况下训练优化算法以获得最佳性能。 引用于11文件 MSC公司： 90C25型 凸面编程 68T01型 人工智能的一般主题 47时05分 单调算子和推广 关键词：凸优化;近似算法;单调算子;机器学习;反问题;计算机断层扫描 软件：ASTRA公司;亚当;TensorFlow公司;香蒜酱;ODL公司;新加坡存托凭证;github;取消锁定BoX PDF格式BibTeX公司 XML格式引用 \textit{S.Banert}等人，SIAM J.Optim。30，第1号，102--131（2020；Zbl 1435.90105） 全文： 内政部 arXiv公司 参考文献： [1] M.Abadi、A.Agarwal、P.Barham、E.Brevdo、Z.Chen、C.Citro、G.Corrado、A.Davis、J.Dean、M.Devin、S.Ghemawat、I.Goodfellow、A.Harp、G.Irving、M.Isard、Y.Jia、R.Jozefowicz、L.Kaiser、M.Kudlur、J.Levenberg、D.Mane、R.Monga、S.Moore、D.Murray、C.Olah、M.Schuster、J.Shlens、B.Steiner、I.Sutskever、K.Talker、P.Tucker、V。Vanhoucke、V.Vasudevan、F.Viegas、O.Vinyals、P.Warden、M.Wattenberg、M.Wicke、Yu和X.Zheng，《TensorFlow:异构分布式系统上的大规模机器学习》，预印本，https://arxiv.org/abs/1603.04467v2，2016年。 [2] J.Adler、H.Kohr和O.O¨ktem，ODL 0.6.0，2017年，https://doi.org/10.5281/zenodo.556409, https://github.com/odlgroup/odl。 [3] J.Adler和O.Oöktem，使用迭代深度神经网络解决不适定逆问题，逆问题，33（2017），124007，https://doi.org/10.1088/1361-6420/aa9581。 ·Zbl 1394.92070号 [4] J.Adler和O.Oéktem，《学习的原对偶重建》，IEEE Trans。医学图像。，37（2018），第1322-1332页，https://doi.org/10.109/TMI.2018.2799231。 [5] J.Adler、A.Ringh、O.O¨ktem和J.Karlsson，《学习使用Wasserstein损失解决反问题》，预印本，https://arxiv.org/abs/1710.10898, 2017. [6] A.Alotaibi、P.Combettes和N.Shahzad，通过Kuhn-Tucker集的连续Fejer近似求解耦合复合单调包含，SIAM J.Optim。，24（2014），第2076-2095页，https://doi.org/10.1137/130950616。 ·Zbl 1315.47057号 [7] M.Andrychowicz、M.Denil、S.Gomez、M.Hoffman、D.Pfau、T.Schaul和N.de Freitas，《通过梯度下降学习梯度下降》，《神经信息处理系统进展》，第29卷（NIPS 2016）（西班牙巴塞罗那），D.D.Lee等人编辑，Curran Associates，纽约州Red Hook，2016年，第3981-3989页，https://papers.nips.cc/paper/6461-learning-to-learn-by-gradient-descent-by-gradient-descent。 [8] V.Barbu和T.Precupanu，Banach空间中的凸性和优化，第四版，Springer Monogr。数学。，施普林格，多德雷赫特，荷兰，https://doi.org/10.1007/978-94-007-2247-7。 ·Zbl 1244.49001号 [9] H.Bauschke和P.Combettes，Hilbert空间中的凸分析和单调算子理论，第二版，CMS图书数学。，施普林格，查姆，2017年，https://doi.org/10.1007/978-3-319-48311-5。 ·Zbl 1359.26003号 [10] H.Bauschke，X.Wang，和L.Yao，不连续极大单调线性算子的示例和B.F.Svaiter，J.Math提出的最近问题的解决方案。分析。申请。，370（2010），第224-241页，https://doi.org/10.1016/j.jma.204.04.029。 ·Zbl 1197.47009号 [11] A.Beck和M.Teboulle，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2（2009），第183-202页，https://doi.org/10.1137/080716542。 ·Zbl 1175.94009号 [12] C.Bertocchi、E.Chouzenoux、M.-C.Corbineau、J.-C.Pesquet和M.Prato，用于图像恢复的近端内点方法的深度展开，即将出现的反问题，https://doi.org/10.1088/1361-6420/ab460a。 ·Zbl 1452.94003号 [13] R.Boţ和E.Csetnek，关于凸优化问题的前向型原对偶分裂算法的收敛速度，《优化》，64（2015），第5-23页，https://doi.org/10.1080/0323194.2014.966306。 ·Zbl 1476.47045号 [14] R.Boţ和C.Hendrich，求解复合型和平行和型单调算子混合夹杂物的Douglas-Rachford型原对偶方法，SIAM J.Optim。，23（2013），第2541-2565页，https://doi.org/10.1137/12090106。 ·Zbl 1295.47066号 [15] S.Boyd、N.Parikh、E.Chu、B.Peleato和J.Eckstein，通过乘数交替方向方法进行分布式优化和统计学习，Found。趋势马赫数。学习。，3（2011），第1-122页，https://doi.org/10.1561/220000016。 ·Zbl 1229.90122号 [16] L.Bricen͂o-Arias和P.Combettes，二元复合单调包含的单调+斜分裂模型，SIAM J.Optim。，21（2011），第1230-1250页，https://doi.org/10.1137/10081602X。 ·Zbl 1239.47053号 [17] R.Brown、Y.C.N.Cheng、E.Haacke、M.Thompson和R.Venkatesan，《磁共振成像：物理原理和序列设计》，第二版，John Wiley&Sons，纽约，2014年，https://doi.org/10.1002/9781118633953。 [18] A.Bruckstein、D.Donoho和M.Elad，《从方程组的稀疏解到信号和图像的稀疏建模》，SIAM Rev.，51（2009），第34-81页，https://doi.org/10.1137/060657704。 ·Zbl 1178.68619号 [19] A.Chambolle和T.Pock，凸问题的一阶原对偶算法及其在成像中的应用，J.Math。图像。视觉。，40（2011年），第120-145页，https://doi.org/10.1007/s10851-010-0251-1。 ·Zbl 1255.68217号 [20] P.Combettes和J.-C.Pesquet，解变分不等式的深层神经网络结构，预印本，https://arxiv.org/abs/1808.07526v1, 2018. ·Zbl 1448.49014号 [21] P.Combettes和J.-C.Pesquet，信号处理中的近端分裂方法，《科学与工程中反问题的不动点算法》，H.Bauschke、R.Burachik、P.Combettes、V.Elser、D.Luke和H.Wolkowicz编辑，Springer Optim。申请。49，Springer，纽约，2011年，第185-212页，https://doi.org/10.1007/978-1-4419-9569-8_10。 ·Zbl 1242.90160号 [22] P.Combettes和J.-C.Pesquet，用复合、Lipschitzian和平行和型单调算子的混合物求解内含物的原始-对偶分裂算法，集值变量分析。，20（2012），第307-330页，https://doi.org/10.1007/s11228-011-0191-y。 ·Zbl 1284.47043号 [23] Y.Drori和M.Teboulle，光滑凸最小化的一阶方法的性能：一种新方法，数学。程序。，145（2014），第451-482页，https://doi.org/10.1007/s10107-013-0653-0。 ·Zbl 1300.90068号 [24] J.Eckstein，《单调算子的分裂方法及其在并行优化中的应用》，马萨诸塞州剑桥市麻省理工学院土木工程系博士论文，1989年，https://hdl.handle.net/1721.1/14356。 [25] J.Eckstein和D.Bertsekas，关于Douglas-Rachford分裂方法和最大单调算子的近点算法，数学。程序。，55（1992），第293-318页，https://doi.org/10.1007/BF01581204。 ·Zbl 0765.90073号 [26] H.Engl、M.Hanke和A.Neubauer，反问题的正则化，数学。申请。荷兰多德雷赫特Kluwer 375号，2000年·Zbl 0859.65054号 [27] K.Gregor和Y.LeCun，学习稀疏编码的快速近似，第27届国际机器学习会议（ICML-10）论文集，以色列海法，2010年，第399-406页，http://yann.lecun.com/exdb/publis/pdf/gregor-icml-10.pdf。 [28] K.Hammernik、T.Klatzer、E.Kobler、M.Recht、D.Sodickson、T.Pock和F.Knoll，学习用于重建加速MRI数据的变分网络，磁共振医学，79（2018），第3055-3071页，https://doi.org/10.1002/mrm.26977。 [29] B.He和X.Yuan，鞍点问题原对偶算法的收敛性分析：从收缩角度，SIAM J.成像科学。，5（2012），第119-149页，https://doi.org/10.1137/100814494。 ·Zbl 1250.90066号 [30] J.Kaipio和E.Somersalo，统计和计算反问题，应用。数学。科学。160，Springer，纽约，2005年，https://doi.org/10.1007/b138659。 ·Zbl 1068.65022号 [31] D.Kim和J.Fessler，光滑凸最小化的优化一阶方法，数学。程序。，159（2016），第81-107页，https://doi.org/10.1007/s10107-015-0949-3。 ·Zbl 1345.90113号 [32] D.Kingma和J.Ba，Adam：随机优化方法，第三届国际学习代表大会，加利福尼亚州圣地亚哥，2015；预印本，https://arxiv.org/abs/1412.6980v9, 2014. [33] S.Ko、D.Yu和J.-H.Won，《结构稀疏性的易于并行和可分配算法类，具有最佳加速》，J.Compute。图表。统计人员。，28（2019），第821-833页，https://doi.org/101080/10618600.2019.1592757。 ·Zbl 07499029号 [34] N.Komodakis和J.-C.Pesquet，《玩弄二元性：解决大规模优化问题的最新原始-对偶方法概述》，IEEE信号处理。Mag.，32（2015），第31-54页。 [35] P.Latafat和P.Patrinos，求解涉及三个算子的单调包含的不对称前向-后向伴随分裂，Comput。最佳方案。申请。，68（2017），第57-93页，https://doi.org/10.1007/s10589-017-9909-6。 ·兹比尔1406.90129 [36] K.Li和J.Malik，《学习优化》，预印本，https://arxiv.org/abs/1606.01885v1, 2016. [37] I.Loshchilov和F.Hutter，SGDR：带热重启的随机梯度下降，预印本，https://arxiv.org/abs/1608.03983v5, 2016. [38] M.Mardani、E.Gong、J.Cheng、S.Vasanawala、G.Zaharchuk、M.Alley、N.Thakur、S.Han、W.Dally、J.Pauly和L.Xing，《用于压缩传感自动化MRI的深层生成对抗网络》，预印本，https://arxiv.org/abs/1706.00051, 2017. [39] B.Martinet，《Reögularisation d'ineкquations variationnelles par近似序列》，Rev.Française Informat。Recherche Ope⁄rationnelle Se⁄r。R-3，4（1970），第154-158页，http://www.numdam.org/item/M2AN_1970__4_3_154_0/。 ·Zbl 0215.21103号 [40] C.McCollough，TU-FG-207A-04：低剂量CT大挑战概述，医学物理。，43（2016），第3759-3760页，https://doi.org/10.1118/1.4957556。 [41] J.-J.Moreau，Proximite®et dualite®dans un espace hilbertien，公牛。社会数学。法国，93（1965），第273-299页，https://doi.org/10.24033/bsmf.1625。 ·Zbl 0136.12101号 [42] F.Natterer，《计算机断层成像的数学》，经典应用。数学。32，SIAM，费城，2001年，https://doi.org/10.1137/1.9780898719284。 ·Zbl 0973.92020号 [43] F.Natterer和F.Wuëbbeling，图像重建中的数学方法，数学。模型。计算。5，SIAM，费城，2001年，https://doi.org/10.1137/1.9780898718324。 ·Zbl 0974.92016年 [44] O.Oöktem，《电子层析成像数学方法手册》，O.Scherzer主编，Springer，纽约，2015年，第937-1031页，https://doi.org/10.1007/978-1-4939-0790-8_43。 ·Zbl 1395.94056号 [45] W.Palenstijn、K.Batenburg和J.Sijbers，《使用图形处理单元（GPU）进行迭代电子层析重建的性能改进》，J.Struct。《生物学》，176（2011），第250-253页，https://doi.org/10.1016/j.jsb.2011.07.17。 [46] R.Pascanu、T.Mikolov和Y.Bengio，《关于训练递归神经网络的难度》，Proc。机器学习研究，28（2013），第1310-1318页，http://proceedings.mlr.press/v28/pascanu13.html。 [47] P.Putzky和M.Welling，解决反问题的递归推理机，预印本，https://arxiv.org/abs/1706.04008, 2017. [48] R.Rockafellar，Monotone操作符和近点算法，SIAM J.Control Optim。，14（1976年），第877-898页，https://doi.org/10.1137/0314056。 ·Zbl 0358.90053号 [49] E.Sidky、J.Jörgensen和X.Pan，《使用Chambolle-Pock算法的计算机断层扫描图像重建的凸优化问题原型》，Phys。医学生物学。，57（2012），第3065-3091页，https://doi.org/10.1088/0031-9155/57/10/3065。 [50] A.Taylor、J.Hendrickx和F.Glineur，平滑强凸插值和一阶方法的精确最坏情况性能，数学。程序。，161（2017），第307-345页，https://doi.org/10.1007/s10107-016-1009-3。 ·Zbl 1359.90098号 [51] W.van Aarle、W.Palenstijn、J.Cant、E.Janssens、F.Bleichrodt、A.Dabravolski、J.De Beenhouwer、K.Batenburg和J.Sijbers，《使用ASTRA工具箱的快速灵活X射线断层成像》，《光学快报》，24（2016），第25129-25147页，https://doi.org/10.1364/OE.24.025129。 [52] Y.Yang、J.Sun、H.Li和Z.Xu，用于压缩传感MRI的Deep ADMM-net，《神经信息处理系统进展》，第29卷（NIPS 2016）（西班牙巴塞罗那），D.D.Lee等人，编辑，Curran Associates，Red Hook，NY，2016年，第10-18页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。