×

稀疏优化的Bregman Itoh-Abe方法。 (英语) Zbl 1491.65045号

总结:本文提出了基于离散梯度法离散逆尺度空间流的变分调节问题的优化方法。逆尺度空间流通过将广义Bregman距离作为基本度量来推广梯度流。它的离散时间对应项Bregman迭代和线性化Bregman迭代是用于包含先验信息而不损失对比度的反问题的流行正则化方案。离散梯度方法是几何数值积分的工具,用于保持耗散微分系统的能量耗散。由此产生的Bregman离散梯度方法是无条件耗散的,并通过利用问题的结构(如稀疏性)来实现快速收敛速度。在前人关于非光滑、非凸优化的离散梯度研究的基础上,我们在Clarke次微分框架下证明了这些方法的收敛性保证。给出了凸和非凸例子的数值结果。

MSC公司:

65K10码 数值优化和变分技术
90C26型 非凸规划,全局优化
65页第10页 含辛积分器哈密顿系统的数值方法
49平方米25 最优控制中的离散逼近

软件:

iPiano公司
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Ambrosio,L.,Gigli,N.,Savare,G.:梯度流:在度量空间和概率测度空间中,第2版。数学讲座。苏黎世联邦理工学院。Birkhäuser巴塞尔协议(2008年)·Zbl 1145.35001号
[2] 贝克,A。;Tetraushvili,L.,关于块坐标下降型方法的收敛性,SIAM J.Optim。,23, 4, 2037-2060 (2013) ·Zbl 1297.90113号
[3] Benning,M.,Betcke,M.M.,Ehrhardt,M.J.,Schönlieb,C.B.:明智地选择你的路径:Bregman距离框架中的梯度下降。ArXiv电子印刷品(2017)。网址:http://arxiv.org/abs/11712.04045
[4] 本宁,M。;Burger,M.,《反问题的现代正则化方法》,《数值学报》,27,1-111(2018)·Zbl 1431.65080号
[5] Betancourt,M.,Jordan,M.I.,Wilson,A.C.:辛优化。arXiv电子版(2018)。http://arxiv.org/abs/1802.03653
[6] Bregman,LM,寻找凸集公共点的松弛方法及其在凸规划问题求解中的应用,苏联计算机。数学。数学。物理。,7, 3, 200-217 (1967) ·Zbl 0186.23807号
[7] Burger,M.:反问题和偏微分方程中的Bregman距离。摘自:《数学建模、优化和最优控制进展》,第3-33页。斯普林格(2016)
[8] 汉堡,M。;Gilboa,G。;穆勒,M。;Eckardt,L。;Cremers,D.,使用单一均匀泛函的光谱分解,SIAM J.Imag。科学。,9, 3, 1374-1408 (2016) ·Zbl 1361.35123号
[9] 汉堡,M。;Gilboa,G。;Osher,S。;Xu,J.,非线性逆尺度空间方法,公社。数学。科学。,4, 1, 179-212 (2006) ·Zbl 1106.68117号
[10] 汉堡,M。;穆勒,M。;本宁,M。;Osher,S.,压缩感知的自适应逆尺度空间方法,数学。计算。,82, 281, 269-299 (2013) ·Zbl 1260.49053号
[11] 汉堡,M。;Resmerita,E。;He,L.,图像恢复中Bregman迭代和逆尺度空间方法的误差估计,计算,81,2-3,109-135(2007)·Zbl 1147.68790号
[12] 蔡,JF;Osher,S。;Shen,Z.,压缩传感的线性化Bregman迭代,数学。计算。,78, 267, 1515-1536 (2009) ·Zbl 1198.65102号
[13] Celledoni,E。;艾登斯,S。;奥雷恩,B。;Ringholm,T.,黎曼流形上的耗散数值格式及其在梯度流中的应用,SIAM J.Sci。计算。,40、6、A3789-A3806(2018)·Zbl 1403.49029号
[14] Censor,Y。;Zenios,SA,具有(d)-函数的近似最小化算法,J.Optim。理论。申请。,73, 3, 451-464 (1992) ·Zbl 0794.90058号
[15] Clarke,F.H.:最优控制和变分法中非光滑问题的必要条件。华盛顿大学博士论文(1973年)
[16] Clarke,FH,优化和非光滑分析。应用数学经典(1990),费城:SIAM,费城·Zbl 0696.49002号
[17] Curry,HB,非线性最小化问题的最速下降法,Q.Appl。数学。,2, 3, 258-261 (1944) ·Zbl 0061.26801号
[18] Dong,B。;Mao,Y。;Osher,S。;Yin,W.,用于压缩传感和稀疏去噪的快速线性化Bregman迭代,Commun。数学。科学。,8, 1, 93-111 (2010) ·兹比尔1190.49040
[19] Eckstein,J.,《使用Bregman函数的非线性近点算法及其在凸规划中的应用》,数学。操作。第18号、第1号、第202-226号决议(1993年)·Zbl 0807.47036号
[20] Eftekhari,A.,Vandereycken,B.,Vilmart,G.,Zygalakis,K.C.:快速强凸优化的显式稳定梯度下降。ArXiv电子版(2018)。http://arxiv.org/abs/1805.07199
[21] Ehrhardt,M.J.,Riis,E.S.,Ringholm,T.,Schönlieb,C.B.:平滑优化的几何积分方法:离散梯度法的基础。ArXiv电子版(2018)。http://arxiv.org/abs/1805.06444
[22] 埃克兰,I。;Téman,R.,凸分析和变分问题(1999),费城:SIAM,费城·兹比尔0939.49002
[23] Gilboa,G。;穆勒,M。;Burger,M.,《通过单齐次泛函进行非线性谱分析:概述和未来展望》,J.Math。成像视觉。,56, 2, 300-319 (2016) ·Zbl 1409.94182号
[24] Goldstein,T。;Osher,S.,l1-正则化问题的分裂Bregman方法,SIAM J.成像科学。,2, 2, 323-343 (2009) ·Zbl 1177.65088号
[25] Gonzalez,O.,时间积分和离散哈密顿系统,J.非线性科学。,6, 5, 449-467 (1996) ·兹比尔0866.58030
[26] 格林·V。;罗得岛州麦克拉克伦;DI迈凯轮;基斯佩尔,GRW;Schönlieb,CB,求解变分图像正则化模型的离散梯度方法,J.Phys。A、 50、29、295201(2017)·兹比尔1371.94146
[27] 海尔,E。;Lubich,C.,梯度系统的能量递减整合,IMA J.Numer。分析。,34, 2, 452-461 (2013) ·Zbl 1321.65115号
[28] Hairer,E.,Lubich,C.,Wanner,G.:几何-数值积分:常微分方程的结构保持算法。第31卷,第2版。柏林施普林格出版社(2006)·Zbl 1094.65125号
[29] 埃尔南德斯·索拉诺,Y。;Atencia,M。;乔亚·G。;Sandoval,F.,增强Hopfield网络数值行为的离散梯度方法,神经计算,164,45-55(2015)
[30] 伊藤,T。;Abe,K.,基于变分差商的哈密顿守恒离散正则方程,J.Compute。物理。,76, 1, 85-102 (1988) ·Zbl 0656.70015号
[31] Jahn,J.,《非线性优化理论导论》(2007),柏林:施普林格出版社,柏林·兹比尔1115.49001
[32] Kiwiel,KC,具有广义Bregman函数的近似最小化方法,SIAM J.控制优化。,35, 4, 1142-1168 (1997) ·兹伯利0890.65061
[33] Lorenz,DA;Schöpfer,F。;温格,S.,通过分裂可行性问题的线性化Bregman方法:分析和推广,SIAM J.成像科学。,1237-1262年7月2日(2014年)·Zbl 1298.68287号
[34] Lorenz,D.A.、Wenger,S.、Schöpfer,F.、Magnor,M.:用于在线压缩传感的稀疏Kaczmarz解算器和线性化Bregman方法。arXiv电子版(2014)。http://arxiv.org/abs/1403.7543
[35] Maddison,C.J.,Paulin,D.,Teh,Y.W.,O'Donoghue,B.,Doucet,A.:哈密顿下降法。arXiv电子版(2018)。http://arxiv.org/abs/1809.05042
[36] McLachlan,R.I.,Quispel,G.R.W.:关于ODE几何积分的六次讲座,第155-210页。伦敦数学学会讲座笔记系列。剑桥大学出版社,剑桥(2001)·Zbl 0978.65056号
[37] McLachlan,R.I.,Quispel,G.R.W.,Robidoux,N.:使用离散梯度的几何积分。菲洛斯。事务处理。R.Soc.伦敦。序列号。数学。物理学。工程科学。357(1754), 1021-1045 (1999) ·Zbl 0933.65143号
[38] 宫崎骏,Y。;Sogabe,T。;Zhang,SL,关于线性系统的SOR型方法与梯度系统的离散梯度方法之间的等价性,J.Compute。申请。数学。,342,58-69(2018)·Zbl 1392.65066号
[39] Nesterov,Y.,求解具有收敛速度的凸规划问题的一种方法({O}(1/k^2)),Sov。数学。Doklady,27,372-376(1983)·Zbl 0535.90071号
[40] Ochs,P。;陈,Y。;布罗克斯,T。;Pock,T.,iPiano:非凸优化的惯性近似算法,SIAM J.成像科学。,7, 2, 1388-1419 (2014) ·Zbl 1296.90094号
[41] Osher,S。;汉堡,M。;Goldfarb,D。;徐,J。;Yin,W.,基于全变量图像恢复的迭代正则化方法,多尺度模型。模拟。,4, 2, 460-489 (2005) ·1090.94003赞比亚比索
[42] 佩罗纳,P。;Malik,J.,使用各向异性扩散的尺度空间和边缘检测,IEEE Trans。模式分析。机器。智力。,12, 7, 629-639 (1990)
[43] 波利昆,R。;Rockafellar,R.,变分分析中的Prox-正则函数,Trans。美国数学。《社会学杂志》,3481805-1838(1996)·Zbl 0861.49015号
[44] 基斯佩尔,GRW;Turner,GS,《在保持第一个积分的同时数值求解常微分方程的离散梯度方法》,J.Phys。A、 29、13、341-349(1996)·Zbl 0901.34022号
[45] Riis,E.S.,Ehrhardt,M.J.,Quispel,G.R.W.,Schönlieb,C.B.:非光滑、非凸优化的几何积分方法。ArXiv电子版(2018)。http://arxiv.org/abs/1807.07554
[46] Ringholm,T。;Lazić,J。;Schönlieb,CB,使用离散梯度方案的欧拉弹性变分图像正则化,SIAM J.Imaging Sci。,11, 4, 2665-2691 (2018) ·Zbl 1426.49031号
[47] Rockafellar,R.:非光滑函数的最大单调关系和二阶导数。摘自:《亨利·庞加莱研究所年鉴》(Annales de l’Institut Henri Poincare,C)非线性分析,第2卷,第167-184页。爱思唯尔(1985)·Zbl 0581.4909号
[48] Rockafellar,RT,凸分析(2015),普林斯顿:普林斯顿大学出版社,普林斯顿
[49] Santambrogio,F.,(欧几里德,公制,和Wasserstein()梯度流:概述,公牛。数学。科学。,7, 1, 87-154 (2017) ·Zbl 1369.34084号
[50] Scherzer,O.,Groetsch,C.:反问题的逆尺度空间理论。摘自:计算机视觉中尺度空间理论国际会议,第317-325页。施普林格(2001)·Zbl 0991.68132号
[51] 施密特,MF;本宁,M。;Schönlieb,CB,逆尺度空间分解,逆问题。,34, 4, 179-212 (2018) ·兹比尔1468.62352
[52] Schöpfer,F。;Lorenz,DA,随机稀疏Kaczmarz方法的线性收敛性,数学。程序。,173, 1, 509-536 (2019) ·Zbl 1408.65038号
[53] Scieur,D.,Roulet,V.,Bach,F.,D'Aspremont,A.:集成方法和优化算法。摘自:《神经信息处理系统进展》,第1109-1118页(2017年)
[54] 苏·W。;博伊德,S。;坎迪斯,EJ,《模拟内斯特罗夫加速梯度法的微分方程:理论和见解》,J.Mach。学习。决议,17,153,1-43(2016)·Zbl 1391.90667号
[55] Teboulle,M.,熵近端映射及其在非线性规划中的应用,数学。操作。研究,17,3,670-690(1992)·Zbl 0766.90071号
[56] 维比索诺,A。;AC威尔逊;Jordan,MI,《优化中加速方法的变分观点》,Proc。国家。阿卡德。科学。,113、47、E7351-E7358(2016)·Zbl 1404.90098号
[57] Wilson,A.C.,Recht,B.,Jordan,M.I.:优化中动量方法的Lyapunov分析。arXiv电子版(2016)。http://arxiv.org/abs/1611.02635
[58] Wright,SJ,坐标下降算法,数学。程序。,1, 151, 3-34 (2015) ·Zbl 1317.49038号
[59] 尹,W。;Osher,S。;Goldfarb,D。;Darbon,J.,Bregman迭代算法在压缩传感中的应用,《成像科学》。,1, 1, 143-168 (2008) ·Zbl 1203.90153号
[60] Young,DM,《大型线性系统的迭代解》(1971),奥兰多:学术出版社·Zbl 0231.65034号
[61] 张,X。;汉堡,M。;Osher,S.,基于Bregman迭代的统一原对偶算法框架,J.Sci。计算。,46, 1, 20-46 (2011) ·Zbl 1227.65052号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。