傅安琪；张俊姿；斯蒂芬·博伊德 安德森加速了道格拉斯·拉赫福德的分裂。 （英文） Zbl 1458.90511号 SIAM J.科学。计算。 42，第6号，A3560-A3583（2020）. 摘要：我们考虑具有线性等式约束的非光滑凸优化问题，其中目标函数只能通过其近端算子来访问。这个问题出现在许多不同的领域，例如统计学习、计算成像、电信和优化控制。为了解决这个问题，我们提出了一个Anderson加速的Douglas-Rachford分裂（A2DR）算法，该算法要么全局收敛，要么在非常温和的条件下提供不可行/无界的证明。应用于块可分离目标时，A2DR部分解耦，以便其步骤可以并行执行，从而产生一种快速且可扩展到多处理器的算法。我们描述了一个开源实现，并在大量示例中演示了其性能。 引用于18文件 MSC公司： 90C25型 凸面编程 90元53 拟Newton型方法 49J52型 非平滑分析 65千5 数值数学规划方法 68瓦10 计算机科学中的并行算法 68宽15 分布式算法 97N80型 数学软件、计算机程序（教育方面） 关键词：安德森加速度；非光滑凸优化；并行和分布式优化；近侧口腔；稳定；全球收敛；病理环境 软件：LSQR（LSQR）；玻璃制品；POGS公司；github；超人；CVXPY公司；CRAIG公司；SCS公司；OSQP公司；超级SCS；安德森 PDF格式BibTeX公司 XML格式引用 \textit{A.Fu}等人，SIAM J.Sci。计算。42，6号，A3560--A3583（2020；Zbl 1458.90511） 全文： 内政部 arXiv公司 参考文献： [1] M.Abramowitz和I.A.Stegun，《带公式、图形和数学表的数学函数手册》，美国国家标准局，华盛顿特区，1964年·Zbl 0171.38503号 [2] A.Agrawal，R.Verschueren，S.Diamond和S.Boyd，凸优化问题的重写系统，J.Control Decis。，5（2018年），第42-60页。 [3] A.C.Aitken，关于伯努利代数方程的数值解，Proc。罗伊。《爱丁堡社会》，46（1927），第289-305页。 [4] A.Ali、E.Wong和J.Z.Kolter，《快速泛型凸规划的半光滑牛顿法》，《国际机器学习会议论文集》，2017年，第70-79页。 [5] D.G.Anderson，非线性积分方程的迭代程序，J.Assoc.Compute。机器。，12（1965年），第547-560页·Zbl 0149.11503号 [6] N.S.Aybat，Z.Wang，T.Lin和S.Ma，用于复合凸一致性优化的乘法器的分布式线性化交替方向方法，IEEE Trans。自动化。控制，63（2018），第5-20页·Zbl 1390.90420号 [7] F.巴赫，无痛加速，https://francisbach.com/acceleration-without pain（https://弗朗西斯巴赫.com/acceleration-without pain）2020年2月4日。 [8] O.Banerjee、L.E.Ghaoui和A.d'Aspremont，《通过多元高斯或二进制数据的稀疏最大似然估计进行模型选择》，J.Mach。学习。Res.，9（2008），第485-516页·Zbl 1225.68149号 [9] P.Bansode、K.C.Kosaraju、S.R.Wagh、R.Pasumarthy和N.M.Singh，使用自适应同步加速分布式原对偶动力学，IEEE Access，7（2019），第120424-120440页。 [10] S.Boyd、N.Parikh、E.Chu、B.Peleato和J.Eckstein，通过乘数交替方向方法进行分布式优化和统计学习，Found。趋势马赫数。学习。，3（2011年），第1-122页·Zbl 1229.90122号 [11] S.Boyd和L.Vandenberghe，《凸优化》，剑桥大学出版社，剑桥，2004年·Zbl 1058.90049号 [12] C.Brezinski、M.Redivo-Zaglia和Y.Saad，Shanks序列变换和Anderson加速，SIAM Rev.，60（2018），第646-669页，https://doi.org/10.1137/17M1120725。 ·兹比尔1395.65001 [13] X.Chen和C.T.Kelley，非线性方程EDIIS算法的收敛性，SIAM J.Sci。计算。，41（2019），第A365-A379页，https://doi.org/10.1137/18M1171084。 ·Zbl 1408.65030号 [14] A.Defazio，《有限和的一种简单实用加速方法》，载于《第30届神经信息处理系统国际会议论文集》，2016年，第676-684页。 [15] S.Diamond和S.Boyd，CVXPY:一种嵌入Python的凸优化建模语言，J.Mach。学习。决议，17（2016），第1-5页·Zbl 1360.90008号 [16] C.Evans、S.Pollock、L.G.Rebholz和M.Xiao，安德森加速度增加线性收敛不动点方法（但不增加二次收敛方法）收敛速度的证明，预印本，https://arxiv.org/abs/1810.08455, 2018. ·Zbl 1433.65102号 [17] H.Fang和Y.Saad，非线性加速度的两类多斜面方法，Numer。线性代数应用。，16（2009年），第197-221页·Zbl 1224.65134号 [18] C.Fougner和S.Boyd，图形式解算器的参数选择和预处理，《控制和系统理论的新兴应用》，R.Tempo、S.Yurkovich和P.Misra编辑，Lect。票据控制信息科学。程序。，查姆·斯普林格，第41-61页·Zbl 1407.93126号 [19] J.Friedman、T.Hastie和R.Tibshirani，用图形套索进行稀疏逆协方差估计，生物统计学，9（2008），第432-441页·Zbl 1143.62076号 [20] J.Friedman、T.Hastie和R.Tibshirani，关于拉索群和稀疏拉索群的注释，预印本，https://arxiv.org/abs/1010.0736, 2010. [21] B.S.He，H.Yang，and S.L.Wang，单调变分不等式的自适应惩罚参数交替方向法，J.Optim。理论应用。，106（2000），第337-356页·Zbl 0997.49008号 [22] H.He和D.Han，多块凸极小化问题的分布式Douglas-Rachford分裂方法，高级计算。数学。，42（2016），第27-53页·兹比尔1332.90198 [23] S.-J.Kim、K.Koh、S.Boyd和D.Gorinevsky，趋势过滤，SIAM Rev.，51（2009），第339-360页，https://doi.org/10.1137/070690274。 ·Zbl 1171.37033号 [24] K.N.Kudin和G.E.Scuseria，《黑盒自持场收敛算法：更近一步》，J.Chem。物理。，116（2002），第8255-8261页。 [25] Z.Li和J.Li，非线性优化的Anderson-Chebyshev混合方法，预印本，https://arxiv.org/abs/1809.02341, 2018. [26] Y.Liu、E.K.Ryu和W.Yin，Douglas Rachford分裂在识别不可行、无界和病态二次曲线规划中的新用途，数学。程序。，177（2019），第225-253页·Zbl 1515.47098号 [27] J.Loffeld和C.S.Woodward，关于在分布式内存和基于GPU的并行计算机上实现和使用Anderson加速的考虑，《数学科学进展》，Springer，Cham，2016年，第417-436页·Zbl 1353.65045号 [28] A.J.Macleod，用多维（Delta^2）方法加速向量序列，Commun。申请。数字。方法，2（1986年），第385-392页·Zbl 0608.65003号 [29] V.V.Mai和M.Johansson，约束优化算法的非线性加速，《IEEE声学、语音和信号处理国际会议论文集》，2019年，第4903-4907页。 [30] M.Mešina，方程迭代解的收敛加速\（X=AX+f\），计算。方法应用。机械。《工程》，10（1977），第165-173页·Zbl 0344.65019号 [31] A.Milzarek，X.Xiao，S.Cen，Z.Wen，M.Ulbrich，非光滑非凸优化的随机半光滑牛顿法，SIAM J.Optim。，29（2019），第2916-2948页，https://doi.org/10.1137/18M1181249。 ·Zbl 1434.90108号 [32] N.Moehle、E.Busseti、S.Boyd和M.Wytock，《动态能源管理》，《供应链和智能制造中的大规模优化》，J.M.Velaísquez-Bermuídez、M.Khakifirooz和M.Fathi编辑，Springer Optim。申请。149，施普林格，查姆，2019年，第69-126页·Zbl 1446.90158号 [33] Y.Nesterov，《凸优化入门讲座：基础课程》，Kluwer学术出版社，波士顿，2004年·Zbl 1086.90045号 [34] J.Nocedal和S.Wright，《数值优化》，纽约斯普林格出版社，2006年·Zbl 1104.65059号 [35] B.O’Donoghue、E.Chu、N.Parikh和S.Boyd，通过算子分裂和齐次自对偶嵌入的二次曲线优化，J.Optim。理论应用。，169（2016），第1042-1068页·Zbl 1342.90136号 [36] B.O'Donoghue、E.Chu、N.Parikh和S.Boyd，SCS：分裂圆锥解算器，版本2.1.2。https://github.com/cvxgrp/scs2019年11月。 [37] C.C.Paige和M.A.Saunders，LSQR：稀疏线性方程和稀疏最小二乘的算法，ACM Trans。数学。软质。，8（1982），第43-71页·Zbl 0478.65016号 [38] N.Parikh和S.Boyd，分布式优化的块分割，数学。程序。计算。，6（2014年），第77-102页·Zbl 1305.90291号 [39] N.Parikh和S.Boyd，发现近似算法。最佳趋势。，1（2014年），第127-239页。 [40] 彭彦、邓文斌、张杰、耿凤、秦文蔚、刘丽莉，安德森几何优化和物理模拟加速，ACM Trans。图表。，37（2018），42。 [41] S.Pollock和L.Rebholz，合同和非合同操作员的Anderson加速，预印本，https://arxiv.org/abs/1909.04638, 2019. [42] T.Rohwedder和R.Schneider，量子化学计算中使用的DIIS加速方法分析，J.Math。化学。，49（2011），第1889-1914页·Zbl 1252.81135号 [43] E.K.Ryu和S.Boyd，单调算子方法入门，应用。计算。《数学》，15（2016），第3-43页·Zbl 1342.47066号 [44] E.K.Ryu、Y.Liu和W.Yin，Douglas-Rachford分裂和ADMM用于病理凸优化，计算。最佳方案。申请。，74（2019年），第747-778页·Zbl 1427.90223号 [45] D.Scieur、F.Bach和A.D'Aspremont，随机算法的非线性加速，摘自《神经信息处理系统进展》，Curran Associates，Red Hook，NY，2017年，第3982-3991页。 [46] D.Scieur、A.D'Aspremont和F.Bach，正则化非线性加速度，《第30届神经信息处理系统国际会议论文集》，2016年，第712-720页。 [47] D.Shanks，发散和缓慢收敛序列的非线性变换，J.Math。和物理。，34（1955年），第1-42页·Zbl 0067.28602号 [48] D.A.Smith、W.F.Ford和A.Sidi，向量序列外推方法，SIAM Rev.，29（1987），第199-233页，https://doi.org/10.1137/1029042。 ·Zbl 0622.65003号 [49] P.Sopasakis、K.Menounou和P.Patrinos，《SuperSCS:快速准确的大规模圆锥曲线优化》，《2019年欧洲控制会议论文集》，第1500-1505页。 [50] B.Stellato、G.Banjac、P.Goulart、A.Bempoad和S.Boyd，OSQP:二次规划的算子分裂解算器，《UKACC国际控制会议论文集》，2018年，第339页。 [51] A.Themelis和P.Patrinos，《SuperMann:寻找非扩张算子不动点的超线性收敛算法》，IEEE Trans。自动化。对照，64（2019），第4875-4890页·Zbl 1482.49019号 [52] A.Toth、J.A.Ellis、T.Evans、S.Hamilton、C.T.Kelley、R.Pawlowski和S.Slattery，安德森加速的局部改进结果，功能评估不准确，SIAM J.Sci。计算。，39（2017年），第S47-S65页，https://doi.org/10.1137/16M1080677。 ·Zbl 1422.65079号 [53] A.Toth和C.T.Kelley，安德森加速度收敛分析，SIAM J.Numer。分析。，53（2015），第805-819页，https://doi.org/10.1137/130919398。 ·Zbl 1312.65083号 [54] J.Tuck、S.Barratt和S.Boyd，《拉普拉斯正则分层模型拟合的分布式方法》，预印本，https://arxiv.org/abs/1904.12017, 2019. [55] H.F.Walker和P.Ni，定点迭代的Anderson加速度，SIAM J.Numer。分析。，49（2011），第1715-1735页，https://doi.org/10.1137/10078356X。 ·兹比尔1254.65067 [56] E.Wei和A.Ozdaglar，《乘法器的分布式交替方向方法》，载于《IEEE决策与控制会议论文集》，2012年，第5445-5450页。 [57] P.Wynn，在计算（e_m（S_n））变换的设备上，数学。公司。，10（1956年），第91-96页·Zbl 0074.04601号 [58] M.Wytock、P.-W.Wang和J.Z.Kolter，带快速近似算子和线性算子的凸规划，预印本，https://arxiv.org/abs/1111.04815, 2015. [59] X.Xiao，Y.Li，Z.Wen，L.Zhang，复合凸规划的带投影步长的正则化半光滑牛顿法，J.Sci。计算。，76（2018），第364-389页·Zbl 1394.90534号 [60] Z.Xu、G.Taylor、H.Li、M.Figueiredo、X.Yuan和T.Goldstein，分布式优化的自适应共识ADMM，《国际机器学习会议论文集》，2017年，第3841-3850页。 [61] J.Zhang、B.O’Donoghue和S.Boyd，非光滑定点迭代的全局收敛I型Anderson加速，预印本，https://arxiv.org/abs/1808.03971, 2018. [62] J.Zhang，Y.Peng，W.Ouyang，B.Deng，《加速ADMM以实现高效仿真和优化》，ACM Trans。图表。，38 (2019), 163. [63] J.Zhang、C.A.Uribe、A.Mokhtari和A.Jadbabaie，通过重锤ODE的直接离散化实现分布式优化的加速，《美国控制会议论文集》，2019年，第3408-3413页。 [64] Y.Zhang和M.M.Zavlanos，基于共识的分布式增广拉格朗日方法，《IEEE决策与控制会议论文集》，2018年，第1763-1768页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。