斯特凡诺·西波拉;雅塞克·冈齐奥 随机多块ADMM的线性代数观点：QP案例。 （英语） Zbl 07783081号 卡尔科洛 60，第4号，第54号论文，第31页（2023年）. 摘要：最近，在交替方向乘法器（ADMM）中嵌入随机化过程引起了越来越多的关注，以弥补ADMM的直接多块泛化不一定收敛的缺点。即使在实践中，这种技术的引入可以减轻ADMM的多块扩展的发散行为，从理论上看，它可以确保期望收敛，这可能不是其稳健性和效率的良好指标。在这项工作中，从线性代数的角度分析了强凸二次规划的情况，我们在不精确的增广拉格朗日方法的背景下解释了多块ADMM执行的块高斯-塞德尔扫描。通过所提出的分析，我们能够概括出一种替代文献中现有技术的方法，该方法在更强的理论保证的支持下，能够确保ADMM方法的多块泛化的收敛性。 MSC公司： 90C25型 凸面编程 65千5 数值数学规划方法 65层10 线性系统的迭代数值方法 关键词：交替方向乘法器法;不精确增广拉格朗日方法;随机洗牌高斯赛德尔 软件：RASL公司;伦敦银行支持向量机 PDF格式BibTeX公司 XML格式引用 \textit{S.Cipolla}和\textit{J.Gondzio}，加尔各洛60，第4号，第54号论文，第31页（2023年；Zbl 07783081） 全文： 内政部 OA许可证 参考文献： [1] Arrow，K.J.，Hurwicz，L.，Uzawa，H.：线性和非线性规划研究。由H.B.Chenery、S.M.Johnson、S.Karlin、T.Marschak和R.M.Solow提供。斯坦福大学社会科学数学研究，第二卷。斯坦福大学出版社，斯坦福（1958）·Zbl 0091.16002号 [2] Benzi，M。；Golub，生长激素；Liesen，J.，鞍点问题的数值解，数值学报。，2005年1月14日至137日·Zbl 1115.65034号 ·doi:10.1017/S0962492904000212 [3] Billingsley，P.：概率与测度。概率统计威利级数。霍博肯·威利（2012）·Zbl 1236.60001号 [4] Birken，P.，不精确定点方案的终止标准，编号。线性代数应用。，22, 4, 702-716 (2015) ·Zbl 1363.65091号 ·doi:10.1002/nla.1982年 [5] Bodewig，E.，《矩阵演算》（2014），阿姆斯特丹：爱思唯尔出版社·Zbl 0086.32501号 [6] 博伊德，S。；北卡罗来纳州帕里赫。；Chu，E.，《通过乘数交替方向方法进行分布式优化和统计学习》（2011年），诺威尔：Now Publishers Inc.，诺威尔·Zbl 1229.90122号 [7] 荆棘，JH；JE帕西亚克；Vassilev，AT，鞍点问题的不精确Uzawa算法分析，SIAM J.Numer。分析。，34, 3, 1072-1092 (1997) ·Zbl 0873.65031号 ·doi:10.1137/S0036142994273343 [8] 蔡，X。；Han，D。；Yuan，X.，关于具有一个强凸函数的三块可分离凸极小化模型的ADMM直接扩张的收敛性，计算。最佳方案。申请。，66, 1, 39-73 (2017) ·Zbl 1372.90079号 ·doi:10.1007/s10589-016-9860-y [9] Chang，C.C.，Lin，C.J.：LIBSVM：支持向量机库。ACM事务处理。智力。系统。Technol公司。2, 27:1-27:27 (2011). 软件可在网址：http://www.csie.ntu.edu.tw/cjlin/libsvm [10] Chen，C.，Shen，Y.，You，Y.：关于三块乘法器交替方向法的收敛性分析。文章摘要。申请。分析。(2013). 第183961、7条。doi:10.1155/2013/183961·Zbl 1302.90148号 [11] 陈，C。；他，B。；Ye，Y.，多块凸极小化问题ADMM的直接推广不一定收敛，数学。计划，155，1-2，57-79（2016）·Zbl 1332.90193号 ·doi:10.1007/s10107-014-0826-5 [12] 陈，C。；李，M。；Liu，X.，带二次耦合项的不可分离凸最小化模型的扩展ADMM和BCD：收敛分析和见解，数学。计划，173，1-2，37-77（2019）·兹伯利1415.90079 ·doi:10.1007/s10107-017-1205-9 [13] 陈，F。；Jiang，YL，鞍点问题非精确参数化Uzawa方法的推广，应用。数学。计算。，206, 2, 765-771 (2008) ·Zbl 1159.65034号 ·doi:10.1016/j.amc.2008.09.041 [14] Chen，L。；Sun，D。；Toh，KC，用于高维凸复合圆锥规划的一种有效的基于非精确对称高斯-塞德尔的优化ADMM，数学。计划，161，1-2，237-270（2017）·Zbl 1356.90105号 ·doi:10.1007/s10107-016-1007-5 [15] Chen，L。；李，X。；Sun，D.，关于一类凸组合规划的不精确近似ALM和ADMM的等价性，Math。计划，185，1-2，111-161（2021）·Zbl 1458.90509号 ·doi:10.1007/s10107-019-01423-x [16] Chen，X.，关于鞍点问题的预处理Uzawa方法和SOR方法，J.Compute。申请。数学。，100, 2, 207-224 (1998) ·Zbl 0935.65055号 ·doi:10.1016/S0377-0427（98）00197-6 [17] Cheng，XL，关于鞍点问题的非线性非精确Uzawa算法，SIAM J.Numer。分析。，37, 6, 1930-1934 (2000) ·Zbl 0960.65032号 ·doi:10.1137/S0036142998349266 [18] Cui，M.，鞍点问题非精确Uzawa算法收敛的一个充分条件，J.Compute。申请。数学。，139, 2, 189-196 (2002) ·Zbl 0998.65040号 ·doi:10.1016/S0377-0427（01）00430-7 [19] Davis博士。；Yin，W.，三算子分裂格式及其优化应用，集值变量分析。，25, 4, 829-858 (2017) ·Zbl 1464.47041号 ·doi:10.1007/s11228-017-0421-z [20] Durrett，R.：《概率：理论与实例》。剑桥统计与概率数学系列，第31卷，第4版。剑桥大学出版社，剑桥（2010）。doi:10.1017/CBO9780511779398·Zbl 1202.60001号 [21] Eckstein，J.：单调算子的分裂方法及其在并行优化中的应用。麻省理工学院博士论文（1989年） [22] 埃克斯坦，J。；Yao，W.，《凸优化的增广拉格朗日和交替方向方法：教程和一些说明性计算结果》，RUTCOR Res.Rep.，32，3，44（2012） [23] 埃克斯坦，J。；Yao，W.，《理解乘数交替方向方法的收敛性：理论和计算观点》，太平洋出版社。J.优化。，11, 4, 619-644 (2015) ·Zbl 1330.90074号 [24] 埃尔曼，HC；Golub，GH，鞍点问题的非精确和预处理Uzawa算法，SIAM J.Numer。分析。，1645-1661年6月31日（1994年）·Zbl 0815.65041号 ·doi:10.1137/0731085 [25] Fortin，M。；Glowinski，R.，《增广拉格朗日方法：在边值问题数值解中的应用》（2000），阿姆斯特丹：爱思唯尔出版社·Zbl 0525.65045号 [26] Frankel，SP，偏微分方程迭代处理的收敛速度，数学。表格有助于计算。，4, 65-75 (1950) ·doi:10.2307/2002770 [27] Gauss，C.F.:Werke（德语），第9卷。Köninglichen Gesellschaft der Wissenschaften，哥廷根，第763-764页（1903年） [28] Glowinski，R.，Marrocco，A.：《超近似法》，部分定义了“秩序”，以及“解决方案”，部分定性，“非利奈狄利克雷特问题的统一分类”。法国自动化评论Informat Recherche Opérationnelle Sér Rouge Ana Numér 9（r-2），41-76（1975）·兹比尔0368.65053 [29] Goldfarb，D。；Ma，S.，凸优化的快速多重分裂算法，SIAM J.Optim。，22, 2, 533-556 (2012) ·Zbl 1254.65075号 ·数字对象标识代码：10.1137/090780705 [30] Golub，生长激素；吴，X。；袁，JY，增广系统的类SOR方法，BIT，41，1，71-85（2001）·兹比尔0991.65036 ·doi:10.1023/A:1021965717530 [31] Hackbusch，W.：大型稀疏方程组的迭代解。《应用数学科学》，第95卷，第2版。施普林格，柏林（2016）。数字对象标识代码：10.1007/978-3-319-28483-5·Zbl 1347.65063号 [32] 哈格，WW；Zhang，H.，应用于可分离凸优化的不精确ADMM的收敛速度，计算。最佳方案。申请。，77, 3, 729-754 (2020) ·Zbl 1466.90072号 ·doi:10.1007/s10589-020-00221-y [33] Han，D。；袁，X.，关于乘数交替方向法的注记，J.Optim。理论应用。，155, 1, 227-238 (2012) ·Zbl 1255.90093号 ·文件编号：10.1007/s10957-012-0003-z [34] 他，B。；陶，M。；袁，X.，可分凸规划的高斯后代换交替方向法，SIAM J.Optim。，22, 2, 313-340 (2012) ·Zbl 1273.90152号 ·doi:10.137/110822347 [35] 他，B。；陶，M。；Xu，M.，线性约束可分离凸规划问题的一种基于交替方向的压缩方法，优化，62,4573-596（2013）·Zbl 1273.90122号 ·doi:10.1080/02331934.2011.611885 [36] Hestenes，MR，乘数和梯度法，J.Optim。理论应用。，4, 303-320 (1969) ·Zbl 0174.20705号 ·doi:10.1007/BF00927673 [37] 喇叭，RA；Johnson，CR，矩阵分析（2013），剑桥：剑桥大学出版社，剑桥·兹比尔1267.15001 [38] Kang，M。；Kang，M。；Jung，M.，非精确加速增广拉格朗日方法，计算。最佳方案。申请。，62, 2, 373-404 (2015) ·Zbl 1353.90145号 ·doi:10.1007/s10589-015-9742-8 [39] 兰，G。；Monteiro，RDC，凸规划的一阶增广拉格朗日方法的迭代复杂性，数学。计划，155，1-2，511-547（2016）·Zbl 1348.90654号 ·doi:10.1007/s10107-015-0861-x [40] 李，J。；Hu，ZC，Toeplitz引理，完全收敛，完全矩收敛，Commun。统计理论方法，46，4，1731-1743（2017）·Zbl 1360.60056号 ·doi:10.1080/03610926.2015.1026996 [41] 李，M。；Sun，D。；Toh，KC，用于具有一个强凸块Asia-Pac的凸最小化问题的收敛的3块半近似ADMM。《运营杂志》。研究，32，4，1550024（2015）·Zbl 1327.90214号 ·doi:10.1142/S021759591550244 [42] Lin，T。；马，S。；Zhang，S.，关于多块变量ADMM的全局线性收敛性，SIAM J.Optim。，25, 3, 1478-1497 (2015) ·Zbl 1333.90095号 ·数字对象标识代码：10.1137/140971178 [43] 刘，YF；刘，X。；Ma，S.，关于复合凸规划的不精确增广拉格朗日框架的非遍历收敛速度，数学。操作。第44、2、632-650号决议（2019年）·Zbl 1441.90119号 ·doi:10.1287/门.2018.0939 [44] Mihic，K。；朱，M。；Ye，Y.，二次优化乘法器的多块交替方向方法中的随机化管理，数学。程序计算。(2020) ·Zbl 1476.90229号 ·doi:10.1007/s12532-020-00192-5 [45] 内德尔库，V。；内科瓦拉，I。；Tran-Dinh，Q.，不精确梯度增广拉格朗日方法的计算复杂性：约束MPC的应用，SIAM J.控制优化。，52, 5, 3109-3134 (2014) ·Zbl 1322.90066号 ·数字对象标识代码：10.1137/120897547 [46] JM奥尔特加；Rheinboldt，WC，多变量非线性方程的迭代解（1970），纽约：学术出版社，纽约·Zbl 0241.65046号 [47] Oswald，P.，关于SOR的收敛速度：最坏情况估计，计算，52，3，245-255（1994）·Zbl 0804.65037号 ·doi:10.1007/BF02246506 [48] 奥斯瓦尔德，P。；Zhou，W.，SOR类型方法中的随机重排序，Numer。数学。，135, 4, 1207-1220 (2017) ·Zbl 1365.65084号 ·doi:10.1007/s00211-016-0829-7 [49] 彭，Y。；Ganesh，A。；Wright，J.，RASL：线性相关图像的稀疏和低秩分解鲁棒对齐，IEEE Trans。模式分析。机器。智力。，34, 11, 2233-2246 (2012) ·doi:10.1109/TPAMI.2011.282 [50] Powell，M.J.D.：最小化问题中非线性约束的方法。In:Fletcher，R.（编辑）《优化》。学术出版社，纽约州纽约市，第283-298页（1969年）·Zbl 0194.47701号 [51] Ryu，EK；Boyd，S.，单调算子方法入门（调查），应用。计算。数学。，15, 1, 3-43 (2016) ·Zbl 1342.47066号 [52] 斯托特，W.F.：《几乎肯定的收敛，概率和数理统计》，第24卷。学术出版社[Harcourt Brace Jovanovich的子公司，出版商]，纽约（1974）·Zbl 0321.60022号 [53] 孙，R。；罗，ZQ；Ye，Y.，关于ADMM和坐标下降的随机置换效率，数学。操作。研究，45，1，233-271（2020）·Zbl 1442.90147号 ·doi:10.1287/摩尔.2019.0990 [54] Tao，M.，带松弛因子的不确定近端ADMM的收敛性研究，计算。最佳方案。申请。，77, 1, 91-123 (2020) ·Zbl 1447.90033号 ·doi:10.1007/s10589-020-00206-x [55] 陶，M。；Yuan，X.，从不完全和噪声观测中恢复矩阵的低秩和稀疏分量，SIAM J.Optim。，21, 1, 57-81 (2011) ·Zbl 1218.90115号 ·数字对象标识代码：10.1137/100781894 [56] Varga，RS，《矩阵迭代分析》（1962年），恩格尔伍德克利夫斯：普伦蒂斯·霍尔公司，恩格尔伍德·克利夫斯·兹伯利0133.08602 [57] Xu，Y.，约束凸规划的不精确增广拉格朗日方法的迭代复杂性，数学。计划，185，1-2，199-244（2021）·Zbl 1458.90518号 ·doi:10.1007/s10107-019-01425-9 [58] Young，D.M.：求解椭圆型偏微分方程的迭代方法。ProQuest LLC，密歇根州安阿伯，论文（博士）-哈佛大学（1950） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。