×
陈亮;李旭东;孙德芬;杜金川

关于一类凸复合规划的不精确近端ALM和ADMM的等价性。 （英语） Zbl 1458.90509号

数学。程序。 185，编号1-2（A），111-161（2021）.
摘要：本文证明了对于一类线性约束凸组合优化问题，基于（不精确）对称高斯-赛德尔的优化多块最近交替方向乘法器方法（ADMM）等价于不精确的近端增广拉格朗日方法。这种等价性不仅为理解某些ADMM类型的算法提供了新的视角，也为实现它们以获得更好的计算效率提供了有意义的指导。即使对于两块情况，如果目标的一部分是线性的，这种等价的副产品是经典ADMM生成的整个序列的收敛性，其步长超过了传统的上界\（（1+\sqrt{5}）/2\）。这正是ADMM的第一次收敛分析由D.加贝和B.梅西耶[计算数学应用2，17-40（1976；Zbl 0352.65034号)]但是，即使在明显更强的假设下，也只知道原始序列的收敛性。我们提供了一组示例来演示我们的结果可以用于的应用范围。对大量线性和凸二次半定规划问题进行了数值实验，以说明本文所建立的理论结果如何改进相应的实际实现。

引用于10文件

MSC公司：

90C25型 凸面编程
65千5 数值数学规划方法
90C06型 数学规划中的大规模问题
49平方米27 分解方法
90C20个 二次规划

关键词：

交替方向乘法器法;增广拉格朗日方法;对称高斯-塞德尔分解;近侧项

引文：

Zbl 0352.65034号

软件：

Biq Mac;约束拉索;DIMACS公司;QSDPNAL公司;比克麦克;bmrm公司;SDPNAL公司+;PDCO公司;组织环境信息系统;QSDP公司
PDF格式BibTeX公司 XML格式引用
\textit{L.Chen}等人，数学。程序。185，编号1--2（A），111-161（2021；Zbl 1458.90509）
全文： 内政部 arXiv公司

参考文献：

[1] Bai，M。；张，X。；镍、石墨。；崔，C.，张量补全的自适应校正方法，SIAM J.成像科学。，9, 1298-1323 (2016) ·Zbl 1456.90104号
[2] Bai，S。；Qi，H-D，《解决无线传感器网络定位及其以外的翻转模糊性》，Digit。信号处理。，55, 85-97 (2016)
[3] 民主党Bertsekas；Tsitsiklis，JN，《并行和分布式计算：数值方法》（1997年），贝尔蒙特：雅典娜科学出版社·Zbl 1325.65001号
[4] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，Found。趋势马赫数。学习，3，1-122（2011）·Zbl 1229.90122号
[5] Chen，L。；孙，DF；Toh，K-C，线性约束凸优化问题ADMM收敛性的一个注记，计算。最佳方案。申请。，66327-343（2017）·Zbl 1367.90083号
[6] Chen，L。；孙，DF；Toh，K-C，用于高维凸组合二次曲线规划的高效非精确对称高斯-赛德尔优化ADMM，数学。程序。，161, 1-2, 237-270 (2017) ·Zbl 1356.90105号
[7] 陈，SS；多诺霍，DL；马萨诸塞州桑德斯，《基追踪原子分解》，SIAM Rev.，43，129-159（2001）·Zbl 0979.94010号
[8] Clarke，FH，《优化与非光滑分析》（1983），纽约：威利出版社·Zbl 0582.49001号
[9] 丁，C。；Qi，H-D，非线性降维中忠实欧氏距离表示的凸优化学习，数学。程序。，164, 1-2, 341-381 (2017) ·Zbl 1391.90472号
[10] 丁，C。；孙，DF；Sun，J。；Toh，K-C，矩阵谱算子，数学。程序。，168, 509-531 (2018) ·Zbl 1411.90264号
[11] 阿拉巴马州顿切夫；Rockafellar，RT，隐函数和解映射（2014），纽约：Springer，纽约·Zbl 1337.26003号
[12] Du，M.Y.：凸组合二次规划的两阶段增广拉格朗日方法。新加坡国立大学数学系博士论文（2015）
[13] Eckstein，J.：凸优化的增广拉格朗日和交替方向方法：教程和一些说明性的计算结果。RUTCOR研究报告（2012年）
[14] 埃克斯坦，J。；Yao，W.，《理解乘数交替方向方法的收敛性：理论和计算观点》，太平洋出版社。J.Optim。，2015年6月11日至64日·Zbl 1330.90074号
[15] 艾森布拉特，A。；M.Grötschel。；Koster，A.，《着色的频率规划和分支》，讨论。数学。图论，22，51-88（2002）·Zbl 1055.05147号
[16] 法泽尔，M。；Pong，TK公司；孙，DF；Tseng，P.，Hankel矩阵秩最小化及其在系统识别和实现中的应用，SIAM J.矩阵分析。，34, 3, 946-977 (2013) ·Zbl 1302.90127号
[17] 费雷拉，J。；Khoo，Y。；Singer，A.，稀疏图二次分配问题的半定规划方法，计算。最佳方案。申请。，69, 3, 677-712 (2018) ·Zbl 1415.90071号
[18] 加贝，D。；Mercier，B.，通过有限元近似解非线性变分问题的对偶算法，计算。数学。申请。，2, 1, 17-40 (1976) ·Zbl 0352.65034号
[19] 盖恩斯，BR；Kim，J。；Zhou，H.，拟合约束套索的算法，J.Compute。图表。统计，27，4，861-871（2018）·Zbl 07498997号
[20] Glowinski，R.：非线性变分问题的数值方法讲座。孟买。斯普林格，塔塔基础研究所出版（1980）·Zbl 0456.65035号
[21] 格洛温斯基，R。；Marroco，A.，Sur l’A approximation，paréments finis d’ordre un，et la résolution，parñalisation qualityéd une class de problemes de Dirichlet nonéaires，Revue francaise d'atomatique，Informatique Recherche Opérationelle。《分析Numérique》，9，2，41-76（1975）·Zbl 0368.65053号
[22] 韩博士；Sun，DR；张，LW，凸组合规划交替方向乘数法的线性速度收敛性，数学。操作。决议，43，2，622-637（2018）·Zbl 1440.90047号
[23] Hestenes，M.，乘数和梯度法，J.Optim。理论应用。，4, 5, 303-320 (1969) ·Zbl 0174.20705号
[24] Huber，PJ，位置参数的稳健估计，Ann.Math。Stat.，35，73-101（1964年）·Zbl 0136.39805号
[25] James，G.M.，Paulson，C.，Rusmevichientong，P.：惩罚和约束优化：应用于高维网站广告。J.Amer。统计协会。(2019). doi:10.1080/01621459.2019.1609970·Zbl 1437.62687号
[26] Klopp，O.，Noisy low rank matrix completion with general sampling distribution，伯努利，20，1，282-303（2014）·兹比尔1400.62115
[27] 林，XY；马龙，JS；孙，DF；Toh，K-C，大规模广义距离加权判别的快速算法，J.Compute。图表。统计，27，2，368-379（2018）·Zbl 07498954号
[28] Lemaréchal，C。；Sagastizábal，C.，《Moreau-Yosida正则化的实际方面：理论预备》，SIAM J.Optim。，7, 2, 367-385 (1997) ·Zbl 0876.49019号
[29] 李，M。；孙，DF；Toh，K-C，线性约束凸组合优化的不确定近似项优化ADMM，SIAM J.Optim。，26, 2, 922-950 (2016) ·Zbl 1338.90305号
[30] 李，XD；孙，DF；Toh，K-C，基于Schur补码的凸二次锥规划半近似ADMM及其扩展，数学。程序。，155, 333-373 (2016) ·Zbl 1342.90134号
[31] 李，XD；孙，DF；Toh，K-C，QSDPNAL:凸二次半定规划的两阶段增广拉格朗日方法，数学。程序。计算。，10, 4, 703-743 (2018) ·Zbl 1411.90213号
[32] 李，XD；孙，DF；Toh，K-C，凸组合二次规划的块对称高斯-赛德尔分解定理及其应用，数学。程序。，175, 395-418 (2019) ·Zbl 1412.90086号
[33] 刘杰。；穆西亚尔斯基，P。；旺卡，P。；Ye，J.，估计视觉数据中缺失值的张量补全，IEEE Trans。模式分析。机器。智力。，35, 208-220 (2013)
[34] Malick，J。；Povh，J。；伦德尔，F。；Wiegele，A.，半定规划的正则化方法，SIAM J.Optim。，20, 336-356 (2009) ·Zbl 1187.90219号
[35] 马特奥斯，G。；巴泽尔克，J-A；Giannakis，GB，分布式稀疏线性回归，IEEE Trans。信号处理。，58, 5262-5276 (2010) ·Zbl 1391.62133号
[36] Miao，WM；潘，SH；Sun，DF，固定基系数矩阵补全的等级修正程序，数学。程序。，159, 289-338 (2016) ·Zbl 1356.90178号
[37] 内加班，S。；Wainwright，MJ，受限强凸性和加权矩阵完备：带噪声的最优边界，J.Mach。学习。第13号决议，1665-1697（2012）·Zbl 1436.62204号
[38] 聂，J。；Wang，L.，大规模多项式优化中SDP松弛的正则化方法，SIAM J.Optim。，22, 408-428 (2012) ·Zbl 1250.65080号
[39] 聂，J。；Wang，L.，最佳秩张量近似的半定松弛，SIAM J.矩阵分析。申请。，3511155-1179（2014）·Zbl 1305.65134号
[40] 彭杰。；魏勇，通过半定规划逼近k均值型聚类，SIAM J.Optim。，18, 186-205 (2007) ·Zbl 1146.90046号
[41] Potra，FA，加权互补问题——计算均衡的新范式，SIAM J.Optim。，22, 1634-1654 (2012) ·Zbl 1273.90217号
[42] 鲍威尔，M。；Fletcher，R.，最小化问题中非线性约束的方法，最优化，283-298（1969），纽约：学术出版社，纽约·Zbl 0194.47701号
[43] Povh，J。；伦德尔，F。；Wiegele，A.，求解半定程序的边界点方法，《计算》，78，277-286（2006）·Zbl 1275.90055
[44] Rockafellar，RT，凸分析（1970），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 0193.18401号
[45] Rockafellar，RT，增广拉格朗日和近点算法在凸规划中的应用，数学。操作。第197-116号决议（1976年）·Zbl 0402.90076号
[46] Schizas，ID；里贝罗，A。；Giannakis，GB，《含噪声链路的自组织无线传感器网络共识——第一部分：确定性信号的分布式估计》，IEEE Trans。信号处理。，56, 350-364 (2008) ·Zbl 1390.94395号
[47] 斯隆：挑战问题：图中的独立集。https://oeis.org/A265032/A265032.html。2019年8月16日访问
[48] 孙，DF；Toh，K-C；杨，LQ，具有4类约束的圆锥规划的收敛3块半近似交替方向乘子法，SIAM J.Optim。，25, 2, 882-915 (2015) ·Zbl 1328.90083号
[49] Teo，中国；SVN维什瓦纳坦；Smola，A。；V.Le，Q.，正则化风险最小化的束方法，J.Mach。学习。研究，11，313-365（2010）·Zbl 1242.68253号
[50] Toh，K-C，通过增广系统上的迭代求解器求解大规模半定程序，SIAM J.Optim。，14, 670-698 (2004) ·Zbl 1071.90026号
[51] Toh，K-C，凸二次SDP的不精确原对偶路径允许算法，数学。程序。，112, 1, 221-254 (2008) ·Zbl 1136.90027号
[52] Trick，M.，Chvatal，V.，Cook，W.，Johnson，D.，McGeoch，C.，Tarjan，R.：第二个DIMACS实现挑战：NP难题：最大团、图着色和可满足性。罗格斯大学（1992）。http://dimacs.rutgers.edu/Challenges/。2019年8月16日访问
[53] 王，B。；Zou，H.，《距离加权歧视的另一个视角》，J.R.Stat.Soc.B，80177-198（2018）·Zbl 1380.62028号
[54] Wiegele，A.：Biq Mac库——中等大小的Max-Cut和二次（0-1）编程实例的集合。技术报告（2007年）。http://biqmac.uni-klu.ac.at/biqmaclib.pdf。2019年8月16日访问
[55] 严，Z。；高，SY；Teo，CP，《关于作战中稀疏但高效结构的设计》，Manag。科学。，64, 2973-3468 (2018)
[56] 杨，LQ；孙，DF；Toh，K-C，SDPNAL+：非负约束半定规划的优化半光滑Newton-CG增广拉格朗日方法，数学。程序。计算。，7, 331-366 (2015) ·Zbl 1321.90085号
[57] Zhang，N.、Wu，J.、Zhang、L.W.：凸组合规划的具有不确定近端项的线性收敛优化ADMM及其应用（2018）。arXiv:1706.01698v2·Zbl 1441.90123号
[58] XY赵；孙，DF；Toh，K-C，半定规划的Newton-CG增广拉格朗日方法，SIAM J.Optim。，20, 1737-1765 (2010) ·Zbl 1213.90175号
[59] 朱，H。；卡诺，A。；Giannakis，GB，《分布式基于共识的解调：算法和错误分析》，IEEE Trans。Wirel公司。社区。，9, 2044-2054 (2010)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。