×
林天一;马世谦;叶银玉;张树忠

一种基于ADMM的大规模线性规划内点方法。 （英语） Zbl 1470.90048号

优化。方法软件。 36，编号2-3，389-424（2021）.
摘要：在本文中，我们提出了一个实现内点法（IPM）的新框架，以解决一些非常大规模的线性规划（LP）。传统的IPM通常使用牛顿方法来近似求解子问题，该子问题旨在在每次迭代时最小化对数屏障惩罚函数。由于IPM与牛顿方法的联系，IPM通常被归类为二阶方法–一种以牺牲可扩展性为代价而附加稳定性和准确性的流派。事实上，计算牛顿步长相当于求解一个大型线性方程组，如果输入数据大小合理和/或稀疏和/或结构良好，则可以有效地实现该系统。然而，如果上述前提失败，那么传统IPM仍面临挑战。为了应对这一挑战，一种方法是应用预处理共轭梯度法等迭代程序来求解线性方程组。由于线性系统在每次迭代中都是不同的，很难找到好的预处理来实现整体求解效率。本文提出了一种替代方法。在齐次自对偶嵌入LP模型的原-对偶路径允许框架下，我们采用交替方向乘数法（ADMM）来近似最小化每次迭代的对数-载波惩罚函数，而不是应用牛顿法。由此产生的算法是基于ADMM的内点方法，缩写为阿比普在本文中。新方法继承了IPM的稳定性和ADMM的可扩展性。由于其自对偶嵌入结构，ABIP公司旨在解决任何LP，而无需事先了解其可行性。我们进行了大量的数值实验测试ABIP公司使用NETLIB和机器学习应用程序的大规模LP。结果表明：ABIP公司与其他LP解决方案相比，具有优势，包括SDPT3型,莫斯科,DSDP-CG公司和SCS公司.

引用于4文件

MSC公司：

90C05（二氧化碳） 线性规划
90C06型 数学规划中的大尺度问题
90摄氏51度 内部点方法

关键词：

线性规划;齐次自对偶嵌入;内点法;中心路径跟随;ADMM公司;迭代复杂性

软件：

莫塞克;C解析;SCS公司;SDPNAL公司+;RecPF公司;质量保证;科尔;AMD公司;低密度脂蛋白;SDPT3型;ABIP公司
PDF格式BibTeX公司 XML格式引用
\textit{T.Lin}等人，Optim。方法软件。36，编号2--3389--424（2021；Zbl 1470.90048）
全文： 内政部 arXiv公司

参考文献：

[1] 中华人民共和国埃姆斯泰。；Davis，T.A。；Duff，I.S.，算法837:AMD，一种近似最小度排序算法，ACM Trans。数学。软质。，30, 3, 381-388 (2004) ·Zbl 1070.65534号
[2] Andersen，E.D.，线性优化的齐次自对偶模型和算法，技术报告TR-1-2009，MOSEK ApS。，2009
[3] 安德森，E.D。；Andersen，K.D.，线性规划预解，数学。程序。，71, 2, 221-245 (1995) ·Zbl 0846.90068号
[4] Barzilai，J。；Borwein，J.M.，两点步长梯度法，IMA J.Numer。分析。，8, 1, 141-148 (1988) ·Zbl 0638.65055号
[5] 拜耳，D.A。；Lagarias，J.C.，线性规划的非线性几何。I.仿射和投影缩放轨迹。美国数学。《社会学杂志》，314，2，499-526（1989）·Zbl 0671.90045号
[6] Benson，S.J。；Ye，Y。；张欣，求解大型稀疏半定组合优化问题，SIAM J.Optim。，10, 2, 443-461 (2000) ·Zbl 0997.90059号
[7] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，Found。趋势马赫数。学习。，3, 1, 1-122 (2011) ·Zbl 1229.90122号
[8] 蔡，T。；刘伟。；Luo，X.，稀疏精度矩阵估计的约束（####）最小化方法，美国统计协会，106，494，594-607（2011）·Zbl 1232.62087号
[9] 组合，P.L。；Pesquet，J.-C.，非光滑凸变分信号恢复的Douglas-Rachford分裂方法，IEEE J.Sel。顶部。信号处理。，1, 4, 564-574 (2007)
[10] 崔，Y。；Morikuni，K。；Tsuchiya，T。；Hayami，K.，基于Krylov子空间迭代求解器的LP内点方法的实现，带迭代预处理，计算。优化。应用。，74, 1, 143-176 (2019) ·Zbl 1427.90289号
[11] Dantzig，G.B.，《线性规划与扩展》（1963年），普林斯顿大学出版社：普林斯顿大学出版，新泽西州普林斯顿·Zbl 0108.33103号
[12] Davis，T.A.，《算法849：简明的稀疏Cholesky因子分解包》，ACM Trans。数学。软质。，2005年4月31日，第587-591页·Zbl 1136.65311号
[13] Davis，T.A.，《稀疏线性系统的直接方法》（2006），SIAM:SIAM，Philadephia·Zbl 1119.65021号
[14] Eckstein，J.，凸程序的并行交替方向乘数分解，J.Optim。理论应用。，80, 1, 39-62 (1994) ·Zbl 0797.90075号
[15] Eckstein，J.，凸优化的增广拉格朗日和交替方向方法：教程和一些说明性计算结果，预印本（2012）。
[16] 埃克斯坦，J。；Bertsekas，D.P.，关于最大单调算子的Douglas-Rachford分裂方法和近点算法，数学。程序。，55, 1, 293-318 (1992) ·Zbl 0765.90073号
[17] 福廷，M。；Glowinski，R.，《增广拉格朗日方法：在边值问题数值解中的应用》（1983），北韩出版社。公司：North-Holland Pub。Co.，阿姆斯特丹·Zbl 0525.65045号
[18] Fountoulakis，K。；J.Gondzio。；Zhlobich，P.，压缩传感问题的无矩阵内点法，数学。程序。计算。，6, 1-31 (2014) ·Zbl 1304.90137号
[19] Gabay，D.，《乘子方法在变分不等式中的应用》，载于《增广拉格朗日方法：边值问题的应用》（Augmented Lagrangian Methods：Applications to the Solution of Boundary Value Problems），M.Fortin and R.Glowinski，eds.，North-Holland，Amsterdam，1983年·Zbl 0561.90029号
[20] 吉尔，体育。；默里，W。；桑德斯，医学硕士。；汤姆林，J.A。；Wright，M.H.，《关于线性规划的投影牛顿障碍法及其与Karmarkar投影法的等价性》，Math。程序。，36, 2, 183-209 (1986) ·Zbl 0624.90062号
[21] 格洛温斯基，R。；Le Tallec，P.，《非线性力学中的增广拉格朗日和算子分裂方法》（1989），SIAM:SIAM，Philadelphia，PA·Zbl 0698.73001号
[22] 格洛温斯基，R。；Marrocco，A.，Sur l’approximation parèlèments finis et la rèrès solution parñnalisation qualite d'une class de dirichlet problemes de non linèaires，RAIRO，r-2，41-76（1975）·Zbl 0368.65053号
[23] Goldstein，T。；Osher，S.，《L1正则化问题的分裂Bregman方法》，SIAM J.成像科学。，2, 323-343 (2009) ·Zbl 1177.65088号
[24] Gondzio，J.，在应用内点法之前对线性程序进行预求解分析，Informs J.Comput。，9，173-91（1997年）·Zbl 0890.90143号
[25] Gondzio，J.，《25年后的内部点方法》，欧洲期刊Oper。研究，218，3587-601（2012）·Zbl 1244.90007号
[26] Gondzio，J.，无矩阵内点法，计算。优化。应用。，51, 457-480 (2012) ·Zbl 1241.90179号
[27] 古尔德，N。；Toint，P.L.，二次规划的预处理，数学。程序。，100, 1, 95-132 (2004) ·兹比尔1146.90491
[28] 他，B.S。；Yang，H。；Wang，S.L.，单调变分不等式的自适应惩罚参数交替方向法，J.Optim。理论应用。，106, 2, 337-356 (2000) ·Zbl 0997.49008号
[29] Iri，M。；Imai，H.，线性规划的乘法障碍函数法，算法，1,1-4455-482（1986）·Zbl 0641.90048号
[30] Karmarkar，N.K.，线性规划的新多项式时间算法，组合数学，4373-395（1984）·Zbl 0557.90065号
[31] 狮子，P.L。；Mercier，B.，两个非线性算子之和的分裂算法，SIAM J.Numer。分析。，16, 964-979 (1979) ·Zbl 0426.6500号
[32] 梅吉多，N.，《数学编程进展》（1989），施普林格出版社：施普林格，纽约州纽约市·Zbl 0669.00026号
[33] Mehrotra，S.，关于原对偶内点方法的实现，SIAM J.Optim。，2, 4, 575-601 (1992) ·Zbl 0773.90047号
[34] 梅萨罗斯，C。；Suhl，U.H.，线性和二次规划的高级预处理技术，OR Spectrum，25，4，575-595（2003）·Zbl 1042.90031号
[35] 内斯特罗夫，Y。；Nemirovskii，A.，凸规划中的内点多项式算法（1994），SIAM:SIAM，宾夕法尼亚州费城·Zbl 0824.90112号
[36] O’Donoghue，B。；朱，E。；Parikh，北。；Boyd，S.，通过算子分裂和齐次自对偶嵌入的圆锥优化，J.Optim。理论应用。，169, 3, 1042-1068 (2016) ·Zbl 1342.90136号
[37] O’Donoghue，B。；Stathopoulos，G。；Boyd，S.，最优控制的分裂方法，IEEE Trans。控制系统。技术。，21, 6, 2432-2442 (2013)
[38] 波顿，A。；Fan，C.-J.，计算稀疏矩阵的块三角形式，ACM Trans。数学。软质。，16, 4, 303-324 (1990) ·Zbl 0900.65117号
[39] 出版社，W.H。；Teukolsky，S.A。；韦特林，W.T。；弗兰纳里，B.P.，《数字食谱：科学计算的艺术》（2007），剑桥大学出版社：剑桥大学出版社，纽约·Zbl 1132.65001号
[40] Renegar，J.，基于牛顿法的多项式时间算法，用于线性规划，数学。程序。，40, 1, 59-93 (1988) ·Zbl 0654.90050号
[41] Saad，Y.，《稀疏线性系统的迭代方法》，82（2003），SIAM:SIAM，宾夕法尼亚州费城·Zbl 1002.65042号
[42] Sonnevend，G.，《系统建模与优化》中多面体的“分析中心”和线性（光滑、凸）规划的新类全局算法。《控制与信息科学讲义》，第84卷，A.Prékopa、J.Szelezzáan和B.Strazicky编辑，施普林格，柏林，海德堡，1986年，第866-875页·Zbl 0602.90106号
[43] Sturm，J.F。；Zhang，S.，《关于线性规划的宽中心区域和原对偶内点算法》，数学。操作。决议，22，408-431（1997）·Zbl 0883.9003号
[44] TüTüncü，R.H。；Toh，K.-C。；Todd，M.J.，使用SDPT3求解半定二次线性程序，数学。程序。，95, 2, 189-217 (2003) ·Zbl 1030.90082号
[45] Wang，S.和Shroff，N.，《线性规划的一种新的交替方向方法》，NIPS，2017年，第1479-1487页。
[46] Watkins，D.S.，《矩阵计算基础》，64（2004），John Wiley&Sons：John Willey&Sons，纽约州纽约市
[47] 温，Z。；Goldfarb，D。；Yin，W.，半定规划的交替方向增广拉格朗日方法，数学。程序。计算。，2, 3, 203-230 (2010) ·Zbl 1206.90088号
[48] Xu，X。；洪，P.-F。；Ye，Y.，一种简化的齐次自对偶线性规划算法及其实现，Ann.Oper。决议，62，151-171（1996）·Zbl 0848.90095号
[49] Xu，Z.、Figueiredo，M.和Goldstein，T.，带频谱惩罚参数选择的自适应ADMM，载于AISTATS，2017年，第718-727页。
[50] 杨，J。；Zhang，Y.，《压缩传感中（####）问题的交替方向算法》，SIAM J.Sci。计算。，33, 1, 250-278 (2011) ·Zbl 1256.65060号
[51] 杨，J。；Zhang，Y。；Yin，W.，从部分傅里叶数据重建TVL1-L2信号的快速交替方向方法，IEEE J.Sel。主题信号处理。压缩传感专刊，4，2，288-297（2010）
[52] Yang，L。；Sun，D。；Toh，K-C.，SDPNAL+：非负约束半定规划的一种优化半光滑Newton-CG增广拉格朗日方法，数学。程序。计算。，7, 3, 331-366 (2015) ·Zbl 1321.90085号
[53] Ye，Y.，《内点算法：理论与分析》（1997），威利父子公司：威利父女公司，纽约·Zbl 0943.90070号
[54] Ye，Y。；Kojima，M.，在线性规划的Karmarkar多项式时间算法中恢复最优对偶解，数学。程序。，39, 3, 305-317 (1987) ·Zbl 0639.90062号
[55] Ye，Y。；托德，M.J。；Mizuno，S.，An\（####）-迭代齐次和自对偶线性规划算法，数学。操作。决议，19，1，53-67（1994）·Zbl 0799.90087号
[56] Yen，I.E-H.，Zhong，K.，Hsieh，C-J.，Ravikumar，P.K.和Dhillon，I.S.，《通过原始和双重增广坐标下降的稀疏线性规划》，NIPS，2015年，第2368-2376页。
[57] 周，B。；高，L。；Dai，Y-H.，自适应步长梯度法，计算。优化。应用。，35, 1, 69-86 (2006) ·Zbl 1121.90099
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。