×
克里斯托弗·福格纳；斯蒂芬·博伊德

图形形式求解器的参数选择和预处理。 （英语） 兹比尔1407.93126

Tempo，Roberto（编辑）等人，控制和系统理论的新兴应用。纪念马图库马利·维迪亚萨加的节日。基于2017年9月在美国德克萨斯州达拉斯市德克萨斯大学EACST’17研讨会上的受邀演讲。查姆：斯普林格。莱克特。票据控制信息科学–程序。，41-61 (2018).
摘要：在“分布式优化中的块分裂”一章中，Parikh和Boyd描述了一种解决凸优化问题的方法，其中每次迭代都涉及计算一个最近算子并将其投影到子空间。在本章中，我们讨论了关键的实际问题，即如何在每次迭代中选择最接近的参数，以及如何缩放原始问题变量，以获得可靠的实际性能。由此产生的方法已作为一个名为POGS（Proximal Graph Solver）的开源软件包实现，该软件包面向多核和基于GPU的系统，并已在各种实际问题上进行了测试。数值结果表明，POGS可以在几十秒内解决非常大的问题（例如，数据中有十亿个系数），达到中等精度，而使用内部点方法处理类似问题需要花费数小时。
关于整个系列，请参见[Zbl 1404.93001号].

引用于8文件

MSC公司：

93B40码 系统理论中的计算方法（MSC2010）
90C25型 凸面编程
93年2月25日 代数方法
93-04 系统和控制理论相关问题的软件、源代码等

软件：

BADMM公司；CRAIG公司；POGS公司；AlexNet公司；SDPT3型；取消锁定BoX；巧克力；ImageNet公司；LSQR（LSQR）
PDF格式BibTeX公司 XML格式引用
\textit{C.Fougner}和\textit{S.Boyd}，in：控制和系统理论的新兴应用。纪念马图库马利·维迪亚萨加的节日。基于2017年9月在美国德克萨斯州达拉斯市德克萨斯大学EACST’17研讨会上的受邀演讲。查姆：斯普林格。41-61（2018年；Zbl 1407.93126）
全文： 内政部 arXiv公司

参考文献：

[1] Briceno-Arias，L.M.，Combettes，P.L.：二元复合单调包含的单调+斜分裂模型。SIAM J.Optim公司。21(4), 1230-1250 (2011) ·兹伯利1239.47053 ·数字对象标识码：10.1137/10081602X
[2] Briceno-Arias，L.M.，Combettes，P.L.，Pesquet，J.C.，Pustelnik，N.：多分量图像恢复问题的近似算法。数学杂志。成像视觉。41（1-2），3-22（2011）·Zbl 1255.68213号 ·doi:10.1007/s10851-010-0243-1
[3] Boyd，S.，El Ghaoui，L.，Feron，E.，Balakrishnan，V.：《系统和控制理论中的线性矩阵不等式》，第15卷。SIAM（1994）·Zbl 0816.93004号
[4] Boyd，S.、Mueller，M.、O'Donoghue，B.、Wang，Y.：多期投资的绩效边界和次优政策。已找到。趋势优化。1(1), 1-69 (2013)
[5] Boyd，S.、Parikh，N.、Chu，E.、Peleato，B.、Eckstein，J.：通过交替方向乘数法进行分布式优化和统计学习。已找到。趋势马赫数。学习。3(1), 1-122 (2011) ·Zbl 1229.90122号 ·doi:10.1561/220000016
[6] Bradley，A.M.：矩阵平衡算法及其在有限记忆拟Newton方法中的应用。博士论文。斯坦福大学（2010）
[7] Ben-Tal，A.，Nemirovski，A.：现代凸优化讲座：分析、算法和工程应用，第2卷。SIAM（2001）·Zbl 0986.90032号
[8] Boyd，S.，Vandenberghe，L.：凸优化。剑桥大学出版社（2004）·Zbl 1058.90049号
[9] Chen，Y.，Davis，T.A.，Hager，W.W.，Rajamanickam，S.：算法887:CHOLMOD，超节点稀疏Cholesky因子分解和更新/停机。ACM事务处理。数学。柔和。35(3), 22 (2008) ·doi:10.1145/1391989.1391995
[10] Boyd，S.，Fougner，C.：图形形式解算器的参数选择和预处理（2015）。www.stanford.edu/boyd/papers/pogs.html·兹比尔1407.93126
[11] Coates，A.、Huval，B.、Wang，T.、Wu，D.、Catanzaro，B.、Ng，A.Y.：COTS HPC系统的深度学习。摘自：《第三十届机器学习国际会议论文集》，第1337-1345页（2013）
[12] Calamai，P.H.，Moré，J.J.：线性约束问题的投影梯度法。数学。程序。39(1), 93-116 (1987) ·Zbl 0634.90064号 ·doi:10.1007/BF02592073
[13] Chu，E.，O'Donoghue，B.，Parikh，N.，Boyd，S.：二次曲线优化的原对偶算子分裂方法（2013）·Zbl 1342.90136号
[14] Chambolle，A.，Pock，T.：凸问题的一阶原对偶算法及其在成像中的应用。数学杂志。成像视觉。40(1), 120-145 (2011) ·兹比尔1255.68217 ·doi:10.1007/s10851-010-0251-1
[15] Combettes，P.L.，Pesquet，J.C.：信号处理中的近距离分裂方法。摘自：《科学与工程反问题的定点算法》，第185-212页。施普林格（2011）·Zbl 1242.90160号
[16] Combettes，P.L.，Wajs，V.R.：通过近端前向-后向分裂恢复信号。多尺度模型。模拟。4(4), 1168-1200 (2005) ·Zbl 1179.94031号 ·doi:10.1137/050626090
[17] Douglas，J.，Rachford，H.H.：关于两个和三个空间变量中热传导问题的数值解。事务处理。美国数学。Soc.421-439（1956年）·Zbl 0070.35401号
[18] Davis，D.，Yin，W.：几种分裂方案的收敛速度分析（2014）。arXiv公司：1406.4834·Zbl 1372.65168号
[19] Eckstein，J.，Bertsekas，D.P.：关于最大单调算子的Douglas-Rachford分裂方法和近点算法。数学。程序。55(1-3), 293-318 (1992) ·Zbl 0765.90073号 ·doi:10.1007/BF01581204
[20] Eckstein，J.，Svaiter，B.F.：两个最大单调算子之和的射影分裂方法家族。数学。程序。111(1-2), 173-199 (2008) ·Zbl 1134.47048号
[21] Giselsson，P.，Boyd，S.：Douglas-Rachford分裂和ADMM中的对角线缩放。In:第53届IEEE决策与控制会议（2014年）·Zbl 1364.90256号
[22] Giselsson，P.，Boyd，S.：Douglas-Rachford分裂和ADMM中的公制选择（2014）。arXiv:1410.8479·Zbl 1364.90256号
[23] Giselsson，P.，Boyd，S.：快速双梯度方法中的预处理。In:第53届IEEE决策与控制会议（2014年）·Zbl 1330.49032号
[24] P.吉塞尔松。Douglas-Rachford分裂和ADMM（2015）的严格线性收敛速度界限。arXiv公司：1503.00887·Zbl 1380.65104号
[25] Glowinski，R.，Marroco，A.：Sur l’A approximation，par \（acute{\rm{e}}\）l \（acete{\orm{m}}）ents finish d’ordre un，et-la Résolution，parénalisation qualityéd’une class de Problemes de Dirichlet nonéaires。数学。模型。数字。分析。9（R2），41-76（1975）·Zbl 0368.65053号
[26] Goldstein，T.、O'Donoghue，B.、Setzer，S.、Baraniuk，R.：快速交替方向优化方法。SIAM J.成像科学。7(3), 1588-1623 (2014) ·Zbl 1314.49019号 ·doi:10.1137/120896219
[27] Ghadimi，E.，Teixeira，A.，Shames，I.，Johansson，M.：交替方向乘数法（ADMM）的最佳参数选择：二次问题。IEEE传输。自动。控制60，644-658（2013）·Zbl 1360.90182号 ·doi:10.10109/TAC.2014.2354892
[28] Hestenes，M.R.，Stiefel，E.：求解线性系统的共轭梯度方法。《国家研究杂志》。伯尔。站立。49(6), 409-436 (1952) ·Zbl 0048.09901号 ·doi:10.6028/jres.049.044
[29] Hastie，T.、Tibshirani，R.、Friedman，T.：统计学习的要素。施普林格（2009）·Zbl 1273.62005年
[30] He，B.S.，Yang，H.，Wang，S.L.：单调变分不等式的自适应惩罚参数交替方向法。J.优化。理论应用。106(2), 337-356 (2000) ·Zbl 0997.49008号 ·doi:10.1023/A:1004603514434
[31] Krizhevsky，A.，Sutskever，I.，Hinton，G.E.：基于深度卷积神经网络的Imagenet分类。高级神经信息处理。系统。1097-1105 (2012)
[32] Lions，P.L.，Mercier，B.：两个非线性算子之和的分裂算法。SIAM J.数字。分析。16(6), 964-979 (1979) ·兹比尔0426.65050 ·doi:10.1137/0716071
[33] Ngiam，J.、Coates，A.、Lahiri，A.、Prochnow，B.、Le，Q.V.、Ng，A.Y.：关于深度学习的优化方法。摘自：《第28届机器学习国际会议论文集》，第265-272页（2011年）
[34] Nishihara，R.，Lessard，L.，Recht，B.，Packard，A.，Jordan，M.I.：ADMM趋同的一般分析（2015）。arXiv:1502.02009年
[35] Nocedal，J.，Wright，S.：数值优化，第2卷。斯普林格（1999）·Zbl 0930.65067号
[36] O'Donoghue，B.，Stathopoulos，G.，Boyd，S.：最优控制的分裂方法。IEEE传输。控制系统。Technol公司。21（6），2432-2442（2013）·doi:10.1109/TCST.2012.2231960
[37] O'Connor，D.，Vandenberghe，L.：算子分裂的原对偶分解及其在图像去模糊中的应用。SIAM J.成像科学。7(3), 1724-1754 (2014) ·Zbl 1309.65069号 ·数字对象标识码：10.1137/13094671X
[38] Olafsson，A.，Wright，S.：稳健IMRT治疗规划的有效方案。物理。医学生物学。51(21), 5621-5642 (2006) ·doi:10.1088/0031-9155/51/2016
[39] Parikh，N.，Boyd，S.：分布式优化的块分割。数学。程序。计算。1-26 (2013) ·Zbl 1305.90291号
[40] Parikh，N.，Boyd，S.：近似算法。已找到。趋势优化。1(3), 123-231 (2013)
[41] Pock，T.，Chambolle，A.：凸优化中一阶原对偶算法的对角线预处理。IEEE国际协调计算。视觉。1762-1769 (2011)
[42] Polyak，B.：优化导论。纽约出版部Optimization Software Inc.（1987年）·Zbl 0708.90083号
[43] Pesquet，J.C.，Pustelnik，N.：一种并行惯性近似优化方法。派克靴。J.优化。8(2), 273-305 (2012) ·Zbl 1259.47080号
[44] Paige，C.C.，Saunders，M.A.：线性方程组稀疏不定系统的求解。SIAM J，数字。分析。12(4), 617-629 (1975) ·兹伯利0319.65025 ·数字对象标识代码：10.1137/0712047
[45] Paige，C.C.，Saunders，M.A.：LSQR：稀疏线性方程组和稀疏最小二乘的算法。ACM事务处理。数学。柔和。8（1），43-71（1982）·Zbl 0478.65016号 ·数字对象标识代码：10.1145/355984.355989
[46] Ruiz，D.：平衡矩阵中行和列规范的缩放算法。技术报告，卢瑟福阿普尔顿实验室（2001）（技术报告RAL-TR-2001-034）
[47] 肖尔，N.Z.：不可微优化和多项式问题。Kluwer学术出版社（1998）·Zbl 0901.49015号
[48] Sinkhorn，R.，Knopp，P.：关于非负矩阵和双重随机矩阵。派克靴。数学杂志。21(2), 343-348 (1967) ·Zbl 0152.01403号 ·doi:10.2140/pjm.1967.21.343
[49] Spingarn，J.E.：部分逆方法在凸规划中的应用：分解。数学。程序。32(2), 199-223 (1985) ·Zbl 0565.90058号 ·doi:10.1007/BF01586091
[50] Toh，K.，Todd，M.J.，TüTüncü，R.H.：SDPT3-半定编程的MATLAB软件包，1.3版。最佳方案。方法软件。11(1-4), 545-581 (1999) ·Zbl 0997.90060号 ·doi:10.1080/10556789908805762
[51] Vanderbei，R.J.：对称拟定矩阵。SIAM J.Optim公司。5(1), 100-113 (1995) ·Zbl 0822.65017 ·数字对象标识代码：10.1137/0805005
[52] Wang，H.，Banerjee，A.：Bregman交替方向乘数法。高级神经信息处理。系统。2816-2824（2014年）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。