巴尔托洛梅奥·斯特拉托;戈兰·班雅克;保罗·古拉特;阿尔贝托·本普拉德;斯蒂芬·博伊德 OSQP：二次规划的算子分裂求解器。 （英语） Zbl 1452.90236号 数学。程序。计算。 12，第4期，637-672（2020年）。 摘要：我们提出了一种基于交替方向乘法器方法的凸二次规划通用求解器，采用了一种新的算子分裂技术，该技术要求在几乎每次迭代时都求解具有相同系数矩阵的准定线性系统。我们的算法非常稳健，对问题数据没有任何要求，例如目标函数的正定性或约束函数的线性独立性。一旦执行了初始矩阵分解，就可以将其配置为无除法，使其适合于嵌入式系统中的实时应用。此外，我们的技术是第一个能够从算法迭代中可靠地检测原始和对偶不可行问题的二次规划算子分裂方法。该方法还支持因子分解缓存和热启动，使其在解决金融、控制和机器学习中出现的参数化问题时特别有效。我们的开源C实现OSQP占用空间小，无需库，并且已经在广泛应用领域的许多问题实例上进行了广泛测试。它通常比竞争的内部点方法快十倍，有时在使用因子分解缓存或热启动时要快得多。OSQP已经对学术界和大公司的数万用户产生了巨大影响。 引用于48文件 MSC公司： 90C20个 二次规划 65千5 数值数学规划方法 65K10码 数值优化和变分技术 90立方厘米25 凸面编程 90C06型 数学规划中的大尺度问题 90立方厘米 数学规划中的最优性条件和对偶性 90 C90 数学规划的应用 关键词：优化;二次规划;运算符拆分;一阶方法 软件：qpOASES公司;低密度脂蛋白;YALMIP公司;AMD公司;莫塞克;优化软件基准;稀疏矩阵;古罗比;OOQP（OOQP）;机器人学;MKL公司;CVXGEN公司;C解析;ECOS公司;量子低密度脂蛋白;SCS公司;NETLIB LP测试集;CVXPY公司;github;OSQP公司;POGS公司;CVX投资组合;JuMP公司 PDF格式BibTeX公司 XML格式引用 \textit{B.Stellato}等人，数学。程序。计算。12，第4号，637--672（2020；Zbl 1452.90236） 全文： 内政部 arXiv公司 参考文献： [1] 阿格拉瓦尔。；Verschueren，R。；钻石，S。；Boyd，S.，凸优化问题的重写系统，J.Control Decis。，5, 1, 42-60 (2018) ·doi:10.1080/2307706.2017.1397554 [2] Allgöwer，F。；TA Badgwell；秦，JS；罗林斯，JB；SJ Wright，《非线性预测控制和移动地平线估计——简介》，391-449（1999），伦敦：斯普林格出版社，伦敦 [3] 公共关系部埃姆斯泰；TA Davis；达夫，IS，算法837:AMD，近似最小度排序算法，ACM-Trans。数学。软质。，30, 3, 381-388 (2004) ·Zbl 1070.65534号 [4] Balakrishnan，H.，Hwang，I.，Tomlin，C.J.：身份管理中信念矩阵维护的多项式近似算法。摘自：IEEE决策与控制会议（CDC），第4874-4879页（2004） [5] Banjac，G。；Goulart，P.，算子分裂方法的紧全局线性收敛速度界，IEEE Trans。自动化。控制，63，12，4126-4139（2018）·Zbl 1423.90175号 ·doi:10.1109/TAC.2018.2808442 [6] Banjac，G。；Goulart，P。；斯特拉托，B。；Boyd，S.，凸优化乘数交替方向法中的不可行性检测，J.Optim。理论应用。，183, 2, 490-519 (2019) ·Zbl 1429.90050 ·doi:10.1007/s10957-019-01575-y [7] Banjac，G.、Stellato，B.、Moehle，N.、Goulart，P.、Bempoad，A.、Boyd，S.：使用OSQP解算器生成嵌入式代码。在：IEEE决策与控制会议（CDC）（2017） [8] Bauschke，HH；Borwein，JM，《关于求解凸可行性问题的投影算法》，SIAM Rev.，38，3，367-426（1996）·Zbl 0865.47039号 [9] Bauschke，HH；组合，PL，希尔伯特空间中的凸分析和单调算子理论（2011），柏林：施普林格出版社，柏林·Zbl 1218.47001号 [10] 贝洛蒂，P。；柯奇斯，C。；莱弗，S。；林德拉斯，J。；卢埃特克，J。；Mahajan，A.，《混合整数非线性优化》，《数值学报》。，22, 1-131 (2013) ·Zbl 1291.65172号 [11] Benzi，M.，《大型线性系统的预处理技术：综述》，J.Comput。物理。，182, 2, 418-477 (2002) ·Zbl 1015.65018号 [12] 博雷利，F。；Bemporad，A。；Morari，M.，《线性和混合系统的预测控制》（2017），剑桥：剑桥大学出版社，剑桥·Zbl 1365.93003号 [13] 博伊德，S。；Busseti，E。；钻石，S。；卡恩，注册护士；Koh，K。；Nystrup，P。；Speth，J.，通过凸优化的多周期交易，发现。最佳趋势。，3, 1, 1-76 (2017) ·doi:10.1561/24000023 [14] 博伊德，S。；El Ghaoui，L。；Feron，E。；Balakrishnan，V.，《系统和控制理论中的线性矩阵不等式》（1994），费城：工业和应用数学学会，费城·Zbl 0816.93004号 [15] 博伊德，S。；米勒，MT；奥多诺休，B。；Wang，Y.，多期投资的绩效边界和次优政策，Found。最佳趋势。，1, 1, 1-72 (2014) [16] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，Found。趋势马赫数。学习。，3, 1, 1-122 (2011) ·Zbl 1229.90122号 [17] 博伊德，S。；Vandenberghe，L.，凸优化（2004），剑桥：剑桥大学出版社，剑桥·Zbl 1058.90049号 [18] Bradley，A.：矩阵平衡算法及其在有限记忆拟Newton方法中的应用。斯坦福大学博士论文（2010） [19] 坎德斯，EJ；Wakin，MB；Boyd，S.，通过重新加权\（\ell_1\）最小化增强稀疏性，J.傅立叶分析。申请。，14, 5, 877-905 (2008) ·Zbl 1176.94014号 [20] Cornuejols，G。；TüTüncü，R.，《金融优化方法》。《金融与风险》（2006），剑桥：剑桥大学出版社，剑桥 [21] 科尔特斯，C。；Vapnik，V.，支持向量网络，马赫。学习。，20273-297（1995年）·Zbl 0831.68098号 [22] 英国丹齐格，《线性规划与扩展》（1963），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 0108.33103号 [23] Davis，TA，Algorithm 849：一个简明的稀疏Cholesky因子分解包，ACM Trans。数学。软质。，31, 4, 587-591 (2005) ·Zbl 1136.65311号 [24] Davis，TA，《稀疏线性系统的直接方法》（2006），费城：工业和应用数学学会，费城·Zbl 1119.65021号 [25] TA Davis；Hu，Y.，佛罗里达大学稀疏矩阵收集，ACM Trans。数学。软质。，38, 1, 1:1-1:25 (2011) ·Zbl 1365.65123号 ·doi:10.1145/2049662.2049663 [26] 钻石，S。；Boyd，S.，CVXPY：一种用于凸优化的嵌入python的建模语言，J.Mach。学习。第17、83、1-5号决议（2016年）·Zbl 1360.90008号 [27] 钻石，S。；Boyd，S.，《随机无矩阵平衡》，J.Optim。理论应用。，172, 2, 436-454 (2017) ·Zbl 1367.65068号 [28] Diehl，M。；费罗，HJ；Haverbeke，N.，《非线性MPC和移动地平线估计的有效数值方法》，391-417（2009），柏林：施普林格出版社，柏林·Zbl 1195.93038号 [29] Dolan，ED；Moré，JJ，带性能配置文件的基准优化软件，数学。程序。，201-213年2月91日（2002年）·邮编：1049.90004 [30] Domahidi，A.，Chu，E.，Boyd，S.：ECOS：嵌入式系统的SOCP求解器。摘自：欧洲控制会议（ECC），第3071-3076页（2013年） [31] 道格拉斯，J。；Rachford，HH，关于两个和三个空间变量中热传导问题的数值解，Trans。美国数学。Soc.，82，2，421-439（1956年）·Zbl 0070.35401号 [32] 达夫，IS；埃里斯曼，AM；Reid，JK，稀疏矩阵的直接方法（1989），伦敦：牛津大学出版社，伦敦·Zbl 0666.65024号 [33] 邓宁，I。；哈切特，J。；Lubin，M.，JuMP：数学优化建模语言，SIAM Rev.，59，2，295-320（2017）·Zbl 1368.90002号 [34] Eckstein，J.，凸程序的并行交替方向乘数分解，J.Optim。理论应用。，80，1，39-62（1994年）·Zbl 0797.90075号 [35] 埃克斯坦，J。；Ferris，MC，单调仿射变分不等式的算子分裂方法，及其在最优控制中的并行应用，INFORMS J.Compute。，10, 2, 218-235 (1998) ·Zbl 1034.90531号 [36] 费罗，HJ；柯奇斯，C。；Potschka，A。；博克，HG；Diehl，M.，qpOASES:二次规划的参数活动集算法，数学。程序。计算。，6, 4, 327-363 (2014) ·Zbl 1302.90146号 [37] 弗莱彻，R。；Leyffer，S.，MIQP分界下限的数值经验，SIAM J.Optim。，8, 2, 604-616 (1998) ·Zbl 0912.90225号 [38] Fougner，C。；Boyd，S.，《图形形式解算器的参数选择和预处理》，41-61（2018），柏林：施普林格出版社，柏林·Zbl 1407.93126号 [39] M.弗兰克。；Wolfe，P.，二次规划算法，海军研究日志。Q.，3，1-2，95-110（1956） [40] Gabay，D.，第九章乘数法在变分不等式中的应用，数学研究。申请。，15, 299-331 (1983) [41] 加贝，D。；Mercier，B.，通过有限元近似解非线性变分问题的对偶算法，计算。数学。申请。，2，1，17-40（1976年）·Zbl 0352.65034号 [42] 加西亚，行政长官；普雷特，DM；Morari，M.，《模型预测控制：理论与实践——一项调查》，Automatica，25，3，335-348（1989）·Zbl 0685.93029号 [43] 格茨，EM；Wright，SJ，面向对象的二次规划软件，ACM Trans。数学。软质。，29, 1, 58-81 (2003) ·Zbl 1068.90586号 [44] 加迪米，E。；Teixeira，A。；羞耻，I。；Johansson，M.，交替方向乘数法（ADMM）的最佳参数选择：二次问题，IEEE Trans。自动化。对照组，60，3464-658（2015）·Zbl 1360.90182号 [45] 吉尔，体育；默里，W。；马萨诸塞州桑德斯；日本汤姆林；Wright，MH，关于线性规划的投影牛顿屏障方法以及与Karmarkar投影方法的等价性，Math。程序。，36, 2, 183-209 (1986) ·Zbl 0624.90062号 [46] Giselsson，P。；Boyd，S.，《快速双向正向拆分中的公制选择》，Automatica，62，1-10（2015）·Zbl 1330.49032号 [47] Giselsson，P。；Boyd，S.，Douglas-Rachford分裂和ADMM的线性收敛和度量选择，IEEE Trans。自动化。控制，62，2，532-544（2017）·Zbl 1364.90256号 [48] 格洛温斯基，R。；Marroco，A.，《Sur l’A近似、参数定义和解决方案》，《非线性dirichlet问题的统一分类》，ESAIM:数学建模和数值分析-模型化数学与分析，9，R2，41-76（1975）·Zbl 0368.65053号 [49] Golub，生长激素；Van Loan，CF，矩阵计算（1996），巴尔的摩：约翰霍普金斯大学出版社，巴尔的摩尔·Zbl 0865.65009号 [50] Goulart，P.、Stellato，B.、Banjac，G.:QDLDL（2018）。https://github.com/oxfordcontrol/qdldl。2020年2月6日访问 [51] 古尔德，N。；Scott，J.，关于基准测试软件性能概要的注释，ACM Trans。数学。软质。，43，2，15:1-15:5（2016）·Zbl 1369.65202号 ·doi:10.1145/2950048 [52] Greenbaum，A.，《求解线性系统的迭代方法》（1997），费城：工业和应用数学学会，费城·Zbl 0883.65022号 [53] 古罗比优化公司：古罗比优化器参考手册（2016）。http://www.gurobi.com。2020年2月6日访问 [54] 他，理学学士；Yang，H。；Wang，SL，单调变分不等式的自适应惩罚参数交替方向法，J.Optim。理论应用。，106, 2, 337-356 (2000) ·Zbl 0997.49008号 [55] Huber，PJ，位置参数的稳健估计，Ann.Math。Stat.，35，1，73-101（1964）·Zbl 0136.39805号 [56] Huber，PJ，《稳健统计》（1981），纽约：威利出版社，纽约·Zbl 0536.62025号 [57] 英特尔公司：英特尔数学内核库。用户指南（2017） [58] Jerez，JL；PJ Goulart；里希特，S。；康斯坦丁德斯，佐治亚州；科里根，EC；Morari，M.，兆赫频率下模型预测控制的嵌入式在线优化，IEEE Trans。自动化。控制，59，12，3238-3251（2014）·Zbl 1360.93235号 [59] Kantorovich，L.：组织和规划生产的数学方法。管理。科学。6(4), 366-422 (1960). 英语翻译·Zbl 0995.90532号 [60] Karmarkar，N.，线性规划的新多项式时间算法，组合数学，4，4，373-395（1984）·Zbl 0557.90065号 [61] Kelley，C.，线性和非线性方程的迭代方法（1995），费城：工业和应用数学学会，费城·Zbl 0832.65046号 [62] Klee，V.，Minty，G.：单纯形算法有多好。华盛顿大学数学系，技术报告（1970年）·Zbl 0297.90047号 [63] 宾夕法尼亚州奈特；鲁伊斯，D。；Uçar，B.，矩阵缩放的对称保持算法，SIAM J.matrix Ana。申请。，35, 3, 931-955 (2014) ·Zbl 1329.65089号 [64] 狮子，PL；Mercier，B.，两个非线性算子之和的分裂算法，SIAM J.Numer。分析。，16, 6, 964-979 (1979) ·Zbl 0426.6500号 [65] Löfberg，J.：YALMIP：MATLAB中用于建模和优化的工具箱。摘自：IEEE机器人与自动化国际会议，第284-289页（2004年）。10.1109/加拿大.2004.1393890 [66] Mangasarian，OL；Musicant，DR，稳健线性和支持向量回归，IEEE Trans。模式分析。机器。智力。，22, 9, 950-955 (2000) ·doi:10.1109/34.877518 [67] Markowitz，H.，《投资组合选择》，J.Finance，7，1，77-91（1952） [68] 马罗斯，I。；Mészáros，C.，凸二次规划问题库，Optim。方法软件。，11, 1-4, 671-681 (1999) ·Zbl 0973.90520号 [69] 马丁利，J。；Boyd，S.，信号处理中的实时凸优化，IEEE信号处理。Mag.，27，3，50-61（2010） [70] 马丁利，J。；Boyd，S.，CVXGEN:嵌入式凸优化的代码生成器，Optim。工程，13，1，1-27（2012）·Zbl 1293.65095号 [71] Mehrotra，S.，关于原对偶内点方法的实现，SIAM J.Optim。，2, 4, 575-601 (1992) ·Zbl 0773.90047号 [72] Mittelmann，H.：优化软件的基准。http://plato.asu.edu/bench.html。2019年11月8日访问 [73] MOSEK ApS:MATLAB手册的MOSEK优化工具箱。8.0版（第57版）（2017年）。http://docs.mosek.com/8.0/toolbox/index.html。2020年2月6日访问 [74] 内斯特罗夫，Y。；Nemirovskii，A.，《凸规划中的内点多项式算法》（1994），费城：工业和应用数学学会，费城·Zbl 0824.90112号 [75] Nishihara，R.，Lessard，L.，Recht，B.，Packard，A.，Jordan，M.I.：ADMM收敛性的一般分析。摘自：国际机器学习会议（ICML），第343-352页（2015） [76] Nocedal，J。；Wright，SJ，《数值优化》。Springer运筹学和金融工程系列（2006），柏林：Springer，柏林·Zbl 1104.65059号 [77] 奥多诺休，B。；朱，E。；北卡罗来纳州帕里赫。；Boyd，S.，通过算子分裂和齐次自对偶嵌入实现二次曲线优化，J.Optim。理论应用。，169, 3, 1042-1068 (2016) ·Zbl 1342.90136号 [78] 奥多诺休，B。；Stathopoulos，G。；Boyd，S.，最优控制的分裂方法，IEEE Trans。控制系统。技术。，21, 6, 2432-2442 (2013) [79] Pock，T.，Chambolle，A.：凸优化中一阶原对偶算法的对角预处理。2011年计算机视觉国际会议，第1762-1769页（2011） [80] Raghunathan，A.U.，Di Cairano，S.：凸二次规划的ADMM：Q-线性收敛和不可行检测（2014）。arXiv:1411.7288 [81] Raghunathan，A.U.，Di Cairano，S.：凸二次规划乘数交替方向方法中的不可行性检测。参见：IEEE决策与控制会议（CDC），第5819-5824页（2014年）。10.1109/CDC.2014.7040300 [82] 罗林斯，JB；Mayne，DQ，《模型预测控制：理论与设计》（2009），旧金山：Nob Hill出版社，旧金山 [83] Reuther，A.，Kepner，J.，Byun，C.，Samsi，S.，Arcand，W.，Bestor，D.，Bergeron，B.，Gadepally，V.，Houle，M.，Hubbell，M..，Jones，M.、Klein，A.，Milechin，L.，Mullen，J.、Prout，A.，Rosa，A.，Yee，C.，Michaleas，P.：在40000个核上进行交互式超级计算，用于机器学习和数据分析。2018 IEEE高性能极限计算会议（HPEC），第1-6页（2018）。10.1109/HPEC.2018.8547629 [84] Rockafellar，RT公司；Wets、RJB、变量分析。Grundlehren der mathematischen Wissenschaften（1998），柏林：施普林格出版社，柏林·Zbl 0888.49001号 [85] Ruiz，D.：平衡矩阵中行和列规范的缩放算法。技术报告RAL-TR-2001-034，卢瑟福-阿普尔顿实验室，牛津，UL（2001） [86] R.Sinkhorn。；Knopp，P.，关于非负矩阵和双随机矩阵，Pac。数学杂志。，21, 2, 343-348 (1967) ·Zbl 0152.01403号 [87] Stathopoulos，G。；Shukla，H。；Szucs，A。；Pu，Y。；Jones，CN，控制中的操作员拆分方法，Found。趋势系统。控制，3，3，249-362（2016） [88] Stellato，B.，Banjac，G.：OSQP求解器的基准示例（2019年）。https://github.com/oxfordcontrol/osqp_benchmarks。2020年2月6日访问 [89] Takapoui，R.，Javadi，H.：通过对角线缩放进行预处理（2014）。https://web.stanford.edu/hrhakim/projects/EE364B.pdf。2020年2月6日访问 [90] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.Ser。B、 58、1、267-288（1996）·Zbl 0850.62538号 [91] Vanderbei，R.，对称准定矩阵，SIAM J.Optim。，5, 1, 100-113 (1995) ·Zbl 0822.65017 [92] 威尔金森，JH，代数过程中的舍入误差（1963），恩格伍德悬崖：普伦蒂斯·霍尔，恩格尔伍德悬崖·Zbl 1041.65502号 [93] Wohlberg，B.：通过残差平衡选择ADMM惩罚参数（2017）。arXiv:1704.06209v1 [94] Wolfe，P.，《二次规划的单纯形法》，《计量经济学》，第27、3、382-398页（1959年）·Zbl 0103.37603号 [95] Wright，S.，《原始-对偶内点方法》（1997），费城：工业和应用数学学会，费城·Zbl 0863.65031号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。