奥利维尔·费尔科克 非光滑凸优化的通用坐标下降求解器。 （英语） Zbl 1494.90077号 最佳方案。方法软件。 36，第6期，1202-1222（2021）. 摘要：我们提出了一个通用的坐标下降求解器，用于最小化具有结构的非光滑凸目标。该方法特别适用于线性约束问题。该实现利用了有效的剩余更新，并自动确定应该复制哪些双变量。为了提高效率，预先编译了基本功能原子的列表，Python中的建模语言允许用户在运行时组合它们。因此，该算法可用于求解拉索、稀疏多项式logistic回归、线性和二次规划等多种问题。 MSC公司： 90C25型 凸面编程 关键词：坐标下降；凸优化；通用解算器；有效实施 软件：伦敦银行支持向量机；LIBLINEAR银行；Scikit公司；CVXPY公司；稀疏的；闪电 PDF格式BibTeX公司 XML格式引用 \textit{O.Fercoq}，Optim（Optim）。方法软件。36，第6号，1202--1222（2021；Zbl 1494.90077） 全文： 内政部 arXiv公司 哈尔 参考文献： [1] Alacaoglu，A.、Dinh，Q.T.、Fercoq，O.和Cevher，V.，非光滑凸优化的平滑原始-对偶坐标下降算法，《神经信息处理系统进展》，第5852-5861页，2017年。 [2] Allen-Zhu，Z.，Qu，Z..，Richtárik，P.和Yuan，Y.，使用非均匀采样加速坐标下降。《国际机器学习会议》，第1110-1119页，2016年。 [3] Auslender，A.，《优化：梅塞德斯·纽梅克斯》（1976），马森：巴黎马森·Zbl 0326.90057号 [4] 贝克，A。；Tetraushvili，L.，关于块坐标下降型方法的收敛性，SIAM。J.Optim。，23, 4, 2037-2060 (2013) ·Zbl 1297.90113号 [5] Bianchi，P.、Hachem，W.和Franck，I.，随机坐标下降原对偶算法及其应用。2014年IEEE信号处理机器学习国际研讨会（MLSP），IEEE，第1-6页，2014年。 [6] Blondel，M.和Pedregosa，F.，《闪电：Python中的大尺度线性分类、回归和排名》，2016年。 [7] Bradley，J.K.、Kyrola，A.、Bickson，D.和Guestrin，C.，《L1-正则化损失最小化的平行坐标下降》，第28届国际机器学习会议，2011年。 [8] Breheny，P。；Huang，J.，非凸惩罚回归的坐标下降算法及其在生物特征选择中的应用，Ann.Appl。统计，5，1，232（2011年）·Zbl 1220.62095号 [9] Chambolle，A。；埃哈特，M.J。；里奇塔里克，P。；Schonlieb，C.-B.，具有任意采样和成像应用的随机原始-双重混合梯度算法，SIAM。J.Optim。，28, 4, 2783-2808 (2018) ·Zbl 06951767号 [10] Chang，C.-C。；Lin，C.-J.，LIBSVM：支持向量机库，ACM Trans。智力。系统。Technol公司。（TIST），第2、3、27页（2011年） [11] 组合，P.L。；Pesquet，J.-C.，带随机扫描的随机准Fejér块坐标不动点迭代，SIAM。J.Optim。，1221-1248年2月25日（2015年）·Zbl 1317.65135号 [12] 钻石，S。；Boyd，S.，CVXPY:一种嵌入Python的凸优化建模语言，J.Mach。学习。Res.，17，83，1-5（2016）·Zbl 1360.90008号 [13] Dohmatob，E.、Gramfort，A.、Thirion，B.和Varoquaux，G.，大脑成像中TV-l1最小二乘和逻辑回归的基准解算器。神经成像（PRNI）中的模式识别。IEEE，2014年。 [14] 风机，R.-E。；Chang，K.-W。；谢长杰。；王，X.-R。；Lin，C.-J.，Liblinear:大型线性分类库，J.Mach。学习。1871-1874年8月9日决议（2008年）·Zbl 1225.68175号 [15] 费尔科克，O。；Bianchi，P.，一种具有较大步长和可能不可分离函数的协调-渐变原始-对偶算法，SIAM。J.Optim。，29, 1, 100-134 (2019) ·Zbl 1411.90265号 [16] Fercoq，O.和Qu，Z.，用粗糙强凸性估计重新启动加速坐标下降法。arXiv预印arXiv:1803.057712018·Zbl 1432.90109号 [17] Fercoq，O.，Qu，Z.，Richtárik，P.，and Takánch，M.，《用于最小化非强凸损失的快速分布式坐标下降》，IEEE信号处理机器学习国际研讨会，2014年。 [18] 费尔科克，O。；Richtárik，P.，加速、平行和近端坐标下降，SIAM。J.Optim。，25, 4, 1997-2023 (2015) ·兹比尔1327.65108 [19] Fercoq，O.和Richtárik，P.，用平行坐标下降法实现非光滑函数的平滑最小化，摘自《建模与优化：理论与应用》，Springer，第57-96页，2017年·Zbl 1421.90061号 [20] 弗里德曼，J。；哈斯蒂，T。；Höfling，H。；Tibshirani，R.，路径坐标优化，Ann.Appl。统计，1，2，302-332（2007）·Zbl 1378.90064号 [21] 高，X。；Xu，Y.-Y。；Zhang，S.-Z.，随机原始-双重近端块坐标更新，J.Oper。中国研究社会，7，2，205-250（2019）·兹比尔1438.90255 [22] Glasmachers，T.和Dogan，U.，《自适应坐标频率加速坐标下降》，亚洲机器学习会议，第72-86页，2013年。 [23] 格里波，L。；Sciandone，M.，关于凸约束下块非线性Gauss-Seidel方法的收敛性，Oper。Res.Lett.公司。，26, 3, 127-136 (2000) ·Zbl 0955.90128号 [24] Hong，M.，Chang，T.-H.，Wang，X.，Razaviyayn，M.、Ma，S.和Luo，Z.-Q.，线性约束凸优化乘数的块连续上界最小化方法。arXiv预印arXiv:1401.70792014·Zbl 1456.90124号 [25] Hsieh，C.-J.和Dhillon，I.S.，非负矩阵分解的变量选择快速坐标下降法。《第17届ACM SIGKDD知识发现和数据挖掘国际会议论文集》，ACM，第1064-1072页，2011年。 [26] 拉塔法特，P。；Freris，N.M。；Patrinos，P.，一种新的用于分布式优化的随机块坐标原始-对偶近端算法，IEEE。事务处理。自动。控制（2019年）·Zbl 1482.90152号 [27] Lee，Y.T.和Sidford，A.，求解线性系统的高效加速坐标下降方法和更快算法。第147-156页，2013年。 [28] Leventhal，D。；Lewis，A.，线性约束的随机方法：收敛速度和条件，数学。操作。第35、3、641-654号决议（2010年）·Zbl 1216.15006号 [29] Li，H.和Lin，Z.，关于加速随机双坐标上升原始解的复杂性分析。arXiv预印arXiv:1807.002612018·Zbl 1502.90129号 [30] Lin，Q.，Lu，Z.和Xiao，L.，一种加速近端坐标梯度法。《神经信息处理系统进展》，第3059-3067页，2014年。 [31] 刘杰。；赖特，S.J。；Ré，C。；比托夫，V。；Sridhar，S.，异步并行随机坐标下降算法，J.Mach。《学习研究》，16，1，285-322（2015）·Zbl 1337.68286号 [32] Lu，Z.和Xiao，L.，一类非线性规划的随机块坐标非单调梯度法。arXiv预印arXiv:1306.591812732013。 [33] 卢，Z。；Xiao，L.，关于随机区组坐标下降法的复杂性分析，数学。程序。，152, 1, 615-642 (2015) ·Zbl 1321.65100号 [34] 罗，Z.-Q。；Tseng，P.，关于凸可微极小化的坐标下降法的收敛性，J.Optim。理论。申请。，72, 1, 7-35 (1992) ·Zbl 0795.90069号 [35] Mazumder，R。；弗里德曼，J.H。；Hastie，T.，Sparsenet:《非凸罚协调下降》，《美国法律总汇汇编》，第106、495、1125-1138页（2011年）·Zbl 1229.62091号 [36] Ndiaye，E.，变量选择和超参数调整的安全优化算法，巴黎大学Saclay博士论文，2018年。 [37] 内科瓦拉，I。；Clipici，D.，《可分离约束凸优化问题的高效并行坐标下降算法：在分布式MPC中的应用》，《过程控制》，23，243-253（2013） [38] Necoara，I.、Nesterov，Y.和Glineur，F.，随机坐标下降法在线性耦合约束优化问题上的效率，技术报告，布加勒斯特政治大学，2012年。 [39] Nesterov，Y.，坐标下降法在大规模优化问题上的效率，SIAM。J.Optim。，22, 2, 341-362 (2012) ·Zbl 1257.90073号 [40] Nesterov，Y.，用于大规模优化问题的子梯度方法。核心讨论文件2012/2，2012。 [41] 帕特拉斯库，A。；Necoara，Ion，用于大规模结构非凸优化的高效随机坐标下降算法，J.Global Optim。，61, 1, 19-46 (2015) ·兹比尔1335.90074 [42] 佩德雷戈萨，F。；瓦罗佐，G。；Gramfort，A。；米歇尔，V。；蒂里昂，B。；O.格栅。；布隆德尔，M。；普雷滕霍弗，P。；韦斯，R。；杜堡，V。；Vanderplas，J.，《Scikit-learn：蟒蛇中的机器学习》，J.Mach。学习。决议，2825-2830年10月12日（2011年）·Zbl 1280.68189号 [43] Platt，J.C.，使用序列最小优化快速训练支持向量机。Bernhard Schölkopf、Christopher J.C.Burges和Alexander J.Smola主编，《内核方法进展-支持向量学习》。麻省理工学院出版社，1999年。网址：http://www.csie.ntu.edu.tw/cjlin/libsvmtools/datasets。 [44] 拉扎维亚因，M。；洪，M。；Luo，Z.-Q.，非光滑优化的块连续最小化方法的统一收敛性分析，SIAM。J.Optim。，23, 2, 1126-1153 (2013) ·Zbl 1273.90123号 [45] 里奇塔里克，P。；Takáč，M.，最小化复合函数的随机块坐标下降方法的迭代复杂性，数学。程序。序列号。A、 144、1-2、1-38（2014）·Zbl 1301.65051号 [46] Richtárik，P.和Takáć，M.，《大数据优化的平行坐标下降法》，《数学规划》，第1-52页，2015年·兹比尔1342.90102 [47] 里奇塔里克，P。；Takáć，M.，《大数据学习的分布式坐标下降法》，J.Mach。学习研究，17，1，2657-2681（2016）·Zbl 1360.68709号 [48] 里奇塔里克，P。；Takáč，M.，关于随机坐标下降方法中的最优概率，Optim。莱特。，10, 6, 1233-1243 (2016) ·Zbl 1353.90148号 [49] Seidel，L.，Ueber ein Verfahren，die Gleichungen，auf welche die Methode der kleinsten Quadrate führt，sowie lineäre Gleichngenüberhaupt，durch nexual Annäherung aufzulösen:（Aus den Abhandl.dk bayer.Akademie II.Cl.XI.Bd.III.Abth.Verlag der k.Akademice，1874年·JFM 06.0147.01号 [50] 沙列夫·施瓦茨，S。；Tewari，A.，《（####）正则化损失最小化的随机方法》，J.Mach。学习。第12号决议，1865-1892年（2011年）·Zbl 1280.62081号 [51] Shalev-Shwartz，S.和Zhang，T.，《近距离随机双坐标上升》。arXiv:12121.27172012年·Zbl 1342.90103号 [52] 沙列夫·施瓦茨，S。；Zhang，T.，正则化损失最小化的随机双坐标上升法，J.Mach。学习。研究，14，1567-599（2013）·Zbl 1307.68073号 [53] Shalev-Shwartz，S.和Zhang，T.，加速近端随机双坐标上升，以最小化正则化损失。《机器学习国际会议》，第64-72页，2014年·Zbl 1342.90103号 [54] Shi，H.-J.M.，Tu，S.，Xu，Y.和Yin，W.，坐标下降算法入门。arXiv预印arXiv:1610.000402016。 [55] Sun，T.、Hannah，R.和Yin，W.，在更现实的假设下的异步坐标下降。《神经信息处理系统进展》，第6182-6190页，2017年。 [56] Takáć，M.、Bijral，A.、Richtárik，P.和Srebro，N.，《支持向量机的Mini-batch原始和对偶方法》。2013年第30届国际机器学习会议。 [57] Tao，Q.，Kong，K.，Chu，D.和Wu，G.，正则光滑和非光滑损失的随机坐标下降方法，收录于《数据库中的机器学习和知识发现》，第537-552页，2012年。 [58] 汤姆·S·M。；福克斯·C·R。；特雷佩尔，C。；Poldrack，R.A.，《风险决策中损失厌恶的神经基础》，《科学》，315，5811，515-518（2007） [59] Tran-Din，Q。；费尔科克，O。；Cevher，V.，非光滑复合凸极小化的光滑原对偶优化框架，SIAM。J.Optim。，28, 1, 96-134 (2018) ·Zbl 1386.90109号 [60] 曾，P。；Yun，S.，非光滑可分离极小化的坐标梯度下降法，数学。程序。，117, 387-423 (2009) ·Zbl 1166.90016号 [61] 曾，P。；Yun，S.，线性约束不可分优化的块坐标梯度下降法，J.Optim。理论。申请。，140, 513-535 (2009) ·Zbl 1190.90279号 [62] Warga，J.，最小化某些凸函数，J.Soc.Ind.Appl。数学。，11, 3, 588-593 (1963) ·Zbl 0128.05801 [63] Wright，S.J.，坐标下降算法，数学。程序。，151, 1, 3-34 (2015) ·Zbl 1317.49038号 [64] Xu，Y。；Yin，W.，正则化多凸优化的块坐标下降法及其在非负张量分解和完成中的应用，SIAM。J.成像。科学。，6, 3, 1758-1789 (2013) ·Zbl 1280.49042号 [65] Xu，Y。；Yin，W.，基于块坐标更新的非凸优化的全局收敛算法，J.Sci。计算。，7200-734（2017）·Zbl 1378.65126号 [66] Xu，Y。；Zhang，S.，约束凸优化的加速原对偶近端块坐标更新方法，计算。最佳方案。申请。，70, 1, 91-128 (2018) ·Zbl 1391.90483号 [67] 俞海峰。；黄，F.-L。；Lin，C.-J.，逻辑回归和最大熵模型的双坐标下降法，马赫数。学习。，85, 1-2, 41-75 (2011) ·Zbl 1237.62090号 [68] Yun，S.，关于循环坐标梯度下降法的迭代复杂性，SIAM。J.Optim。，24, 3, 1567-1580 (2014) ·Zbl 1305.49037号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。