×
拉切尔·塔潘登;马丁·塔卡;里奇塔里克，彼得

关于平行坐标下降的复杂性。 （英语） Zbl 1461.65187号

最佳方案。方法软件。 33，第2期，372-395（2018）.
小结：在这项工作中，我们研究了由P.Richtárik先生和M.塔卡奇[数学课程.156，第1-2（A）期，433-484（2016；Zbl 1342.90102号)]用于最小化正则凸函数。我们采用了Z.Lu先生和L.肖[数学课程.152，No.1-2（A），615-642（2015；Zbl 1321.65100号)]，并将其与几个新见解结合起来，以获得比[Richtárik and Takánch，loc.cit.]中给出的更清晰的PCDM迭代复杂性结果。此外，我们还证明了PCDM在期望上是单调的，这在[Richárik and Takánch，loc.cit.]中没有得到证实，并且我们还导出了初始水平集无界的第一个高概率迭代复杂性结果。

引用于6文件

MSC公司：

65千5 数值数学规划方法
90C05（二氧化碳） 线性规划
90C06型 数学规划中的大尺度问题
90C25型 凸面编程

关键词：

块坐标下降;并行化;迭代复杂性;组合最小化;凸优化;收敛速度;无界水平集;单调算法

引文：

Zbl 1342.90102号;Zbl 1321.65100号

软件：

帕伽索斯
PDF格式BibTeX公司 XML格式引用
\textit{R.Tappenden}等人，Optim。方法软件。33，第2号，372--395（2018；Zbl 1461.65187）
全文： 内政部 arXiv公司

参考文献：

[1] Bradley，J.K.、Kyrola，A.、Bickson，D.和Guestrin，C。，L1规则损失最小化的平行坐标下降，第28届机器学习国际会议，华盛顿州贝尔维尤，2011年。
[2] O.费尔科克和P.里奇塔里克。，用平行坐标下降法实现非光滑函数的光滑最小化，预印本（2013）。可从arXiv:1309.5885获取·Zbl 1421.90061号
[3] 费尔科克，O。；Richtárik，P.，加速、平行和近端坐标下降，SIAM J.Optim。，25, 4, 1997-2023 (2015) ·Zbl 1327.65108号
[4] Fercoq，O.，Qu，Z.，Richtárik，P.和Takánch，M。，非强凸损失的快速分布坐标下降，IEEE信号处理机器学习研讨会，法国兰斯，2014年。
[5] 谢家杰、张家伟、林家杰、沙提亚·基尔西和孙达拉扬。，大规模线性支持向量机的双坐标下降方法《国际资本市场协会2008》，芬兰赫尔辛基，2008年，第408-415页。
[6] Jaggi，M.、Smith，V.、Takác，M.，Terhorst，J.、Krishnan，S.、Hofmann，T.和Jordan，M.I。，高效通信的分布式双坐标上升《神经信息处理系统进展》，2014年，第3068-3076页。可从获取。
[7] Johnson，R.和Zhang，T。，使用预测方差减少加速随机梯度下降《神经信息处理系统进展》，2013年，第315-323页。可从获取。
[8] 科内钦，J。；Richtárik，P.，《半随机梯度下降法》，前沿应用。数学。统计（2017）·doi:10.3389/fams.2017.0009
[9] 李毅。；Osher，S.，用于压缩传感的最小化的坐标下降优化；贪婪算法，逆概率。图像。，3, 3, 487-503 (2009) ·Zbl 1188.90196号
[10] Lin，Q.、Lu，Z.和Xiao，L。，一种加速的近端坐标梯度法《神经信息处理系统进展》，2014年，第3059-3067页。可从获取。
[11] 刘杰。；赖特，S.J。；Ré，C。；比托夫，V。；Xing，E.P。；Jebara，T.（2014），JMLR W＆CP:JMLR W＆CP，中国北京
[12] 马，C。；V·史密斯。；贾吉，M。；M.I.乔丹。；里奇塔里克，P。；塔卡奇，M。；Xing，E.P。；Jebara，T.（2015），JMLR W＆CP:JMLR W＆CP，里尔，Frace
[13] Mahdavi，M.、Zhang，L.和Jin，R。，光滑函数的混合优化《神经信息处理系统进展》，2013年，第674-682页。可从获取·Zbl 1264.65109号
[14] 马雷切克，J。；里奇塔里克，P。；塔卡奇，M。；Al-Baali，M。；Grandinetti，L。；Purnama，A.，《Springer Proceedings in Mathematics&Statistics》，134，261-288（2015），阿曼马斯喀特·Zbl 1330.65089号
[15] 内科瓦拉，I。；Clipici，D.，复合最小化的并行随机坐标下降法：收敛分析和误差界，SIAM J.Optim。，26, 1, 197-226 (2016) ·Zbl 1329.90108号
[16] Necoara，I.、Nesterov，Y.和Glineur，F。，随机坐标下降法对线性耦合约束优化问题的有效性，技术报告，2012年。
[17] Nesterov，Y.，坐标下降法在大规模优化问题上的效率，SIAM J.Optim。，22, 2, 341-362 (2012) ·Zbl 1257.90073号
[18] 于内斯特罗夫。，最小化复合函数的梯度方法，数学。程序。序列号。B、 140、125-161（2013）·Zbl 1287.90067号
[19] 曲，Z。；Richtárik，P.，《任意采样的坐标下降I：算法和复杂性》，Optim。方法软。，31, 5, 829-857 (2016) ·Zbl 1365.90205号
[20] 曲，Z。；Richtárik，P.，任意抽样的坐标下降II：预期可分离过度逼近，Optim。方法软。，31, 5, 858-884 (2016) ·兹比尔1365.90206
[21] 瞿，Z.，Richtarik，P.，和Zhang，T。，石英：任意采样的随机双坐标上升，英寸神经信息处理系统的进展28，C.Cortes、N.D.Lawrence、D.D.Lee、M.Sugiyama和R.Garnett编辑，Curran Associates，Inc.，2015年，第865-873页。可从获取。
[22] 里奇塔里克，P.和塔卡奇，M。，大规模桁架拓扑设计的高效串并联坐标下降法《2011年运营研究论文集》，施普林格，柏林，海德堡，2012年，第27-32页·兹比尔1306.74043
[23] 里奇塔里克，P。；Takáč，M.，最小化复合函数的随机块坐标下降方法的迭代复杂性，数学。程序。序列号。A、 144，1-38（2014）·Zbl 1301.65051号
[24] 里奇塔里克，P。；Takáč，M.，大数据优化的平行坐标下降法，数学。程序。序列号。A、 1-52（2015）
[25] 里奇塔里克，P。；Takác，M.，《大数据学习的分布式坐标下降法》，J.Mach。学习。决议，17，1-25（2016）·Zbl 1360.68709号
[26] 里奇塔里克，P。；Takáč，M.，关于随机坐标下降法中的最优概率，Optim。莱特。，10, 6, 1233-1243 (2016) ·Zbl 1353.90148号
[27] 萨哈，A。；Tewari，A.，关于循环坐标下降法的非辛收敛性，SIAM J.Optim。，23, 1, 576-601 (2013) ·Zbl 1270.90032号
[28] Nutini，J.、Schmidt，M.、Laradji，I.、Friedlander，M.和Koepke，H。，坐标下降比随机选择收敛得更快，ICML 2015，法国礼乐，2015。
[29] 沙列夫·施瓦茨，S。；Zhang，T.，正则化损失最小化的随机双坐标上升法，J.Mach。学习。Res.，14567-599（2013）·兹比尔1307.68073
[30] 沙列夫·施瓦茨，S。；辛格，Y。；斯雷布罗，N。；Cotter，A.，Pegasos:SVM的原始估计子梯度SOlver，数学。项目，127，3-30（2011）·Zbl 1211.90239号
[31] Takáč，M.，Bijral，A.，Richtárik，P.，和Srebro，N。，支持向量机的小批量原始和对偶方法第30届国际机器学习会议，美国亚特兰大，2013年。
[32] Tao，Q.，Kong，K.，Chu，D.和Wu，G。，正则光滑和非光滑损失的随机坐标下降法，英寸数据库中的机器学习与知识发现P.A.Flach、T.De Bie和N.Cristianini编辑，计算机科学课堂讲稿第7523卷，施普林格，柏林，海德堡，2012年，第537-552页。
[33] 塔彭登，R。；里奇塔里克，P。；Gondzio，J.，《不精确坐标下降：复杂性和预处理》，J.Optim。理论应用。，170, 1, 144-176 (2016) ·Zbl 1350.65062号
[34] Tseng，P.，不可微极小化块坐标下降法的收敛性，J.Optim。理论应用。，109475-494（2001年）·Zbl 1006.65062号
[35] 曾，P。；Yun，S.，非光滑可分离极小化的坐标梯度下降法，数学。程序。序列号。B、 117387-423（2009）·Zbl 1166.90016号
[36] Wright，S.J.，正则化优化的加速块坐标松弛，SIAM J.Optim。，22, 1, 159-186 (2012) ·Zbl 1357.49105号
[37] Wright，S.J.，坐标下降算法，数学。程序。，151, 1, 3-34 (2015) ·Zbl 1317.49038号
[38] Wu，T.T。；Lange，K.，套索惩罚回归的坐标下降算法，Ann.Appl。统计，2，1，224-244（2008）·Zbl 1137.62045号
[39] 肖，L。；Lu，Z.，关于随机块坐标下降法的复杂性分析，数学。程序。序列号。A、 152、1-2、615-642（2015）·Zbl 1321.65100号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。