×
陈、陈曦;陈云梅;欧阳、豫园;爱德华多·帕西利奥

重要抽样乘数的随机加速交替方向法。 （英语） Zbl 1402.90087号

J.优化。理论应用。 179，第2期，676-695（2018）.
摘要：在本文中，我们将重要抽样策略引入到求解一类线性等式约束随机组合问题的随机交替方向乘子法的加速框架中。建立了原始残差和可行性破坏的收敛速度。此外，由于使用了重要抽样，改进了随机梯度方差的估计。该算法能够处理可行集无界的情况。实验结果表明了该方法的有效性。

引用于2文件

MSC公司：

90C06型 数学规划中的大尺度问题
90C25型 凸面编程
90立方 非线性规划

关键词：

随机ADMM;二元缺口;方差估计;重要性抽样
PDF格式BibTeX公司 XML格式引用
\textit{C.Chen}等人，J.Optim。理论应用。179，第2号，676--695（2018；Zbl 1402.90087）
全文： 内政部

参考文献：

[1] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，Found。趋势马赫数。学习。，3, 1-122, (2011) ·Zbl 1229.90122号 ·doi:10.1561/220000016
[2] Azadi，S.，Sra，S.：乘数的最优随机交替方向方法。摘自：第31届ICML会议记录，第620-628页（2014年）
[3] Ouyang，H.，He，N.，Tran，L.，Gray，A.：乘数的随机交替方向方法。收录于：第30届ICML会议记录，第80-88页（2013年）
[4] 铃木，T.：在线交替方向乘法器方法的双重平均和近端梯度下降。摘自：《第30届ICML会议记录》，第392-400页（2013年）
[5] Wang，H.，Banerjee，A.：在线交替方向法。arXiv预印arXiv:1306.3721（2013）
[6] 斯特罗默，T。；Vershynin，R.，《指数收敛的随机Kaczmarz算法》，J.Fourier Ana。申请。，15, 262-278, (2009) ·Zbl 1169.68052号 ·doi:10.1007/s00041-008-9030-4
[7] Nesterov，Y.，坐标下降法在大规模优化问题上的效率，SIAM J.Optim。，22, 341-362, (2012) ·Zbl 1257.90073号 ·数字对象标识代码：10.1137/100802001
[8] Needell，D.，Srebro，N.，Ward，R.：随机梯度下降和随机Kaczmarz算法。arXiv预印本arXiv:1310.5715（2013）·Zbl 1333.65070号
[9] 施密特，M。；Roux，N。；巴赫，F.，用随机平均梯度最小化有限和，数学。程序。，16283-112（2013）·兹比尔1358.90073 ·doi:10.1007/s10107-016-1030-6
[10] Zhao，P.，Zhang，T.：正则化损失最小化的重要抽样随机优化。摘自：机器学习国际会议，第1-9页（2015年）
[11] 陈，Y。；兰·G。；欧阳，Y.，一类鞍点问题的最优原对偶方法，SIAM J.Optim。，24, 1779-1814, (2014) ·Zbl 1329.90090号 ·doi:10.1137/130919362
[12] Jacob，L.，Obozinski，G.，Vert，J.P.：带重叠的群套索和图形套索。摘自：第26届ICML会议记录，第433-440页。ACM（2009）
[13] Tomioka，R.，Hayashi，K.，Kashima，H.：通过凸优化估计低阶张量。arXiv预打印arXiv:1010.0789（2010）
[14] Goldstein，T。；Osher，S.，l1-正则化问题的分裂bregman方法，SIAM J.成像科学。，2, 323-343, (2009) ·兹比尔1177.65088 ·doi:10.1137/080725891
[15] Goldfarb，D。；马，S。；Scheinberg，K.，最小化两个凸函数之和的快速交替线性化方法，数学。程序。，141, 349-382, (2013) ·Zbl 1280.65051号 ·doi:10.1007/s10107-012-0530-2
[16] Touzi，N.：随机控制及其在金融中的应用。比萨。金融数学专题研究学期，Scuola Normale Superiore（2002）·Zbl 1076.93001号
[17] Ziemba，W.T.，Vickson，R.G.：金融中的随机优化模型。新加坡世界科学（1975）·Zbl 1104.91306号
[18] Nesterov，Y.，一种求解收敛速度为o（1/k2）的凸规划问题的方法，Sov。数学。多克拉迪，27，372-376，（1983）·Zbl 0535.90071号
[19] Nesterov，Y.：凸优化入门讲座，第87卷。施普林格，柏林（2004）·Zbl 1086.90045号
[20] Zhao，S.Y.，Li，W.J.，Zhou，Z.H.：乘数的可缩放随机交替方向方法。arXiv预印本arXiv:1502.03529（2015）
[21] Zhang，C.，Shen，Z.，Qian，H.，Zhou，T.：具有方差减少的加速随机ADMM。arXiv预印arXiv:1611.04074（2016）
[22] Zheng，S.，Kwok，J.T.：随机方差减少ADMM。arXiv预印arXiv:1604.07070（2016）
[23] Liu，Y.，Shang，F.，Cheng，J.：加速方差减少随机ADMM。收录于：AAAI，第2287-2293页（2017年）
[24] Shapiro，A.，蒙特卡罗采样方法，Handb。操作。资源管理。科学。，10, 353-425, (2003)
[25] Shapiro，A.，Nemirovski，A.：关于随机规划问题的复杂性。摘自：《持续优化》，第111-146页。斯普林格（2005）·Zbl 1115.90041号
[26] 内米洛夫斯基，A。；朱迪茨基，A。；兰·G。；Shapiro，A.，随机规划的稳健随机近似方法，SIAM J.Optim。，1574-1609年，（2009年）·Zbl 1189.90109号 ·doi:10.1137/070704277
[27] Rockafellar，R.T.：凸分析。普林斯顿大学出版社，普林斯顿（1970）·Zbl 0932.90001号 ·doi:10.1515/9781400873173
[28] 兰·G。；内米洛夫斯基，A。；Shapiro，A.，镜像下降随机近似方法的验证分析，数学。程序。，134, 425-458, (2012) ·Zbl 1273.90154号 ·doi:10.1007/s10107-011-0442-6
[29] Esser，E。；张，X。；Chan，TF，成像科学中凸优化的一类一阶原对偶算法的一般框架，SIAM J.成像科学。，3, 1015-1046, (2010) ·Zbl 1206.90117号 ·数字对象标识码：10.1137/09076934X
[30] Moreau，JJ，Décomposition orthononale dun espace hilbertien selon deux connes mutuellement polaires，CR学院。科学。巴黎，255，238-240，（1962）·Zbl 0109.08105号
[31] Ouyang，Y.，Chen，Y.，Lan，G.，Pasiliao Jr，E.：乘法器的加速线性化交替方向方法。arXiv预印本arXiv:1401.6607（2014）·Zbl 1321.90105号
[32] O.班纳吉。；LE Ghaoui；dAspremont，A.，《通过多元高斯或二进制数据的稀疏最大似然估计进行模型选择》，J.Mach。学习。决议，9485-516，（2008）·Zbl 1225.68149号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。