×

关于并行平均随机梯度算法的收敛速度。 (英语) Zbl 1440.62313号

摘要:在过去十年中,人们对高维和功能数据分析的兴趣不断增长,导致了重要的研究,开发了大量的技术。例如,并行算法包括将数据分布并处理到不同的机器中,是处理高维空间中的大样本值的好方法。我们在这里引入了一种并行平均随机梯度算法,它能够高效递归地处理数据,因此不必考虑数据在机器中的分布是否均匀。对于强凸和局部强凸目标,给出了二次平均收敛速度和并行化估计的渐近正态性。

MSC公司:

62L20型 随机近似
62小时12分 多元分析中的估计
60F05型 中心极限和其他弱定理

软件:

水母
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Zinkevich,M,Weimer,M,Li,L.2010。并行随机梯度下降。神经信息处理系统进展。第2595-2603页。
[2] Recht,B。;Ré,C.,大规模矩阵补全的并行随机梯度算法,数学程序计算,5,2,201-226(2013)·Zbl 1275.90039号
[3] 刘杰。;SJ赖特;Ré,C.,《异步并行随机坐标下降算法》,J Mach Learn Res,16,285-322,1-5(2015)·Zbl 1337.68286号
[4] Bianchi,P。;G.堡。;Hachem,W.,分布式随机近似算法的性能,IEEE Trans Info Theory,59,11,7405-7418(2013)·Zbl 1364.62220号
[5] Biau,G,Zenine,R.在线异步分布回归。arXiv:1407.43732014年。
[6] Duflo,M.随机迭代模型。纽约:施普林格出版社;1997年(数学应用;第34卷)。由斯蒂芬·威尔逊(Stephen S.Wilson)翻译自1990年的法语原文,并由作者修订。
[7] Kushner,HJ,Yin,GG。随机近似和递归算法及其应用。第二版,第35卷,数学应用。纽约(NY):斯普林格·弗拉格(Springer-Verlag);2003。随机建模和应用概率·Zbl 1026.62084号
[8] 罗宾斯,H。;Monro,S.,《随机近似法》,《数学统计年鉴》,400-407(1951)·Zbl 0054.05901号
[9] 波利亚克,B。;Juditsky,A.,《随机逼近的加速》,SIAM J Control Optim,30838-855(1992)·Zbl 0762.62022号
[10] Ruppert,D.慢收敛Robbins-Monro过程的有效估计。技术报告,康奈尔大学运营研究和工业工程,1988年。
[11] 巴赫,F,穆林,E.2013。收敛速度为O(1/n)的非严格凸光滑随机逼近。神经信息处理系统进展。第773-781页。
[12] 加迪米,S。;Lan,G.,《强凸随机组合优化的最优随机逼近算法:一般算法框架》,SIAM J Optim,22,4,1469-1492(2012)·Zbl 1301.62077号
[13] Godichon-Baggioni,A.Lp和平均随机梯度算法的几乎必然收敛速度:局部强凸目标。ESAIM:PS 2019;23:841-873. https://doi.org/10.1051/ps/2019011。 ·Zbl 1507.62276号
[14] Godichon-Baggioni,A.2019年。平均随机梯度算法渐近方差的在线估计。J统计计划推断·Zbl 1422.62256号
[15] Pelletier,M.,关于随机算法的几乎肯定渐近行为,Stoch过程及其应用,78,21217-244(1998)·Zbl 0926.62072号
[16] Pelletier,M.,平均随机算法的渐近几乎肯定效率,SIAM J Control Optim,39,1,49-72(2000)·兹比尔1015.60028
[17] Nemirovsky,AS,Yudin,DB。优化中的问题复杂性和方法效率。奇切斯特:威利;1983年·Zbl 0501.90062号
[18] Gadat,S,Panloup,F,Saadane,S.随机重球。Electron J Stat.2018;12:461-529. ·Zbl 1392.62244号
[19] Cohen,K,Nedic,A,Srikant,R.关于最小二乘回归加权平均投影随机梯度下降算法。IEEE Trans Automatic控制;2017. ·Zbl 1390.90404号
[20] Dieuleveut,A,Flammarion,N,Bach,F.Harder,更好,更快,更强的最小二乘回归收敛速度。arXiv预印arXiv:1602.0542016·Zbl 1441.62215号
[21] Bach,F.,平均随机梯度下降对logistic回归局部强凸性的适应性,J Machine Learn Res,15,1,595-627(2014)·Zbl 1318.62224号
[22] Cardot,H。;塞纳克,P。;Godichon-Baggioni,A.,《希尔伯特空间中几何中值的在线估计:非共鸣置信球》,Ann Stat,45,2,591-614(2017)·Zbl 1371.62027号
[23] Cardot,H。;塞纳克,P。;Zitt,P-A.,使用平均随机梯度算法高效快速估计Hilbert空间中的几何中值,Bernoulli,19,1,18-43(2013)·Zbl 1259.62068号
[24] 霍尔丹,JBS,《关于多元分布中值的注释》,《生物统计学》,35,3-4,414-417(1948)·Zbl 0032.03601号
[25] Kemperman,J.Banach空间上有限测度的中值。在统计数据分析中基于L_1范数和相关方法。Neuchátel公司。阿姆斯特丹:北荷兰;1987年,第217-230页。
[26] Godichon-Baggioni,A.,用随机梯度算法估计Hilbert空间中的几何中值:Lp和几乎确定的收敛速度,J Multivar Ana,146,209-222(2016)·Zbl 1337.62053号
[27] Jakubowski,A.,应用于Hilbert空间条件原理的随机测度的紧性标准,概率数学统计,9,1,95-114(1988)·兹比尔0669.60010
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。