×
安东尼·戈迪孔·巴吉奥尼

平均随机梯度算法渐近方差的在线估计。 （英语） Zbl 1422.62256号

J.统计计划。推断 203, 1-19 (2019).
摘要：随机梯度算法由于能够有效地在线处理高维空间中的大样本问题而受到越来越多的研究。在本文中，我们首先为这些估计及其在一般Hilbert空间中的平均版本建立了一个中心极限定理。此外，由于如果不估计渐近方差，估计的渐近正态性通常是不可用的，因此我们引入了一种新的递推算法来估计这最后一个估计，并且我们建立了它的几乎确定的收敛速度以及它在二次平均中的收敛速度。最后，给出了逻辑回归参数估计和几何分位数估计的两个例子。

引用于6文件

MSC公司：

62J12型 广义线性模型（逻辑模型）
62G08号 非参数回归和分位数回归
60F05型 中心极限和其他弱定理
65立方厘米 随机粒子方法

关键词：

随机梯度算法;平均;中心极限定理;渐近方差;逻辑回归;几何分位数

软件：

坚固的基础
PDF格式BibTeX公司 XML格式引用
\textit{A.Godicon-Baggioni}，J.统计规划。推断203，1-19（2019；Zbl 1422.62256）
全文： DOI程序 arXiv公司

参考文献：

[1] Bach，F.，logistic回归中平均随机梯度下降对局部强凸性的适应性，J.Mach。学习。第15号、第1号、第595-627号决议（2014年）·Zbl 1318.62224号
[2] 巴赫，F。；Moulines，E.，收敛速度为O（1/n）的非严格凸光滑随机逼近，（神经信息处理系统进展（2013）），773-781
[3] 博伊德，S。；Vandenberghe，L.，凸优化（2004），剑桥大学出版社·Zbl 1058.90049号
[4] Cardot，H。；塞纳克，P。；Godichon-Baggioni，A.，《希尔伯特空间中几何中值的在线估计：非渐近置信球》，《统计年鉴》。，45, 2, 591-614 (2017) ·Zbl 1371.62027号
[5] 卡多，H。；塞纳克，P。；Zitt，P.-A.，使用平均随机梯度算法高效快速估计Hilbert空间中的几何中值，Bernoulli，19，1，18-43（2013）·Zbl 1259.62068号
[6] Cardot，H。；Godichon-Baggioni，A.，中值协变量矩阵的快速估计及其在在线稳健主成分分析中的应用，Test，26，3，461-480（2017）·Zbl 1373.62124号
[7] Chakraborty，A。；乔杜里，P.，《无限维空间中的空间分布及相关分位数和深度》，《统计年鉴》。，42, 1203-1231 (2014) ·Zbl 1305.62141号
[8] Chaudhuri，P.，《关于多元数据分位数的几何概念》，J.Amer。统计师。协会，91，434，862-872（1996）·Zbl 0869.62040号
[9] Delyon，B。；Juditsky，A.，轨迹平均的随机优化，随机学，39，2-3，107-118（1992）·Zbl 0765.93081号
[10] Delyon，B。；Juditsky，A.，加速随机近似，SIAM J.Optim。，3, 4, 868-881 (1993) ·Zbl 0801.62071号
[11] Dippon，J。；Renz，J.，最小值随机逼近中的加权平均值，SIAM J.控制优化。，35, 5, 1811-1827 (1997) ·Zbl 0885.62094号
[12] Dippon，J。；Walk，H.，banach空间线性问题的平均robbins–monro方法，J.Theoret。概率。，19, 1, 166-189 (2006) ·Zbl 1106.65047号
[13] Duflo，M.，《算法随机性》（1996），施普林格：施普林格柏林·Zbl 0882.60001号
[14] Duflo，M.，（随机迭代模型。随机迭代模型，数学应用（纽约），第34卷（1997年），施普林格出版社：施普林格出版社，柏林），由Stephen S.Wilson翻译自1990年法语原文，作者修订·Zbl 0868.62069号
[15] Fabian，V.，《随机逼近中的渐近正态性》，《数学年鉴》。Stat.，1327-1332（1968年）·Zbl 0176.48402号
[16] 加比奇，M。；Pelletier，M.，关于平均robbins–monro算法的渐近协方差矩阵的估计，C.R.Acad。科学。序列号。我数学。，3313255-260（2000年）·兹比尔1064.62089
[17] Gervini，D.，使用中值和球形主成分的稳健函数估计，Biometrika，95，3，587-600（2008）·Zbl 1437.62469号
[18] Godichon-Baggioni，A.，用随机梯度算法估计hilbert空间中的几何中值：Lp和几乎确定的收敛速度，J.多元分析。，146, 209-222 (2016) ·Zbl 1337.62053号
[19] Godichon-Baggioni，A.，Lp和平均随机梯度算法的几乎必然收敛速度及其在在线稳健估计中的应用（2016），arXiv预印本arXiv:1609.05479·Zbl 1337.62053号
[20] Godichon-Baggioni，A。；Portier，B.，估计截断球形分布参数的平均投影robbins-monro算法，Electron。J.Stat.，11，1，1890-1927（2017）·Zbl 1422.62271号
[21] Haldane，J.B.S.，《关于多元分布中位数的注释》，《生物统计学》，35，3-4，414-417（1948）·Zbl 0032.03601号
[22] Hallin，M。；Paindaveine，D.，形状的半参数有效等级推理。i.球形度的最佳等级测试，Ann.Statist。，34, 6, 2707-2756 (2006) ·Zbl 1114.62066号
[23] 霍恩，R.A。；Johnson，C.R.，《矩阵分析》（2012），剑桥大学出版社
[24] Huber，P。；Ronchetti，E.，稳健统计（2009），John Wiley and Sons·Zbl 1276.62022号
[25] Jakubowski，A.，随机测度的紧性准则及其在Hilbert空间条件原理中的应用，Probab。数学。统计人员。，9, 1, 95-114 (1988) ·Zbl 0669.60010号
[26] 朱迪茨基，A。；Nesterov，Y.，一致凸最小化的确定性和随机原-对偶次梯度算法，随机系统，4，1，44-80（2014）·兹比尔1297.90097
[27] Kemperman，J.，Banach空间上有限测度的中值，（基于L_1范数和相关方法的统计数据分析（Neuchátel，1987）（1987），北荷兰人：北荷兰阿姆斯特丹），217-230
[28] 克劳斯，D。；Panaretos，V.M.，色散算子和抗性二阶功能数据分析，Biometrika，99813-832（2012）·Zbl 1452.62991号
[29] 库什纳，H.J。；Yin，G.，《随机近似和递归算法及应用》（2003），施普林格科学与商业媒体·兹比尔1026.62084
[30] 库什纳，H.J。；Yin，G.G.，《随机近似和递归算法及应用》，（数学应用（纽约），第35卷（2003年），Springer-Verlag:Springer-Verlag纽约），随机建模和应用概率·Zbl 1026.62084号
[31] Ljung，L。；普福格，G.C。；Walk，H.，《随机系统的随机逼近和优化》，第17卷（2012年），Birkhäuser
[32] Maronna，R.A。；马丁·R·D。；Yohai，V.J.，（稳健统计学，稳健统计学，概率统计中的威利级数（2006），约翰·威利父子有限公司奇切斯特），理论与方法·邮编1094.62040
[33] Minsker，S.、Srivastava，S.，Lin，L.、Dunson，D.，2014年。通过中位数后验的可扩展和稳健的贝叶斯推断。《第31届国际机器学习会议论文集》（ICML-14），第1656-1664页。；Minsker，S.、Srivastava，S.，Lin，L.、Dunson，D.，2014年。通过中位数后验的可扩展和稳健的贝叶斯推断。《第31届国际机器学习会议论文集》（ICML-14），第1656-1664页。
[34] 内米洛夫斯基，A。；朱迪茨基，A。；兰·G。；Shapiro，A.，随机规划的稳健随机近似方法，SIAM J.Optim。，19, 4, 1574-1609 (2009) ·Zbl 1189.90109号
[35] Oja，H。；Niinimaa，A.，多元正态下广义中值的渐近性质，J.R.Stat.Soc.Ser。B统计方法。，372-377 (1985) ·Zbl 0605.62056号
[36] Pelletier，M.，关于随机算法的几乎肯定渐近行为，随机过程。应用。，78, 2, 217-244 (1998) ·Zbl 0926.62072号
[37] Pelletier，M.，平均随机算法的渐近几乎肯定效率，SIAM J.控制优化。，39, 1, 49-72 (2000) ·Zbl 1015.60028号
[38] 波利亚克，B。；Juditsky，A.，《随机逼近的加速》，SIAM J.《控制优化》。，30, 838-855 (1992) ·Zbl 0762.62022号
[39] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数学年鉴》。统计，400-407（1951）·Zbl 0054.05901号
[40] Ruppert，D.，《从缓慢收敛的Robbins-Monro过程中进行有效估计的技术报告》（1988年），康奈尔大学运营研究与工业工程
[41] 施瓦布，R。；Walk，H.，《基于平均的随机近似程序》，Metrika，44，1，165-180（1996）·Zbl 0906.62076号
[42] Serfling，R.，非参数多元推理中的深度函数，DIMACS Ser。离散数学。理论。计算。科学。，72, 1 (2006)
[43] 瓦尔迪，Y。；Zhang，C.-H.，多元（L_1）中值和相关数据深度，Proc。国家。阿卡德。科学。美国，97，4，1423-1426（2000）·Zbl 1054.62067号
[44] Walk，H.，《随机逼近基础》，（随机系统的随机逼近与优化（1992），Springer），1-51·Zbl 0747.62090号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。