摘要
本文对Ruppert-Polyak平均随机梯度下降格式建立了新的中心极限定理。与之前的工作相比,我们不假设收敛发生在孤立吸引子上,而是允许收敛到稳定流形。在稳定流形上,目标函数是常数,切线方向上迭代的振荡可能明显大于法线方向上的振荡。我们仍然以与孤立吸引子相同的速率恢复了法向平均格式的中心极限定理。在随机扰动的量级为常数的情况下,我们的研究涵盖了步长具有和特别是,我们表明,在更普遍的情况下,平均值的有利影响占主导地位。
资金筹措表
由德国研究基金会(DFG)根据德国卓越战略EXC 2044–390685587资助,数学穆斯特:动力学-几何-结构。
致谢
作者感谢一位匿名裁判的宝贵意见。
引用
下载引文
斯特芬·德雷奇(Steffen Dereich)。
塞巴斯蒂安·卡辛(Sebastian Kassing)。
“带稳定流形平均的随机梯度下降的中心极限定理。”
电子。J.概率。
28
1 - 48,
2023
https://doi.org/10.1214/23-EJP947
问询处
收到日期:2019年12月19日;接受日期:2023年4月16日;发布日期:2023年
欧几里德项目首次提供:2023年4月28日
数字对象标识符:10.1214/23-EJP947
学科:
主要用户:62L20型
次要:60J05型,65二氧化碳
关键词:深度学习,罗宾斯·蒙罗,Ruppert-Polyak平均值,稳定歧管,随机近似