开放式访问
2023 稳定流形平均随机梯度下降的中心极限定理
斯特芬·德雷奇,塞巴斯蒂安·卡辛
作者关联+
电子。J.概率。 28: 第1-48页 (2023). 内政部:10.1214/23-EJP947

摘要

本文对Ruppert-Polyak平均随机梯度下降格式建立了新的中心极限定理。与之前的工作相比,我们不假设收敛发生在孤立的吸引子上,而是允许收敛到稳定的流形上。在稳定流形上,目标函数是常数,切线方向上迭代的振荡可能明显大于法线方向上的振荡。我们仍然以与孤立吸引子相同的速率恢复了法向平均格式的中心极限定理。在随机扰动的量级为常数的情况下,我们的研究涵盖了步长γn个=C类γn个γ具有C类γ>0γ(4,1)特别是,我们表明,在更普遍的情况下,平均值的有利影响占主导地位。

资金筹措表

由德国研究基金会(DFG)根据德国卓越战略EXC 2044–390685587资助,数学穆斯特:动力学-几何-结构。

致谢

作者感谢一位匿名裁判的宝贵意见。

引用

下载引文

斯特芬·德雷奇(Steffen Dereich)。 塞巴斯蒂安·卡辛(Sebastian Kassing)。 “带稳定流形平均的随机梯度下降的中心极限定理。” 电子。J.概率。 28 1 - 48, 2023 https://doi.org/10.1214/23-EJP947

问询处

收到日期:2019年12月19日;接受日期:2023年4月16日;发布日期:2023年
欧几里德项目首次提供:2023年4月28日

数学科学网:MR4580893型
zbMATH公司:07707073
数学科学网:MR4529085型
数字对象标识符:10.1214/23-EJP947

学科:
主要用户:62L20型
次要:60J05型,65二氧化碳

关键词:深度学习,罗宾斯·蒙罗,Ruppert-Polyak平均值,稳定歧管,随机近似

第28卷•2023
返回页首