随机修正流、平均场极限和随机梯度下降动力学
本杰明·盖斯（Benjamin Gess）、塞巴斯蒂安·卡辛（Sebastian Kassing）、维塔利·科纳罗夫斯基（Vitalii Konarovskyi）; 25(30):1−27, 2024.
摘要
我们提出了一种新的小学习率随机梯度下降的极限动力学，称为随机修正流。这些SDE由圆柱布朗运动驱动，并通过具有规则扩散系数和匹配多点统计来改进所谓的随机修正方程。作为第二个贡献，我们引入了依赖分布的随机修正流，我们证明了它描述了在小学习率-无限宽尺度范围内随机梯度下降的波动极限动力学。
[腹肌]
[pdf格式][围兜]
