具有收敛保证的非光滑优化的Adam族方法
肖纳川、胡晓音、刘欣、金传多; 25(48):1−53, 2024.
摘要
在本文中，我们对非光滑优化的Adam族方法的收敛性进行了全面的研究，特别是在非光滑神经网络的训练中。我们引入了一个新的双时间尺度框架，该框架采用了一个双时间尺度更新方案，并在温和的假设下证明了其收敛性。我们提出的框架包含了各种流行的Adam族方法，为这些方法在训练非光滑神经网络时提供了收敛保证。此外，我们还开发了随机次梯度方法，将梯度裁剪技术用于训练带有重尾噪声的非光滑神经网络。通过我们的框架，我们证明了我们提出的方法即使在评估噪声仅被假定为可积的情况下也收敛。大量的数值实验证明了我们提出的方法的高效性和鲁棒性。
[腹肌]
[pdf格式][围兜]
