安吉莉亚·奈迪奇;迪米特里·贝尔塞卡斯 增量次梯度算法的收敛速度。 （英语） Zbl 0984.90033号 Uryasev、Stanislav（编辑）等人，《随机优化：算法和应用》。会议，佛罗里达大学，佛罗里达州塔拉哈西，美国，2000年2月20日至22日。多德雷赫特：Kluwer学术出版社。申请。最佳方案。54, 223-264 (2001). 摘要：我们考虑了一类次梯度方法，用于最小化由大量分量函数之和组成的凸函数。这种最小化是在对偶环境中产生的，它来自于大规模可分离问题耦合约束的拉格朗日松弛。其思想是通过沿分量函数的次梯度连续采取步骤，逐步执行次梯度迭代，并在处理每个分量函数后对变量进行中间调整。这种增量方法在解决大型可微最小二乘问题方面非常成功，例如在神经网络训练中出现的问题，并且它比最速下降方法产生了更好的实际收敛速度。在本文中，我们给出了一些增量次梯度方法变体的收敛结果和收敛速度估计，包括一些使用随机化的变体。收敛速度估计值与我们的计算结果一致，并表明随机变量的性能大大优于确定性变量。有关整个系列，请参见[Zbl 0964.00055号]. 引用于36文件 MSC公司： 90C25型 凸面编程 52A41型 凸几何中的凸函数和凸规划 90立方厘米 随机规划 关键词：次梯度算法;不可微优化;凸规划;随机次梯度方法;凸函数;拉格朗日松弛;次梯度迭代;汇聚 PDF格式BibTeX公司 XML格式引用 \textit{A.Nedić}和\textit{D.Bertsekas}，应用。最佳方案。54、223--264（2001；Zbl 0984.90033）