谱优化的随机切比雪夫梯度下降法

的一部分神经信息处理系统的进展31（NeurIPS 2018）

作者

Inso Han、Haim Avron、Jinwoo Shin

摘要

一大类机器学习技术需要解决涉及参数矩阵谱函数的优化问题，例如对数行列式和核范数。不幸的是，计算谱函数的梯度通常具有三次复杂性，因为这种梯度下降方法对于涉及谱函数的优化目标来说相当昂贵。因此，人们自然会求助于随机梯度方法，希望它们能提供一种减少或完全避免计算全梯度的方法。然而，这里出现了一个新的挑战：没有直接的方法来计算谱函数的无偏随机梯度。在本文中，我们为谱函数的一个重要子类谱和发展了无偏随机梯度。我们的无偏随机梯度是基于将随机迹估计与切比雪夫展开的随机截断相结合。仔细设计截断分布可以提供方差最优的分布，这对于随机梯度方法的快速稳定收敛至关重要。我们进一步利用我们提出的随机梯度来设计涉及光谱的目标函数的随机方法，并严格分析其收敛速度。数值实验证明了我们方法的实用性。