利用尺度梯度下降加速病态低秩矩阵估计
田彤、丛马、池月杰; 22(150):1−63, 2021.
摘要
低秩矩阵估计是一个典型问题，在信号处理、机器学习和成像科学中有许多应用。实践中常用的方法是将矩阵分解为两个紧致的低阶因子，然后通过梯度下降和交替最小化等简单迭代方法直接优化这些因子。尽管非凸性，但最近的文献表明，对于越来越多感兴趣的问题，这些简单的启发式算法在适当初始化时实际上可以实现线性收敛。然而，经过仔细研究，现有方法的计算成本仍然很高，特别是对于病态矩阵：梯度下降的收敛速度与低秩矩阵的条件数线性相关，而交替最小化的迭代成本对于大型矩阵来说通常是禁止的。本文的目标是提出一种称为Scaled Gradient Descent（ScaledGD）的竞争性算法，它可以被视为预处理或对角梯度下降，其中预处理是自适应的，迭代是以最小的计算开销进行的。通过为低阶矩阵传感、稳健主成分分析和矩阵补全定制变量，我们从理论上证明了ScaledGD达到了两个世界的最佳效果：它以与低阶矩阵的条件数无关的速率线性收敛，类似于交替最小化，同时保持梯度下降的低迭代代价。我们的分析也适用于低秩矩阵上限制强凸光滑的一般损失函数。据我们所知，ScaledGD是第一个在广泛的低秩矩阵估计任务中具有此类性质的算法。我们分析的核心是引入了一个新的距离函数，该函数在测量迭代与基本真理之间的距离时考虑了预条件。最后，通过数值例子证明了ScaledGD在许多应用中加速病态低秩矩阵估计收敛速度的有效性。
[腹肌]
[pdf格式][围兜] [代码]
