改进大尺度机器学习的Nyström方法
Alex Gittens、Michael W.Mahoney; 17(117):1−65, 2016.
摘要
我们重新考虑了数据分析和机器学习应用中出现的对称半正定（SPSD）矩阵（如拉普拉斯矩阵和核矩阵）的低阶近似的随机算法。我们的主要结果包括对不同SPSD矩阵集上采样和投影方法的性能质量和运行时间的实证评估。我们的结果强调了抽样与投影方法的互补性；它们描述了常见数据预处理步骤对这些算法性能的影响；他们指出了基于杠杆得分的均匀抽样和非均匀抽样方法之间的重要区别。此外，我们的实证结果表明，现有理论过于薄弱，甚至无法为实践提供定性指导。因此，我们用随机抽样和随机投影方法的一套最坏情况理论界来补充我们的经验结果。这些边界在质量上优于现有的边界——例如，改进的谱和Frobenius范数误差的加性误差边界以及迹范数误差的相对误差边界——它们指出了未来的方向，使这些算法在更大规模的机器学习应用中有用。
[腹肌]
[pdf格式][围兜]
