×

关于Nyström方法,用于逼近改进的基于核的学习的gram矩阵。 (英语) Zbl 1222.68186号

摘要:许多基于内核的方法的一个问题是,找到解所需的计算量按“O(n^{3})”计算,其中“(n)”是训练示例的数量。我们开发并分析了一种算法,用于计算(n次n)Gram矩阵(G)的易于解释的低阶近似,从而可以更快地执行感兴趣的计算。近似值的形式为\(\ tilde{希腊}_{k} =CW_{k}^{+}C^{T}),其中,(C\)是由少量(C\)列组成的矩阵,(W_{k{)是(W\)的最佳秩-\(k\)近似,矩阵由(G\)的那些(C \)列与对应的(G\。该算法的一个重要方面是用于随机采样列的概率分布;我们将使用明智的选择和数据相关的非均匀概率分布。设()和(F})分别表示矩阵的谱范数和Frobenius范数,设(G{k})是(G\)的最佳秩-(k\)逼近。我们通过选择\(O(k/\ε^{4})\)列来证明\[\|G-CW_{k}^{+}C^{T}\|_{xi}\leq\|G-G{k}\|{xi}+\epsilon\Sigma_{i=1}^{n}G{i}^{2},\]预期和高概率,对于两者(xi=2,F)和所有(k:0\leqk\leq\text{rank}(W))。在对来自外部存储器的数据进行两次传递后,可以使用\(O(n)\)额外的空间和时间来计算此近似值。讨论了该算法、其他相关矩阵分解和积分方程理论中的Nyström方法之间的关系。

MSC公司:

68T05型 人工智能中的学习和自适应系统
65英尺30英寸 其他矩阵算法(MSC2010)
PDF格式BibTeX公司 XML格式引用
全文: 链接