×

分治核岭回归:一种具有极大极小最优速率的分布式算法。 (英语) Zbl 1351.62142号

摘要:我们研究了一种基于分解的核岭回归可伸缩方法,并表明它在相对温和的条件下实现了极小极大的最优收敛速度。该方法描述简单:它将大小为N的数据集随机划分为大小相等的(m)个子集,使用仔细选择的正则化参数计算每个子集的独立核岭回归估计量,然后将局部解平均化为全局预测器。与对所有(N)样本执行核岭回归的标准方法相比,这种划分大大减少了计算时间。我们的两个主要定理表明,尽管计算速度提高了,但仍保持了统计最优性:只要(m)不太大,基于分区的估计量就可以使用(N)样本集获得所有估计量的统计最小最大速率。作为具体的例子,我们的理论保证,对于有限秩或高斯核,子集的数量(m)可以近似线性增长,而对于Sobolev空间,子集的数目可以多项式地增长,从而大大降低了计算成本。最后,我们对模拟数据和音乐预测任务进行了实验,以补充我们的理论结果,展示了我们方法的计算和统计优势。

MSC公司:

62J07型 岭回归;收缩估计器(拉索)
62G08号 非参数回归和分位数回归
68宽15 分布式算法
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接