×

通信高效的自相关经验损失分布式优化。 (英语) 兹比尔1412.90118

Giselsson,Pontus(编辑)等人,《大规模和分布式优化》。研讨会的贡献,瑞典隆德,2017年6月14-16日。查姆:斯普林格。莱克特。数学笔记。2227, 289-341 (2018).
摘要:我们考虑源自随机优化的样本平均逼近或机器学习中的经验风险最小化的分布式凸优化问题。我们假设分布式计算系统中的每台机器都可以访问局部经验损失函数,该函数由从公共分布中采样的身份证数据构成。我们提出了一种通信效率高的分布式算法,以最小化总体经验损失,即局部经验损失的平均值。该算法基于不精确阻尼牛顿法,其中不精确牛顿步由分布式预处理共轭梯度法计算。我们分析了它在最小化自相关经验损失函数方面的迭代复杂性和通信效率,并讨论了平滑铰链损失下岭回归、logistic回归和二元分类的结果。在监督学习的标准设置中,问题的条件数随样本大小的平方根增长,算法所需的通信轮数不会随样本大小增加,而只会随机器数量缓慢增长。
有关整个系列,请参见[Zbl 1407.90006号].

MSC公司:

90C25型 凸面编程
68宽15 分布式算法
68瓦20 随机算法
PDF格式BibTeX公司 XML格式引用