×

兹马思-数学第一资源

通信效率自洽经验损失分布优化。(英语) Zbl 1412.90118号
Giselson,Pontus(ed.)等人,大规模分布式优化。研讨会的贡献,瑞典隆德,2017年6月14日至16日。查姆:斯普林格。选择。数学笔记。2227289-341(2018年)。
摘要:我们考虑分布凸优化问题源于随机优化的样本平均逼近或机器学习中的经验风险最小化。我们假设分布式计算系统中的每台机器都可以访问一个局部经验损失函数,该函数由从一个公共分布中采样的i.i.d.数据构成。我们提出了一种通信有效的分布式算法来最小化整体经验损失,即局部经验损失的平均值。该算法基于不精确阻尼牛顿法,其中不精确牛顿步数由分布预处理共轭梯度法计算。分析了该算法的迭代复杂度和通信效率,讨论了岭回归、logistic回归和平滑铰链损失二元分类的结果。在有监督学习的标准设置中,问题的条件数随样本量的平方根增长,算法所需的通信轮数不随样本量的增加而增加,只随机器数的增加而缓慢增长。
整个系列请参见[Zbl 1407.90006号].

理学硕士:
90C25型 凸规划
68度15度 分布式算法
68周20分 随机算法
PDF格式 BibTeX公司 XML 引用