使用迭代预处理加速线性回归的分布式SGD

库沙尔·查克拉巴蒂、尼鲁帕姆·古普塔、尼基尔·乔普拉
第三届动力学和控制学习会议记录，PMLR 144:447-4582021年。

摘要

本文考虑多智能体分布式线性最小二乘问题。该系统由多个代理组成，每个代理具有一组本地观察到的数据点，以及一个公共服务器，代理可以与该服务器进行交互。代理的目标是计算一个最适合所有代理观察到的集体数据点的线性模型。在基于服务器的分布式设置中，服务器无法访问代理持有的数据点。最近提出的迭代预处理渐变（IPG）方法已被证明比解决此问题的其他现有分布式算法收敛更快。在IPG算法中，服务器和代理执行大量迭代计算。每个迭代都依赖于代理观察到的整批数据点，以更新解决方案的当前估计。这里，我们将迭代预处理的思想扩展到随机设置，其中服务器在每次迭代时基于单个随机选择的数据点更新估计值和迭代预处理矩阵。我们证明了我们提出的迭代预条件随机渐变（IPSG）方法在期望接近解的情况下线性收敛。重要的是，我们的经验表明，在解决基于服务器的网络中的线性最小二乘问题时，所提出的IPSG方法的收敛速度优于显著的随机算法。

引用本文

BibTeX公司
@会议记录{pmlr-v144-chakrabarti21a，title={使用迭代预处理为线性回归加速分布式{SGD}}，作者={Chakrabarti、Kushal和Gupta、Nirupam和Chopra、Nikhil}，booktitle={第三届动力学和控制学习会议记录}，页数={447--458}，年份={2021}，editor={贾巴比、阿里和莱杰罗斯、约翰和帕帕斯、乔治J.和A.帕里罗、巴勃罗和雷希特、本杰明和汤姆林、克莱尔J.和泽林格、梅兰妮N.}，体积={144}，series={机器学习研究论文集}，月={07--08年6月}，publisher={PMLR}，pdf={http://processes.mlr.press/v144/chakrabarti21a/chakrabarti 21a.pdf}，url={https://procedures.mlr.press/v144/chakrabarti21a.html}，抽象={本文考虑多代理分布式线性最小二乘问题。该系统由多个代理组成，每个代理都有一组本地观察到的数据点，以及一个公共服务器，代理可以与之交互。代理的目标是计算一个最适合所有代理观察到的集体数据点的线性模型基于服务器的分布式设置，服务器无法访问代理持有的数据点。最近提出的迭代预处理渐变（IPG）方法已被证明比解决此问题的其他现有分布式算法收敛更快。在IPG算法中，服务器和代理执行大量迭代计算。每个迭代都依赖于代理观察到的整批数据点，以更新解决方案的当前估计。这里，我们将迭代预处理的思想扩展到随机设置，其中服务器在每次迭代时基于单个随机选择的数据点更新估计值和迭代预处理矩阵。我们证明了我们提出的迭代预条件随机渐变（IPSG）方法在期望接近解的情况下线性收敛。重要的是，我们的经验表明，在解决基于服务器的网络中的线性最小二乘问题时，所提出的IPSG方法的收敛速度与著名的随机算法相比是有利的。}}
尾注
%0会议论文%使用迭代预处理加速线性回归的分布式SGD%库沙尔·查克拉巴蒂%尼鲁帕姆·古普塔%尼基尔·乔普拉%B第三届动力学和控制学习会议记录%C机器学习研究进展%D 2021年%E阿里·贾德巴比%E约翰·利格罗斯%E乔治·J·帕帕斯%E巴勃罗·帕里罗%E本杰明·雷希特%E克莱尔·J·汤姆林%E梅兰妮·泽林格%F pmlr-v144-chakrabarti21a公司%I项目经理%电话447--458%U型https://proceedings.mlr.press/v144/chakrabarti21a.html%V 144型%本文考虑多智能体分布式线性最小二乘问题。该系统由多个代理组成，每个代理具有一组本地观察到的数据点，以及一个公共服务器，代理可以与该服务器进行交互。代理的目标是计算一个最适合所有代理观察到的集体数据点的线性模型。在基于服务器的分布式设置中，服务器无法访问代理持有的数据点。最近提出的迭代预处理渐变（IPG）方法已被证明比解决此问题的其他现有分布式算法收敛更快。在IPG算法中，服务器和代理执行大量迭代计算。每个迭代都依赖于代理观察到的整批数据点，以更新解决方案的当前估计。这里，我们将迭代预处理的思想扩展到随机设置，其中服务器在每次迭代时基于单个随机选择的数据点更新估计值和迭代预处理矩阵。我们证明了我们提出的迭代预条件随机渐变（IPSG）方法在期望接近解的情况下线性收敛。重要的是，我们的经验表明，在解决基于服务器的网络中的线性最小二乘问题时，所提出的IPSG方法的收敛速度优于显著的随机算法。
亚太地区
Chakrabarti，K.、Gupta，N.和Chopra，N.（2021）。使用迭代预处理加速线性回归的分布式SGD。第三届动力学和控制学习会议记录，英寸机器学习研究进展144:447-458网址：https://proceedings.mlr.press/v144/chakrabarti21a.html。

相关材料