×
罗伯特·汉纳;尹沃涛

异步并行定点算法中的无界延迟。 （英语） Zbl 1415.65138号

科学杂志。计算。 76，第1号，299-326（2018）.
摘要：大规模优化问题对可扩展解算器的需求推动了异步并行算法的发展，在异步并行算法中，一组节点并行运行，很少或没有同步，因此使用延迟信息进行计算。本文发展了强大的Lyapunov函数技术，并利用它们研究了异步并行算法ARock在以下情况下的收敛性潜在无界延迟.ARock是一种非常通用的异步算法，它将许多流行的算法作为特例：例如，异步块梯度下降、向前向后、ADMM等。因此，我们的结果具有广泛的含义和应用范围。ARock通过让一组节点随机选择要以异步并行方式更新的解决方案坐标来并行化定点迭代。现有的ARock分析假设延迟是有界的，并使用此界来设置步长，这对收敛和效率都很重要。其他工作虽然允许无界延迟，但对底层定点操作符施加了严格的条件，从而限制了应用。本文在无界时滞下建立了收敛性，无界时滞可以是随机的，也可以是确定性的。提出的步长比现有工作中的步长更实际，也更大。步长适应系统中的延迟分布或当前延迟，而不受最坏情况延迟的限制。生成新的Lyapunov函数以获得我们的结果，这是分析异步算法的关键。提出了一种生成李亚普诺夫函数的通用策略，可用于其他算法的收敛性分析。给出了一组具有大规模应用的实用优化算法，包括机器学习和科学计算算法。

引用于6文件

MSC公司：

65千5 数值数学规划方法
2005年5月 并行数值计算
90C25型 凸面编程

关键词：

异步;平行的，平行的;无界延迟;随机的，随机的;固定点;坐标

软件：

TMAC公司;AsynML（异步ML）;HOGWILD公司;A锁定
PDF格式BibTeX公司 XML格式引用
\textit{R.Hannah}和\textit{W.Yin}，J.Sci。计算。76，第1号，299--326（2018；Zbl 1415.65138）
全文： DOI程序 arXiv公司

参考文献：

[1] Sutter，H.：免费午餐结束了：软件并发性的根本转变。Dobb博士的J。30(3), 202-210 (2005) ·Zbl 1432.65076号
[2] 萨特：欢迎来到丛林。https://herbsutter.com/welcometo网址-丛林（2011）
[3] Rumble，S.M.、Ongaro，D.、Stutsman，R.、Rosenblum，M.、Ousterhout，J.K.：现在是低延迟的时候了。摘自：第13届USENIX操作系统热点研讨会会议记录，第11-15页（2011年）·兹比尔1317.65135
[4] 彭，Z；徐，Y；严，M；Yin，W，Arock：异步并行坐标更新的算法框架，SIAM J.Sci。计算。，38，a2851-a2879，（2016）·Zbl 1350.49041号 ·doi:10.1137/15M1024950
[5] Bauschke，H.H.，Combettes，P.L.：希尔伯特空间中的凸分析和单调算子理论，第470页。柏林施普林格出版社（2011）·Zbl 1218.47001号 ·doi:10.1007/978-1-4419-9467-7
[6] Davis，D.，Yin，W.：三算子分裂方案及其优化应用。设定值变量分析。(2017). https://doi.org/10.1007/s11228-017-0421-z ·Zbl 1464.47041号
[7] Peng，Z.，Xu，Y.，Yan，M.，Yin，W.：关于具有任意延迟的异步并行迭代的收敛性。arXiv:1612.04425（2016）
[8] Edmunds，B.，Peng，Z.，Yin，W.：TMAC：现代异步并行、坐标、分裂和随机方法的工具箱。arXiv:1606.04551[数学]（2016）
[9] Huang，Y.：用于机器学习的ASYNML异步并行算法包，1.1版，纽约州罗切斯特。http://junehuang.com/software.html (2016) ·Zbl 0754.90055号
[10] 刘，J；Wright，S，《异步随机坐标下降：并行性和收敛性》，SIAM J.Optim。，25351-376（2015年）·Zbl 1358.90098号 ·数字对象标识代码：10.1137/140961134
[11] Liu，J.，Wright，S.J.，Ré，C.，Bittorf，V.，Sridhar，S.：异步并行随机坐标下降算法。J.马赫。学习。物件。16(1), 285-322 (2015) ·Zbl 1337.68286号
[12] 彭，Z；吴，T；徐，Y；严，M；Yin，W，《坐标友好型结构、算法和应用》，《数学年鉴》。科学。申请。，1, 57-119, (2016) ·Zbl 1432.65076号
[13] 查赞，D；米兰克，W，混沌松弛，线性代数应用。，2199-222，（1969年）·Zbl 0225.65043号 ·doi:10.1016/0024-3795（69）90028-7
[14] Bertsekas，D.P.，Tsitsiklis，J.N.：并行和分布式计算：数值方法。雅典娜科学，贝尔蒙特（1997）·Zbl 1325.65001号
[15] 曾，P；Bertsekas，D；Tsitsiklis，J，网络流和其他问题的部分异步并行算法，SIAM J.Control Optim。，28, 678-710, (1990) ·Zbl 0725.65054号 ·doi:10.1137/0328040
[16] Tseng，P，关于部分异步梯度投影算法的收敛速度，SIAM J.Optim。，1, 603-619, (1991) ·Zbl 0754.90055号 ·电话：10.1137/0801036
[17] Rech，B.，Re，C.，Wright，S.，Niu，F.：霍格沃德！：一种并行化随机梯度下降的无锁方法。摘自：Shawe-Taylor，J.、Zemel，R.S.、Bartlett，P.L.、Pereira，F.、Weinberger，K.Q.（编辑）《神经信息处理系统进展》24，第693-701页。Curran Associates，Inc.（2011年）
[18] Avron，H.，Druinsky，A.，Gupta，A.：重新审视异步线性解算器：通过随机化证明收敛速度。2014年IEEE第28届国际并行和分布式处理研讨会，第198-207页（2014）·Zbl 1426.65047号
[19] Duchi，J.C.，Chaturapurek，S.，Ré，C.：异步随机凸优化。arXiv:1508.00882[数学，统计]（2015）
[20] Sra，S.，Yu，A.W.，Li，M.，Smola，A.：AdaDelay：延迟自适应分布式随机优化。摘自：Gretton，A.，Robert，C.C.（编辑）《第19届国际人工智能与统计会议论文集》，第51卷，第957-965页。西班牙加的斯PMLR（2016）·Zbl 1350.49041号
[21] Agarwal，A.，Duchi，J.C.：分布式延迟随机优化。摘自：Shawe-Taylor，J.、Zemel，R.S.、Bartlett，P.L.、Pereira，F.、Weinberger，K.Q.（编辑）《神经信息处理系统进展》24，第873-881页。Curran Associates，Inc.（2011年）
[22] 组合框，P；Pesquet，J，带随机扫描的随机拟Fejér块坐标不动点迭代，SIAM J.Optim。，25, 1221-1248, (2015) ·Zbl 1317.65135号 ·doi:10.1137/140971233
[23] Arendt，W.，Batty，C.J.K.，Hieber，M.，Neubrander，F.：向量值拉普拉斯变换和柯西问题，第2版。柏林施普林格出版社（2011）·兹比尔1226.34002 ·doi:10.1007/978-3-0348-0087-7
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。