×
彭志敏;徐阳阳;严，明;尹沃涛

无界时滞异步并行迭代的收敛性。 （英语） Zbl 1424.65086号

《运营杂志》。Res.Soc.中国 7，第1号，第5-42页（2019年）.
摘要：近年来，由于涉及大规模数据和大量决策变量的问题，异步并行（异步并行）迭代算法激增。由于异步，迭代是用过时的信息和过时信息的年龄计算的，我们称之为过时信息的时间延迟，是自创建以来更新的次数。几乎所有最近的工作都证明了在有限最大延迟假设下的收敛性，并相应地设置了步长参数。然而，最大延迟实际上是未知的。本文从概率的角度对异步并行方法进行了收敛性分析，该方法允许较大的无界延迟。根据时滞统计，给出了保证收敛的显式步长公式。使用（p+1）相同的处理器，我们经验性地测量出延迟与参数（p）的泊松分布密切相关，与我们的理论模型相匹配，因此可以相应地设置步长。对凸优化问题和非凸优化问题的仿真表明了我们分析的有效性，同时也表明现有的最大延迟诱导步长过于保守，往往会减慢算法的收敛速度。

引用于4文件

MSC公司：

65千5 数值数学规划方法
2005年5月 并行数值计算
90C25型 凸面编程
90C26型 非凸规划，全局优化

关键词：

异步无界延迟;非凸;凸面的

软件：

HOGWILD公司;A锁定
PDF格式BibTeX公司 XML格式引用
\textit{Z.Peng}等人，J.Oper。Res.Soc.China 7，No.1，5-42（2019；兹bl 1424.65086）
全文： 内政部 arXiv公司

参考文献：

[1] 白宫：大数据：抓住机遇维护价值（2014）
[2] Cortes，C.，Vapnik，V.：支持向量网络。机器。学习。20(3), 273-297 (1995) ·Zbl 0831.68098号
[3] Tibshirani，R.：通过套索进行回归收缩和选择。J.R.统计社会服务。B（Methodol.）58，267-288（1996）·Zbl 0850.62538号
[4] Zhou，H.，Li，L.，Zhu，H.：张量回归及其在神经影像数据分析中的应用。《美国法律总汇汇编》第108（502）、540-552页（2013）·Zbl 06195959号
[5] Zou，H.，Hastie，T.，Tibshirani，R.：稀疏主成分分析。J.计算。图表。Stat.15（2），265-286（2006）
[6] Cichocki，A.，Zdunk，R.，Phan，A.H.，Amari，Si:非负矩阵和张量因子分解：探索性多路数据分析和盲源分离的应用。威利，伦敦（2009）
[7] Beck，A.，Teboulle，M.：线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2(1), 183-202 (2009) ·Zbl 1175.94009号
[8] Nemirovski，A.，Juditsky，A.，Lan，G.，Shapiro，A.：随机规划的稳健随机近似方法。SIAM J.Optim公司。19(4), 1574-1609 (2009) ·Zbl 1189.90109号
[9] Nesterov，Y.：坐标下降法在大规模优化问题上的效率。SIAM J.Optim公司。22(2), 341-362 (2012) ·Zbl 1257.90073号
[10] Dang，C.D.，Lan，G.：非光滑随机优化的随机块镜像下降方法。SIAM J.Optim公司。25(2), 856-881 (2015) ·Zbl 1353.90095号
[11] Xu，Y.，Yin，W.：凸优化和非凸优化的块随机梯度迭代。SIAM J.Optim公司。25(3), 1686-1716 (2015) ·Zbl 1342.93125号
[12] Liu，J.，Wright，S.，Re，C.，Bittorf，V.，Sridhar，S.：异步并行随机坐标下降算法。摘自：《第31届国际机器学习会议论文集》（ICML-14），第469-477页（2014）·Zbl 1337.68286号
[13] Peng，Z.，Xu，Y.，Yan，M.，Yin，W.：Arock：异步平行坐标更新的算法框架。SIAM J.科学。计算。38（5），A2851-A2879（2016）·Zbl 1350.49041号
[14] Strikwerda，J.C.：异步迭代的概率分析。线性代数应用。349(13), 125-154 (2002) ·Zbl 1007.65017号
[15] Hannah，R.，Yin，W.：异步并行定点算法中的无界延迟。arXiv预印arXiv:1609.04746（2016）·Zbl 1415.65138号
[16] Liu，J.，Wright，S.J.：异步随机坐标下降：并行性和收敛性。SIAM J.Optim公司。25(1), 351-376 (2015) ·Zbl 1358.90098号
[17] Cannelli，L.，Facchinei，F.，Kungurtsev，V.，Scutari，G.：非凸大数据优化的异步并行算法：模型和收敛。arXiv预印本arXiv：1607.04818（2016）·Zbl 1451.90151号
[18] Davis，D.：非光滑非凸问题的异步PALM算法。arXiv预印本arXiv:1604.00526（2016）
[19] Mokhtai，A.，Koppel，A.，Ribeiro，A.：用于大规模学习的一类并行双随机算法。arXiv预印arXiv:1606.04991（2016）
[20] Recht，B.，Re，C.，Wright，S.，Niu，F.：霍格沃尔德：并行化随机梯度下降的无锁方法。《神经信息处理系统进展》，第693-701页（2011年）
[21] 希尔德雷思：二次规划程序。海军后勤研究。问题4（1），79-85（1957）
[22] Grippo，L.，Sciandone，M.：凸约束下块非线性Gauss-Seidel方法的收敛性。操作。Res.Lett公司。26(3), 127-136 (2000) ·Zbl 0955.90128号
[23] 罗志强，曾平：关于凸可微极小化的坐标下降法的收敛性。J.优化。理论应用。72(1), 7-35 (1992) ·Zbl 0795.90069号
[24] Tseng，P.：不可微极小化的块坐标下降法的收敛性。J.优化。理论应用。109(3), 475-494 (2001) ·Zbl 1006.65062号
[25] Hong，M.、Wang，X.、Razaviyayn，M.，Luo，Z.Q.：块坐标下降方法的迭代复杂性分析。数学。程序。163(1-2), 85-114 (2017) ·Zbl 1367.49010号
[26] Tseng，P.，Yun，S.：非光滑可分离最小化的坐标梯度下降法。数学。程序。117(1-2), 387-423 (2009) ·兹比尔1166.90016
[27] Lu，Z.，Xiao，L.：关于随机区组坐标下降法的复杂性分析。数学。程序。152(1-2), 615-642 (2015) ·Zbl 1321.65100号
[28] Richtárik，P.，Takáć，M.：最小化复合函数的随机块坐标下降方法的迭代复杂性。数学。程序。144(1-2), 1-38 (2014) ·Zbl 1301.65051号
[29] 罗森菲尔德，J.L.：并行处理器编程案例研究。Commun公司。ACM 12（12），645-655（1969）·Zbl 0184.20701号
[30] Chazan，D.，Miranker，W.：混沌放松。线性代数应用。2(2), 199-222 (1969) ·Zbl 0225.65043号
[31] Bertsekas，D.P.：不动点的分布式异步计算。数学。程序。27(1), 107-120 (1983) ·Zbl 0521.90089号
[32] Tseng，P.、Bertsekas，D.P.、Tsitsiklis，J.N.：网络流和其他问题的部分异步并行算法。SIAM J.控制优化。28(3), 678-710 (1990) ·Zbl 0725.65054号
[33] Frommer，A.，Szyld，D.B.：关于异步迭代。J.计算。申请。数学。123（1），201-216（2000）·Zbl 0967.65066号
[34] 研究生课程：研究生课程。柏林施普林格出版社（2006）·兹比尔1267.60001
[35] Lai，M.J.，Yin，W.：增强型ℓ1和具有全局线性收敛算法的核范数模型。SIAM J.成像科学。6(2), 1059-1091 (2013) ·Zbl 1279.68329号
[36] Rockafellar，R.T.，Wets，R.J.B.：变分分析，第317卷。柏林施普林格出版社（2009）·Zbl 0888.49001号
[37] Paatero，P.，Tapper，U.：正矩阵因式分解：最佳利用数据值误差估计的非负因子模型。环境计量学5（2），111-126（1994）
[38] Xu，Y.，Yin，W.：基于块坐标更新的非凸优化的全局收敛算法。科学杂志。计算。72(2), 700-734 (2017) ·Zbl 1378.65126号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。