周一丁；吴天宇；尹沃涛 不动点问题的循环坐标更新算法：分析和应用。 （英语） Zbl 1368.90104号 SIAM J.科学。计算。 39，第4号，A1280-A1300（2017）. 摘要：许多问题都归结为求解不动点问题，其中（T\）是从Hilbert空间到自身的映射。对于这个问题，我们应用了协调更新算法，每个步骤只更新\（x \）的一个或几个组件。当每一步都很便宜时，这些算法比完全定点迭代（更新所有组件）更快。本文主要研究循环坐标选择规则，其中每个循环中的坐标顺序是任意的。相应的算法速度很快，但在定点设置下其收敛性未知。当（T）是非扩张算子且有不动点时，我们证明了在适当的步长下，坐标更新迭代序列收敛到一个不动点。该结果适用于原对偶坐标更新算法，该算法广泛应用于具有不可分离非光滑目标和/或全局线性约束的优化问题。从数字上讲，我们将具有循环、混洗循环和随机选择规则的坐标更新算法应用于\（\ell_1\）鲁棒最小二乘、总变异最小化和非负矩阵分解。这些算法的收敛速度比标准的定点迭代快得多。在这三种规则中，循环和洗牌循环规则总体上比随机规则快。 引用于1审查引用于8文件 MSC公司： 90C06型 数学规划中的大尺度问题 90C25型 凸面编程 65千5 数值数学规划方法 关键词：坐标更新；循环的，循环的；混洗循环；固定点；非扩张算子；稳健最小二乘法；图像重建；非负矩阵分解 软件：A锁定；NeNMF公司；TVAL3型；格尔姆奈特 PDF格式BibTeX公司 XML格式引用 \textit{Y.T.Chow}等人，SIAM J.Sci。计算。39，第4号，A1280--A1300（2017；Zbl 1368.90104） 全文： 内政部 arXiv公司 参考文献： [1] H.H.Bauschke和P.L.Combettes，{Hilbert空间中的凸分析和单调算子理论}，CMS数学书籍。，施普林格，纽约，2011年·Zbl 1218.47001号 [2] A.Beck和L.Terumeshvili，{关于块坐标下降型方法的收敛性}，SIAM J.Optim。，23（2013），第2037-2060页·Zbl 1297.90113号 [3] D.P.Bertsekas，{不动点的分布式异步计算}，数学。《编程》，27（1983），第107-120页·Zbl 0521.90089号 [4] D.P.Bertsekas和J.N.Tsitsiklis，《并行和分布式计算：数值方法》，普伦蒂斯·霍尔，恩格尔伍德悬崖，新泽西州，1989年·Zbl 0743.65107号 [5] A.Chambolle和T.Pock，{\it凸问题的一阶原对偶算法及其在成像中的应用}，J.Math。《成像视觉》，40（2011），第120-145页·兹比尔1255.68217 [6] C.Chen，M.Li，X.Liu，Y.Ye，{带二次耦合项的不可分凸最小化模型的扩展ADMM和BCD：收敛分析和见解}，预印本，2015年·Zbl 1415.90079号 [7] E.C.Chi和T.G.Kolda，{关于张量、稀疏性和非负因式分解}，SIAM J.矩阵分析。申请。，33（2012），第1272-1299页·Zbl 1262.15029号 [8] P.L.Combettes、L.Condat、J.-C.Pesquet和B.C.Vu，{图像恢复中一些原对偶优化方法的正向视图}，《2014年IEEE图像处理国际会议论文集》，IEEE出版社，新泽西州皮斯卡塔韦，2014年，第4141-4145页。 [9] P.L.Combettes和J.-C.Pesquet，{随机拟Fejer块坐标不动点迭代与随机扫描}，SIAM J.Optim。，25（2015），第1221-1248页·Zbl 1317.65135号 [10] L.Condat，{它是一种求解涉及Lipschitz、近似和线性复合项}的凸优化问题的原对偶分裂方法，J.Optim。理论应用。，158（2013），第460-479页·Zbl 1272.90110号 [11] A.P.Da Costa和A.Seeger，{锥约束特征值问题：理论和算法}，计算。最佳方案。申请。，45（2010年），第25-57页·Zbl 1193.65039号 [12] M.E.Daube-Witherspoon和G.Muehlehner，{适用于体ECT的迭代图像空间重建算法}，IEEE Trans。医学成像，5（1986），第61-66页。 [13] D.Davis和W.Yin，{三算子分裂方案及其优化应用}，加州大学洛杉矶分校CAM报告15-13，2015·Zbl 1464.47041号 [14] D.Davis和W.Yin，{几种分裂方案的收敛速度分析}，摘自《通信、成像、科学和工程中的分裂方法》，R.Glowinski、S.Osher和W.Yin编辑，施普林格国际出版公司，瑞士，2016年，第115-163页·Zbl 1372.65168号 [15] O.Fercoq和P.Bianchi，{具有大步距和可能不可分离函数的坐标下降原对偶算法}，预印本，2015年·Zbl 1411.90265号 [16] J.Friedman，T.Hastie，H.Ho¨fling，和R.Tibshirani，《路径坐标优化》，Ann.Appl。《法律总汇》，1（2007），第302-332页·Zbl 1378.90064号 [17] J.Friedman、T.Hastie和R.Tibshirani，{广义线性模型通过坐标下降的正则化路径}，J.Stat.Software，33（2010），第1-22页。 [18] D.Gabay和B.Mercier，{通过有限元近似求解非线性变分问题的对偶算法}，计算。数学。申请。，2（1976年），第17-40页·Zbl 0352.65034号 [19] N.Gillis，{\it The why and how of non-negative matrix factoriation}，摘自《正则化、优化、内核和支持向量机》，查普曼和霍尔/CRC，佛罗里达州博卡拉顿，2014年，第257-291页·兹比尔1305.68030 [20] R.Glowinski和A.Marroco，{\it Sur l’A approximation，par e⁄leéments finis d’ordre un，et la reésolution，par pe⁄nalisation-qualite⁄d’une classe de problèmes de Dirichlet non-line \ aires}，ESAIM Math。模型。数字。分析。，9（1975年），第41-76页·Zbl 0368.65053号 [21] N.Guan，D.Tao，Z.Luo，B.Yuan，{it Nenmf:非负矩阵分解的最优梯度法}，IEEE Trans。信号处理。，60（2012），第2882-2898页·Zbl 1391.65115号 [22] J.Han、L.Han，M.Neumann和U.Prasad，《图像空间重建算法的收敛速度》，《算子和矩阵》，3（2009），第41-58页·Zbl 1179.65044号 [23] M.Hanke、A.Neubauer和O.Scherzer，非线性不适定问题Landweber迭代的收敛性分析，Numer。数学。，72（1995），第21-37页·Zbl 0840.65049号 [24] N.-D.Ho、P.Van Dooren和V.D.Blondel，{非负矩阵因式分解的下降方法}，《信号、系统和控制中的数值线性代数》，Springer，纽约，2011年，第251-293页·Zbl 1251.65049号 [25] M.Hong，X.Wang，M.Razaviyayn，和Z.-Q.Luo，{块坐标下降法的迭代复杂性分析}，数学。程序。，163（2017），序列号。A、 第85-114页·Zbl 1367.49010号 [26] A.N.Iusem和W.Sosa，《关于Hilbert空间平衡问题的近点方法》，《最优化》，59（2010），第1259-1274页·Zbl 1206.90212号 [27] H.Kim和H.Park，{通过交替非负约束最小二乘法对微阵列数据分析进行稀疏非负矩阵分解}，生物信息学，23（2007），第1495-1502页。 [28] J.Kim，Y.He，和H.Park，{非负矩阵和张量分解的算法：基于块坐标下降框架的统一视图}，J.Global Optim。，58（2014），第285-319页·Zbl 1321.90129号 [29] J.Kim和H.Park，{快速非负矩阵因式分解：一种活性集类方法和比较}，SIAM J.Sci。计算。，33（2011），第3261-3281页·Zbl 1232.65068号 [30] M.Krasnosel’skiĭ，《关于连续近似法的两个评论》，Uspehi Mat.Nauk（N.S.），10（1955），第123-127页（俄语）。 [31] D.D.Lee和H.S.Seung，{非负矩阵分解的算法}，《神经信息处理系统的进展》13（NIPS 2000），麻省理工学院出版社，马萨诸塞州剑桥，2001年，第556-562页。 [32] C.Li，W.Yin，H.Jiang，and Y.Zhang，{it一种有效的增广拉格朗日方法及其在总变差最小化中的应用}，计算。最佳方案。申请。，56（2013），第507-530页·Zbl 1287.90066号 [33] 林春杰，{非负矩阵分解的投影梯度法}，神经计算。，19（2007年），第2756-2779页·Zbl 1173.90583号 [34] P.L.Lions和B.Mercier，{两个非线性算子之和的分裂算法}，SIAM J.Numer。分析。，16（1979年），第964-979页·Zbl 0426.6500号 [35] 陆振中，肖立群，{论随机区组坐标下降法的复杂性分析}，数学。编程，152（2015），第615-642页·Zbl 1321.65100号 [36] 罗志清，曾培生，{关于凸可微极小化的坐标下降法的收敛性}，J.Optim。理论应用。，72（1992），第7-35页·Zbl 0795.90069号 [37] W.R.Mann，{迭代中的平均值方法}，Proc。阿默尔。数学。《社会学杂志》，第4期（1953年），第506-510页·Zbl 0050.11603号 [38] 于。Nesterov，{坐标下降法在大规模优化问题上的效率}，SIAM J.Optim。，22（2012），第341-362页·Zbl 1257.90073号 [39] Z.Peng，T.Wu，Y.Xu，M.Yan，and W.Yin，{协调友好结构、算法和应用}，《数学年鉴》。科学。申请。，1（2016），第57-119页·Zbl 1432.65076号 [40] Z.Peng，Y.Xu，M.Yan，and W.Yin，{\it ARock:异步并行坐标更新的算法框架}，SIAM J.Sci。计算。，38（2016），第A2851-A2879页·Zbl 1350.49041号 [41] J.-C.Pesquet和A.Repetti，{\it分布式优化的一类随机原对偶算法}，J.非线性凸分析。，16（2015），第2453-2490页·Zbl 1336.65113号 [42] T.Pock和A.Chambolle，《凸优化中一阶原对偶算法的对角预处理》，载于《2011年IEEE国际计算机视觉会议论文集》，IEEE出版社，新泽西州皮斯卡塔韦，2011年，第1762-1769页。 [43] M.Razaviyayn，M.Hong，and Z.-Q.Luo，{it非光滑优化的块逐次极小化方法的统一收敛性分析}，SIAM J.Optim。，23（2013），第1126-1153页·Zbl 1273.90123号 [44] P.Richtaárik和M.Takaáč，{\it最小化复合函数的随机块坐标下降方法的迭代复杂性}，数学。《编程》，144（2014），第1-38页·Zbl 1301.65051号 [45] H.-J.M.Shi、S.Tu、Y.Xu和W.Yin，《坐标下降算法入门》，预印本，2016年。 [46] R.L.Siddon，{三维CT阵列精确放射路径的快速计算}，医学物理。，第12页（1985年），第252-255页。 [47] D.C.Sorensen，{大尺度Lyapunov方程数值解的无参数类ADI方法}，摘自《通信、成像、科学和工程中的分裂方法》，纽约斯普林格，2016年，第409-425页·Zbl 1372.65131号 [48] P.Tseng，{不可微极小化块坐标下降法的收敛性}，J.Optim。理论应用。，109（2001），第475-494页·Zbl 1006.65062号 [49] B.C.Vu͂，｛\it涉及共操作算子的对偶单调包含的分裂算法｝，Adv.Comput。数学。，38（2013），第667-681页·Zbl 1284.47045号 [50] J.Warga，{最小化某些凸函数}，J.Soc.Indust。申请。数学。，11（1963年），第588-593页·Zbl 0128.05801 [51] S.J.Wright，{坐标下降算法}，数学。编程，151（2015），第3-34页·Zbl 1317.49038号 [52] 夏福清，黄新杰，{解广义变分不等式的投影近点算法}，J.Optim。理论应用。，150（2011年），第98-117页·Zbl 1242.90267号 [53] Xu Y.和Y.Yin，{正则化多凸优化的块坐标下降法及其在非负张量分解和完成中的应用}，SIAM J.成像科学。，6（2013），第1758-1789页·Zbl 1280.49042号 [54] Y.Xu和W.Yin，{基于块坐标更新的非凸优化的全局收敛算法}，J.Sci。计算。，以显示·Zbl 1378.65126号 [55] G.-X.Yuan，K.-W.Chang，C.-J.Hsieh，C.-J Lin，{it大规模L1规则线性分类的优化方法和软件比较}，J.Mach。学习。第11号决议（2010年），第3183-3234页·Zbl 1242.62065号 [56] R.Zdunk和A.Cichocki，{拟Newton优化的非负矩阵分解}，《人工智能与软计算国际会议论文集》，Springer-Verlag，柏林，2006年，第870-879页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。