×
阿迪尔·萨利姆;劳伦特·康达特;康斯坦丁·米什琴科;彼得·里奇塔里克

对偶、分割、随机化：朝向快速非光滑优化算法。 （英语） Zbl 1502.90133号

J.优化。理论应用。 195，第1期，102-130（2022）.
小结：我们考虑最小化三个凸函数之和，其中第一个凸函数（F）是光滑的，第二个凸函数是非光滑的且可逼近的，第三个是具有线性算子（L）的非光滑逼近函数的合成。这个模板问题有很多应用，例如在图像处理和机器学习中。首先，我们针对这个问题提出了一个新的原对偶算法，我们称之为PDDY。它是通过将Davis-Yin分裂应用于原对偶乘积空间中的单调包含来构造的，其中算子在依赖于\（L\）的特定度量下是单调的。我们证明了现有的三种算法（Condat-Vũ算法和PD3O算法的两种形式）具有相同的结构，因此PDDY是这类自洽的原始-对偶算法中第四个缺失的环节。这种表示简化了收敛分析：它允许我们导出一般的次线性收敛速度，并且线性收敛在存在强凸性的情况下产生。此外，在我们广泛而灵活的分析框架内，我们提出了新的算法的随机推广，其中使用\（F\）梯度的方差减少随机估计，而不是真正的梯度。此外，作为PDDY的一个特例，我们得到了一个线性约束下强凸函数（F）最小化的线性收敛算法；我们讨论了它在分散优化中的重要应用。

引用于4文件

MSC公司：

90C25型 凸面编程

关键词：

三个凸函数之和的最小化;原对偶算法;算法的随机推广

软件：

传奇;伦敦银行支持向量机;取消锁定BoX;MNIST公司
PDF格式BibTeX公司 XML格式引用
\textit{A.Salim}等人，J.Optim。理论应用。195，编号1，102-130（2022；Zbl 1502.90133）
全文： 内政部 arXiv公司

参考文献：

[1] 阿尔古奈姆，南非；Ryu，EK；袁，K。；AH，具有线性收敛速度的分散近端梯度算法，IEEE Trans。自动。控制，66，6，2787-2794（2021）·Zbl 1467.93012号 ·doi:10.1109/TAC.2020.3009363
[2] 阿洛塔比，A。；组合框，PL；Shahzad，N.，通过Kuhn-Tucker集的连续Fejér逼近求解耦合复合单调包含，SIAM J.Optim。，24, 4, 2076-2095 (2014) ·Zbl 1315.47057号 ·doi:10.1137/130950616
[3] 巴赫，F。；Jenatton，R。；Mairal，J。；Obozinski，G.，《发现稀疏诱导惩罚的优化》。趋势马赫数。学习。，4, 1, 1-106 (2012) ·Zbl 06064248号 ·doi:10.1561/220000015
[4] 巴苏，D。；数据，D。；卡拉库斯，C。；Diggavi，SN，Qspare-Local-SGD：具有量化、稀疏化和局部计算的分布式SGD，IEEE J.Select。区域通知。理论。，1, 1, 217-226 (2020) ·doi:10.1109/JSAIT.2020.2985917
[5] Bauschke，HH；Combettes，PL，Hilbert空间中的凸分析和单调算子理论（2017），纽约：Springer，纽约·Zbl 1359.26003号 ·doi:10.1007/978-3-319-48311-5
[6] Beck，A.：最优化中的一阶方法。SIAM，MOS-SIAM优化系列（2017）·Zbl 1384.65033号
[7] 博伊，RI；塞特内克，ER；亨德里希，C。；Pardalos，PM；Rassias，TM，《应用于凸极小化的原对偶分裂方法的最新发展》，《无边界数学：跨学科研究中的调查》，57-99（2014），纽约：Springer，纽约·Zbl 1327.90196号
[8] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，通过乘法器的交替方向方法进行分布式优化和统计学习，Found。趋势马赫数。学习。，3, 1, 1-122 (2011) ·Zbl 1229.90122号
[9] Boyd，S.，Vandenberghe，L.：凸优化。剑桥大学出版社（2004）·Zbl 1058.90049号
[10] Bredies，K。；Kunisch，K。；Pock，T.，总广义变异，SIAM J.成像科学。，3, 3, 492-526 (2010) ·Zbl 1195.49025号 ·doi:10.1137/090769521
[11] Chambolle，A。；Pock，T.，凸问题的一阶原对偶算法及其在成像中的应用，J.Math。成像视觉。，40, 1, 120-145 (2011) ·兹比尔1255.68217 ·doi:10.1007/s10851-010-0251-1
[12] Chambolle，A。；Pock，T.，成像连续优化介绍，《数值学报》。，25, 161-319 (2016) ·Zbl 1343.65064号 ·doi:10.1017/S096249291600009X
[13] Chambolle，A。；Pock，T.，关于一阶原对偶算法的遍历收敛速度，数学。程序。，159, 1-2, 253-287 (2016) ·Zbl 1350.49035号 ·doi:10.1007/s10107-015-0957-3
[14] Chang，CC；Lin，CJ，LibSVM：支持向量机库，ACM Trans。智力。系统。Technol公司。（TIST），第2、3、27页（2011年）
[15] 陈，P。；黄，J。；Zhang，X.，凸可分极小化的原对偶不动点算法及其在图像恢复中的应用，逆问题。，29, 2 (2013) ·Zbl 1279.65075号 ·doi:10.1088/0266-5611/29/025011
[16] Combettes，P.L.，Condat，L.，Pesquet，J.C.，Vũ，B.C.：图像恢复中一些原对偶优化方法的前后视图。In：程序。IEEE ICIP。法国巴黎（2014）
[17] 组合框，PL；Eckstein，J.，单调包含的异步块迭代原始-对偶分解方法，数学。程序。，168, 1-2, 645-672 (2018) ·Zbl 1514.47095号 ·doi:10.1007/s10107-016-1044-0
[18] 组合框，PL；Glaudin，LE，凸图像恢复分裂算法中平滑函数的近似激活，SIAM J.成像科学。，12, 4, 1905-1935 (2019) ·兹比尔1443.90269 ·doi:10.1137/18M1224763
[19] 组合框，PL；佩斯克特，JC；Bauschke，HH；Burachik，R。；组合框，PL；Elser，V。；卢克博士；Wolkowicz，H.，《信号处理中的近似分裂方法》，《科学与工程反问题的定点算法》（2010），纽约：Springer-Verlag出版社，纽约
[20] 组合框，PL；Pesquet，JC，用复合、Lipschitzian和平行和型单调算子混合求解夹杂物的Primal-对偶分裂算法，Set-Val.Var.Anal。，20, 2, 307-330 (2012) ·Zbl 1284.47043号 ·doi:10.1007/s11228-011-0191-y
[21] 组合框，PL；Pesquet，JC，《数据科学中的定点策略》，IEEE Trans。信号处理。，69, 3878-3905 (2021) ·Zbl 07591599号 ·doi:10.1109/TSP.2021.3069677
[22] Condat，L.，《涉及Lipschitz、近似和线性组合项的凸优化的原对偶分裂方法》，J.Optim。理论应用。，158, 2, 460-479 (2013) ·Zbl 1272.90110号 ·doi:10.1007/s10957-012-0245-9
[23] Condat，L.，凸优化的通用近似算法——应用于总变差最小化，IEEE信号处理。莱特。，21, 8, 1054-1057 (2014)
[24] Condat，L.，《离散总变异：新的定义和最小化》，SIAM J.Imaging Sci。，1258-1290年3月10日（2017年）·Zbl 1379.68330号 ·doi:10.1137/16M1075247
[25] Condat，L.，Kitahara，D.，Contreras，A.，Hirabayashi，A.：凸优化的近似分裂算法：最新进展之旅，新转折。SIAM审查。出现（2022年）
[26] Condat，L.，Malinovsky，G.，Richtárik，P.：具有速率和加速度的分布式近端分裂算法。前面。信号处理。(2022). doi:10.3389/frsip.2021.776825
[27] 库普利，C。；格雷迪·L。；纳吉曼。；佩斯克特，JC；Talbot，H.，图的双约束TV-based正则化，SIAM J.成像科学。，6, 3, 1246-1273 (2013) ·Zbl 1279.68323号 ·数字对象标识代码：10.1137/120895068
[28] Davis，D。；Yin，W.，一个三算子分裂方案及其优化应用，集值变量分析。，25, 829-858 (2017) ·Zbl 1464.47041号 ·doi:10.1007/s11228-017-0421-z
[29] Defazio，A.，Bach，F.，Lacoste-Julien，S.：Saga：支持非强凸复合目标的快速增量梯度法。收录于：Z.Ghahramani，M.Welling，C.Cortes，N.Lawrence，K.Weinberger（编辑）《神经信息处理系统进展》，第27卷。Curran Associates，Inc.（2014年）
[30] Drori，Y。；萨巴赫，S。；Teboulle，M.，一类非光滑凹凸鞍点问题的简单算法，Oper。Res.Lett.公司。，43, 2, 209-214 (2015) ·Zbl 1408.90234号 ·doi:10.1016/j.orl.2015.02.001
[31] 杜兰，J。；穆勒，M。；斯伯特，C。；Cremers，D.，《协作全变差：矢量电视模型的一般框架》，SIAM J.Imaging Sci。，9, 1, 116-151 (2016) ·Zbl 1381.94016号 ·数字对象标识码：10.1137/15M102873X
[32] 埃克斯坦，J。；Bertsekas，DP，关于Douglas Rachford分裂方法和最大单调算子的近点算法，数学。程序。，55/293-318（1992年）·Zbl 0765.90073号 ·doi:10.1007/BF01581204
[33] 埃克斯坦，J。；Svaiter，BF，两个极大单调算子之和的射影分裂方法族，数学。程序。，111, 1, 173-199 (2008) ·Zbl 1134.47048号
[34] 加贝，D。；Mercier，B.，通过有限元近似解非线性变分问题的对偶算法，计算。数学。申请。，2, 1, 17-40 (1976) ·Zbl 0352.65034号 ·doi:10.1016/0898-1221（76）90003-1
[35] 格洛温斯基，R。；Marrocco，A.，《Sur l’approximation paréléments finish d’ordre un，et la résolution parñnalisation qualityéd une class de problèmes de Dirichlet nonéaires，Revue Française d’Automatique，Informatique et Recherche Opérationnelle，9，41-76（1975）·Zbl 0368.65053号 ·doi:10.1051/m2安/197509R200411
[36] Gorbunov，E.，Hanzely，F.，Richtárik，P.：SGD的统一理论：方差减少、采样、量化和坐标下降。收录：S.Chiappa，R.Calandra（编辑）Proc。国际Conf.Artif。智力。Stat.（AISTATS），第PMLR 108卷，第680-690页（2020年）
[37] Gower，R.M.，Loizou，N.，Qian，X.，Sailanbayev，A.，Shulgin，E.，Richtárik，P.：新加坡元：一般分析和改进率。收录：K.Chaudhuri，R.Salakhutdinov（编辑）Proc。第36届国际计算机学习大会（ICML），第PMLR 97卷，第5200-5209页（2019年）
[38] Gower，RM；施密特，M。；巴赫，F。；Richtárik，P.，《机器学习的方差减少方法》，Proc。IEEE，108、11、1968-1983（2020）·doi:10.1109/JPROC.2020.3028013
[39] Hofmann，T.，Lucchi，A.，Lacoste-Julien，S.，McWilliams，B.：方差减少了与邻居的随机梯度下降。摘自：C.Cortes、N.Lawrence、D.Lee、M.Sugiyama、R.Garnett（编辑）《神经信息处理系统进展》，第28卷，第2305-2313页。Curran Associates，Inc.（2015年）
[40] Johnson，R.，Zhang，T.：使用预测方差减少加速随机梯度下降。收录于：C.Burges，L.Bottou，M.Welling，Z.Ghahramani，K.Weinberger（编辑）《神经信息处理系统进展》，第26卷，第315-323页。Curran Associates，Inc.（2013年）
[41] Johnstone，公关；Eckstein，J.，射影分裂的收敛速度，SIAM J.Optim。，29, 3, 1931-1957 (2019) ·Zbl 07098595号 ·doi:10.137/18M1203523
[42] 约翰斯通，公关；Eckstein，J.，单步投射分裂：利用协同强制，计算。最佳方案。申请。，78, 1, 125-166 (2021) ·邮编1468.90084 ·doi:10.1007/s10589-020-00238-3
[43] Johnstone，公关；Eckstein，J.，《向前步射影分裂》，《数学》。程序。，191, 631-670 (2022) ·Zbl 1508.47112号 ·doi:10.1007/s10107-020-01565-3
[44] Komodakis，N。；Pesquet，JC，《利用对偶：解决大规模优化问题的最新原对偶方法综述》，IEEE信号处理。Mag.，32，6，31-54（2015）·doi:10.1109/MSP.2014.2377273
[45] Kovalev，D.，Horváth，S.，Richtárik，P.：不要跳过环并去掉那些环：SVRG和Katyusha没有外环更好。收录：A.Kontorovich，G.Neu（编辑）Proc。国际Conf.Algo。学习。理论（ALT），第PMLR 117卷，第451-467页（2020年）
[46] Kovalev，D.，Salim，A.，Richtárik，P.：光滑和强凸分散优化的最佳实用算法。收录于：H.Larochelle、M.Ranzato、R.Hadsell、M.Balcan、H.Lin（编辑）《神经信息处理系统进展》，第33卷，第18342-18352页。Curran Associates，Inc.（2020年）
[47] Lan，G.：机器学习的一阶和随机优化方法。Springer Cham（2020年）·Zbl 1442.68003号
[48] LeCun，Y.，Cortes，C.：MNIST手写数字数据库（2010年）。http://yann.lecun.com/exdb/mnist/
[49] 李，H。；Lin，Z.，《重新审视EXTRA以实现平滑分布优化》，SIAM J.Optim。，30, 3, 1795-1821 (2020) ·Zbl 1447.90030号 ·doi:10.1137/18M122902X
[50] 李·T。；阿拉斯加州萨胡；Talwalkar，A。；Smith，V.，《联合学习：挑战、方法和未来方向》，IEEE信号处理。Mag.，3，37，50-60（2020年）
[51] 狮子，PL；Mercier，B.，两个非线性算子之和的分裂算法，SIAM J.Numer。分析。，16, 6, 964-979 (1979) ·兹比尔0426.65050 ·doi:10.1137/0716071
[52] Loris，I.，Verhoeven，C.：关于不可分离惩罚情况下迭代软阈值算法的推广。反向探测。27(12) (2011) ·Zbl 1233.65039号
[53] 莫赫塔里，A。；Ribeiro，A.，DSA：分散双随机平均梯度算法，J.Mach。学习。决议，17，1，2165-2199（2016）·Zbl 1360.68699号
[54] Nesterov，Y.：凸优化讲座，第137卷。施普林格（2018）·Zbl 1427.90003号
[55] 奥康纳博士。；Vandenberghe，L.，关于原-对偶混合梯度法与Douglas-Rachford分裂的等价性，Math。程序。，79, 85-108 (2020) ·Zbl 1498.90156号 ·doi:10.1007/s10107-018-1321-1
[56] Palomar，D.P.，Eldar，Y.C.（编辑）：信号处理和通信中的凸优化。剑桥大学出版社（2009）
[57] 北卡罗来纳州帕里赫。；Boyd，S.，《近似算法》，Found。最佳趋势。，3, 1, 127-239 (2014) ·数字对象标识代码：10.1561/24000003
[58] Pedregosa，F.、Fatras，K.、Casotto，M.：近端分裂满足方差减少。收录：K.Chaudhuri，M.Sugiyama（编辑）Proc。国际Conf.Artif。智力。Stat.（AISTATS），第PMLR 89卷，第1-10页（2019年）
[59] Polson，NG；斯科特，JG；Willard，BT，统计和机器学习中的近似算法，Statist。科学。，30, 4, 559-581 (2015) ·Zbl 1426.62213号 ·doi:10.1214/15-STS530
[60] 北卡罗来纳州普斯特尼克。；Condat，L.，函数和的邻近算子；应用于深度图估计，IEEE信号处理。莱特。，24, 12, 1827-1831 (2017) ·doi:10.10109/LSP.2017.27522261
[61] 鲁丁。；Osher，S。；Fatemi，E.，基于非线性总变差的噪声去除算法，Phys。D、 60、1-4、259-268（1992）·Zbl 0780.49028号 ·doi:10.1016/0167-2789（92）90242-F
[62] Ryu，EK，DRS作为2算子预解分裂的唯一性和3算子预解分解的不可能性，数学。程序。，182, 233-273 (2020) ·Zbl 1445.47044号 ·doi:10.1007/s10107-019-01403-1
[63] Salim，A.，Bianchi，P.，Hachem，W.：Snake:大型图上正则化问题的随机近端梯度算法。IEEE传输。自动化。合同。64(5), 1832-1847 (2019) ·Zbl 1482.90156号
[64] Salim，A.，Condat，L.，Kovalev，D.，Richtárik，P.：仿射约束下强凸最小化的最优算法。收录：G.Camps-Valls，F.J.R.Ruiz，I.Valera（编辑）Proc。国际Conf.Artif。智力。Stat.（AISTATS），第PMLR 151卷，第4482-4498页（2022年）
[65] Sattler，F.、Wiedemann，S.、K.-R.Müller、Samek，W.：基于非身份证数据的健壮且高效通信的联合学习。IEEE传输。神经网络和学习系统31（9），3400-3413（2020）
[66] Scaman，K.，Bach，F.，Bubeck，S.，Lee，Y.T.，Massoulié，L.：网络中光滑和强凸分布优化的优化算法。收录人：D.Precup，Y.W.Teh（编辑）Proc。第34届国际计算机学习会议（ICML），第PMLR 70卷，第3027-3036页（2017）
[67] Shi，W。；凌，Q。；Wu，G。；Yin，W.，EXTRA:分散一致性优化的精确一阶算法，SIAM J.Optim。，25, 2, 944-966 (2015) ·Zbl 1328.90107号 ·数字对象标识码：10.1137/14096668X
[68] Starck，J.L.、Murtagh，F.、Fadili，J.：稀疏图像和信号处理：小波、曲线。剑桥大学出版社，《形态多样性》（2010）·Zbl 1196.94008号
[69] Stathopoulos，G。；Shukla，H。；Szucs，A。；Pu，Y。；Jones，CN，控制中的操作员拆分方法，Found。趋势系统。控制，3，3，249-362（2016）·数字对象标识代码：10.1561/26000008
[70] Svaiter，BF，关于Douglas-Rachford方法的弱收敛性，SIAM J.Control。最佳。，49, 1, 280-287 (2011) ·兹比尔1220.47064 ·doi:10.1137/100788100
[71] Tay，JK；弗里德曼，J。；Tibshirani，R.，主成分引导稀疏回归，加拿大。J.Stat.，49，1222-1257（2021）·Zbl 1492.62116号 ·doi:10.1002/cjs.11617
[72] Vũ，BC，涉及余强制算子的对偶单调包含的分裂算法，高级计算。数学。，38, 3, 667-681 (2013) ·Zbl 1284.47045号 ·doi:10.1007/s10444-011-9254-8
[73] Wright，SJ，坐标下降算法，数学。程序。，151, 3-34 (2015) ·Zbl 1317.49038号 ·doi:10.1007/s10107-015-0892-3
[74] 肖，L。；Zhang，T.，带逐步方差缩减的近似随机梯度法，SIAM J.Optim。，24, 4, 2057-2075 (2014) ·Zbl 1321.65016号 ·数字对象标识代码：10.1137/140961791
[75] Xu，H.，Ho，C.Y.，Abdelmoniem，A.M.，Dutta，A.，Bergou，E.H.，Karatsenidis，K.，Canini，M.，Kalnis，P.:GRACE：分布式机器学习的压缩通信框架。In：程序。第41届IEEE国际会议分布式计算系统（ICDCS），第561-572页（2021）
[76] 徐，J。；田，Y。；孙，Y。；Scutari，G.，《复合优化的分布式算法：统一框架和收敛性分析》，IEEE Trans。信号处理。，69, 3555-3570 (2021) ·Zbl 07591576号 ·doi:10.1109/TSP.2021.3086579
[77] Yan，M.，用线性算子最小化三个函数之和的新原对偶算法，J.Sci。计算。，76, 3, 1698-1717 (2018) ·Zbl 1415.65142号 ·doi:10.1007/s10915-018-0680-3
[78] Yurtsever，A.，Vu，B.C.，Cevher，V.：随机三复合凸极小化。收录于：D.Lee、M.Sugiyama、U.Luxburg、I.Guyon、R.Garnett（编辑）《神经信息处理系统进展》，第29卷，第4329-4337页。Curran Associates，Inc.（2016年）
[79] Zhang，L.，Mahdavi，M.，Jin，R.：完全梯度的条件数无关访问的线性收敛。收录于：C.Burges，L.Bottou，M.Welling，Z.Ghahramani，K.Weinberger（编辑）《神经信息处理系统进展》，第26卷，第980-988页。Curran Associates，Inc.（2013年）
[80] Zhao，R.，Cevher，V.：线性算子的随机三复合凸极小化。收录：A.Storkey，F.Perez Cruz（编辑）Proc。国际会议工件数量。智力。Stat.（AISTATS），第PMLR 84卷，第765-774页（2018年）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。