×
桑迪·比特利希;索林·米海（Sorin-Mihai）

带有Nesterov平滑的随机增量镜像下降算法。 （英语） Zbl 1531.65013号

数字。算法 95，编号1，351-382（2024）.
本文提出了两种增量式随机镜像下降算法来最小化凸集上有限多个非光滑凸函数的和。Nesterov平滑技术用于目标函数平滑和的梯度，而不是其次梯度。函数不要求是Lipschitz连续或可微的。考虑了三种算法，包括使用支持向量机分类图像的优化问题、层析成像问题和连续定位问题。
审核人：Kevin Burrage（布里斯班）

理学硕士：

65立方厘米 随机微分和积分方程的数值解
65D18天 计算机图形、图像分析和计算几何的数值方面

关键词：

随机的，随机的;后视镜下降;Nesterov平滑
PDF格式BibTeX公司 XML格式引用
\textit{S.Bitterlich}和\textit{S.-M.Grad}，数字。算法95，No.1，351--382（2024；Zbl 1531.65013）
全文： 内政部 哈尔

参考文献：

[1] Ahookhosh，M.，最优次梯度方法：大规模线性反问题的计算特性，Optim Eng，19815-844（2018）·Zbl 1418.90190号 ·doi:10.1007/s11081-018-9378-5
[2] Z.Allen-Zhu，L.Orecchia：《线性耦合：梯度和镜像下降的最终统一》，载于：C.H.Papadimitrou（编辑），《理论计算机科学的创新》（ITCS 2017），莱布尼茨国际公共信息8，第3条，3:1-3:22（2017）·Zbl 1402.90209号
[3] M.Amini，F.Yousefian：不适定不可微随机优化的迭代正则镜下降法，http://arxiv.org/abs/1901.09506 (2019)
[4] N.Azizan，B.Hassibi:随机镜像下降算法的特征及其收敛特性，In:Int-Conf-Acoust-Spee（ICASSP-2019），5167-5171（2019）
[5] Bach，F.，次梯度法和条件梯度法之间的对偶性，SIAM J Optim，25115-129（2015）·Zbl 1358.90155号 ·数字对象标识代码：10.1137/130941961
[6] Beck，A.，优化中的一阶方法（2017），费城：SIAM，费城·Zbl 1384.65033号 ·数字对象标识代码：10.1137/1.9781611974997
[7] 贝克，A。；Teboulle，M.，用于凸优化的镜像下降和非线性投影次梯度方法，Oper Res Lett，31167-175（2003）·Zbl 1046.90057号 ·doi:10.1016/S0167-6377（02）00231-6
[8] 贝克，A。；Teboulle，M.，平滑和一阶方法：统一框架，SIAM J Optim，22555-580（2012）·Zbl 1251.90304号 ·doi:10.1137/100818327
[9] Ben-Tal，A。；Margalit，T。；Nemirovski，A.，有序子集镜像下降优化方法及其在层析成像中的应用，SIAM J Optim，12，79-108（2001）·Zbl 0992.92034号 ·doi:10.137/S105262349354564
[10] 博ţ，RI；Böhm，A.，带随机扫描和近端步长的增量镜像下降次梯度算法，《优化》，68，1-18（2018）
[11] Boţ，R.I.，Böhm，A.：使用随机梯度的凸优化问题的变量平滑，科学计算杂志85:33（2020）·Zbl 1453.90118号
[12] J.-P.Calliess：Lipschitz插值优化，In:2017年美国控制会议（ACC2017），17000349（2017）
[13] A.Defazio：有限和的一种简单实用加速方法，In:D.D.Lee、U.von Luxburg、R.Garnett、M.Sugiyama和I.M.Guyon（编辑），Adv Neur In 29（NIPS 2016）
[14] Doan，TT；Bose，S。；Nguyen，DH；Beck，CL，镜像下降法迭代的收敛性，IEEE控制系统快报，3114-119（2019）·doi:10.1109/LCSYS.2018.2854889
[15] 杜奇，JC；阿加瓦尔，A。；约翰逊，M。；乔丹，密歇根州，遍地镜下降。SIAM J Optim，22，1549-1578（2012）·Zbl 1262.90114号 ·数字对象标识代码：10.1137/10836043
[16] R.M.Freund，P.Grigas，R.Mazumder：AdaBoost和正向分段回归是一阶凸优化方法，http://arxiv.org/abs/1307.1192 (2013)
[17] G.Goh：《使用代价高昂的子梯度进行优化》，ProQuest论文出版，2017.10685037（2017）
[18] 等级，S-M；Wilfer，O.，通过共轭对偶解决带扰动最小时间函数的非线性最小最大位置问题的近似方法，J Glob Optim，74，121-160（2019）·Zbl 1422.90068号 ·doi:10.1007/s10898-019-00746-5
[19] Guigues，V.，两阶段非线性随机程序的非精确随机镜像下降，数学程序，187533-577（2021）·Zbl 1465.90051号 ·doi:10.1007/s10107-020-01490-5
[20] Hanzely，F。；Richtárik，P.，随机镜像下降法的最快速度，计算优化应用，79，717-766（2021）·兹比尔1473.90113 ·doi:10.1007/s10589-021-00284-5
[21] L.T.K.Hien，N.Gillis，P.Patrinos：非凸非光滑优化的惯性块镜下降法，http://arxiv.org/abs/1903.01818 (2019)
[22] Hien，LTK；Nguyen，简历；Xu，H。；Lu，C。；Feng，J.，复合非强凸优化的加速随机镜像下降算法，J Optim理论应用，181，541-566（2019）·兹比尔1461.65154 ·doi:10.1007/s10957-018-01469-5
[23] 霍夫汉尼相，V。；帕尔帕斯，P。；Zafeiriou，S.，MAGMA-大规模凸合成最小化的多级加速梯度镜下降算法，SIAM J Imaging Sci，91829-1857（2016）·兹比尔1358.90097 ·文件编号：10.1137/15M104013X
[24] Ivanova，A。；Stonyakin，F。；Pasechnyuk，D。；沃龙佐娃，E。；Gasnikov，A.，网络效用最大化问题的自适应镜像下降，IFAC-PapersOnLine，53，7851-7856（2020）·doi:10.1016/j.ifacol.2020.12.1958
[25] Juditsky，A.、Kwon，J.、Moulines，É：统一镜像下降和双重平均，数学程序199，793-830（2023）·Zbl 1518.90068号
[26] W.Krichene，A.M.Bayen，P.L.Bartlett：连续和离散时间内的加速镜面下降，Adv Neur in 2（NIPS 2015），2845-2853（2015）
[27] G.Kunapuli，J.Shavlik：度量学习的镜像下降：统一方法，In:P.a.Flach，T.De Bie和N.Cristianini（编辑），数据库中的机器学习和知识发现-ECML PKDD 2012，Lect Notes Artif Int 7523，859-874（2012）
[28] Y.-H.Li，C.A.Riofrío，V.Cevher:Armijo线搜索镜像下降的一般收敛结果，http://arxiv.org/abs/1805.12232 (2018)
[29] Lu，H.，使用随机（或确定性）镜像下降的非Lipschitz非光滑凸优化的相对连续性，《信息优化杂志》，4288-303（2019）·doi:10.1287/ijoo.2018.008
[30] D.V.N.Luong，P.Parpas，D.Rueckert，B.Rustem：通过镜像下降解决MRF最小化，In:G.Bebis等人（编辑），可视化计算进展（ISVC 2012），Lect Notes Compute Sci 7431，Springer，587-598（2012）
[31] S.Mahadevan，B.Liu，P.Thomas，W.Dabney，S.Giguere，N.Jacek，I.Gemp，J.Liu：邻近强化学习：原对偶空间中顺序决策的新理论，http://arxiv.org/abs/1405.6757 (2014)
[32] H.B.McMahan：正则化双平均和镜像下降与隐式更新的统一观点，http://arxiv.org/abs/1009.3240v2 (2011)
[33] P.Mertikopoulos、B.Lecouat、H.Zenati、C.-S.Foo、V.Chandrasekhar、G.Piliouras：鞍点问题中的乐观镜面下降——走额外（梯度）里程，国际学习代表大会（ICLR 2019），1-23（2019）
[34] Mertikopoulos，P。；Staudigl，M.，随机镜像下降动力学及其在单调变分不等式中的收敛性，J Optim理论应用，179838-867（2018）·Zbl 1402.90122号 ·数字对象标识码：10.1007/s10957-018-1346-x
[35] K.Mishchenko：Sinkhorn算法是随机镜像下降的特例，http://arxiv.org/abs/1909.06918 (2019)
[36] A.V.Nazin，S.Anulova，A.Tremba：镜像下降法在最小化泊松流平均损失中的应用，In:欧洲控制会议论文集（ECC14），2194-2197（2014）
[37] Nedić，A。；Lee，S.，关于加权平均的随机次梯度镜像下降算法，SIAM J Optim，2484-107（2014）·Zbl 1297.90119号 ·数字对象标识代码：10.1137/120894464
[38] Nemirovski，A.：大型凸优化问题的有效方法。《Ekon Mat Metody 2》，第135-152页（1979年）。（（俄语））·Zbl 0445.49034号
[39] 内米洛夫斯基，A。；Yudin，DB，优化中的问题复杂性和方法效率（1983），纽约：J.Wiley&Sons，纽约·兹比尔0501.90062
[40] Nesterov，Y.，凸问题的原对偶次梯度方法，数学程序，120221-259（2009）·Zbl 1191.90038号 ·doi:10.1007/s10107-007-0149-x
[41] Nesterov，Y.，非光滑函数的光滑最小化，数学程序，103127-152（2005）·Zbl 1079.90102号 ·doi:10.1007/s10107-004-0552-5
[42] Y.Nesterov：凸优化讲座，Springer（2018）·兹比尔1427.90003
[43] Nguyen，明尼苏达州；勒，THA；贾尔斯，D。；Nguyen，TA，图像重建的平滑技术和凸函数差分算法，优化，69，7-8，1601-1633（2019）·Zbl 1477.49023号
[44] Paulavicius，R.，J，Zilinskas:全球优化的不同规范和相应Lipschitz常数分析，Inf-Technol Control，12301-306（2006）
[45] Quoc，T-D，非光滑复合凸最小化的自适应平滑算法，计算优化应用，66，425-451（2017）·Zbl 1366.90168号 ·doi:10.1007/s10589-016-9873-6
[46] R.T.Rockafellar:凸分析，普林斯顿大学出版社（1970）·Zbl 0193.18401号
[47] S.Roweis：Matlab黑客的数据，http://www.cs.nyu.edu/data.html
[48] F.Schäfer、A.Anandkumar、H.Owhadi：竞争镜像下降，http://arxiv.org/abs/2006.10179 (2020)
[49] Semenov，VV，解决变分不等式的镜像下降法，Cybern Syst Ana，53，234-243（2017）·Zbl 1384.49014号 ·doi:10.1007/s10559-017-9923-9
[50] Titov，A。；Stonyakin，F。；Alkousa，M。；Ablaev，S。；Gasnikov，A.，相对Lipschitz连续凸规划问题的切换次梯度方案类比，MOTOR，2020，133-149（2020）·Zbl 1460.90137号
[51] S.Zhang，N.He：关于非光滑非凸优化的随机镜像下降的收敛速度，http://arxiv.org/abs/1806.04781 (2018)
[52] X.Zhou，C.Du，X.Cai:凸聚类的一种高效平滑近似梯度算法，http://arxiv.org/abs/2006.12592 (2020)
[53] Y.Zhou，Y.Liang，L.Shen:使用Bregman距离的近似算法的统一方法，雪城大学技术报告（2016）
[54] Zhou，Z。；Mertikopoulos，P。；班博斯，北卡罗来纳州。；博伊德，SP；Glynn，PW，关于超越随机凸规划的镜像下降的收敛性，SIAM J Optim，30，687-716（2020）·Zbl 1461.90085号 ·doi:10.137/17M1134925
[55] J.Zimmert，T.Lattimore:镜像下降、汤普森抽样和信息比率之间的关系，In:H.Wallach，H.Larochelle，A.Beygelzimer，F.d'Alché-Buc，E.Fox和R.Garnett（编辑），Adv Neur In 32（NIPS 2019），11973-11982（2019）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。