×
杰莱娜·迪亚科尼科拉斯;洛伦佐·奥瑞奇亚

近似对偶间隙技术：一阶方法的统一理论。 （英语） Zbl 1412.90085号

SIAM J.Optim公司。 29，第1号，660-689（2019）.
小结：我们提出了一种分析一阶方法的通用技术。该技术依赖于为目标函数的适当近似构造对偶间隙，其中函数近似值随着算法的收敛而提高。我们证明，在连续时间内，对应于近似对偶间隙以一定速率减小的不变量的强制执行，精确地恢复了广泛的一阶连续时间方法。我们描述了不同离散化方法引起的离散化误差，并说明了各类问题的迭代复杂性优化方法如何抵消离散化误差。这些技术在各类问题上进行了说明，包括Lipschitz连续目标的凸最小化、光滑凸最小化、复合最小化、光滑和强凸最小化、用单调算子求解变分不等式、，和凹凸鞍点优化-自然扩展到其他设置。

引用于14文件

MSC公司：

90摄氏度06 数学规划中的大尺度问题
90C25型 凸面编程
49甲15 对偶理论（优化）
65千5 数值数学规划方法

关键词：

一阶方法;连续时间优化;离散化

软件：

NESUN公司
PDF格式BibTeX公司 XML格式引用
\textit{J.Diakonikolas}和\textit{L.Orecchia}，SIAM J.Optim。29，第1号，660--689（2019；Zbl 1412.90085）
全文： 内政部 arXiv公司

参考文献：

[1] Z.Allen-Zhu和L.Orecchia，{线性耦合：梯度和镜像下降的最终统一}，《第八届理论计算机科学创新会议论文集》（ITCS 2017），LIPIcs。莱布尼茨国际程序。通知。67，Wadern Dagstuhl-Leibniz-Zentrum fuör Informatik宫，2017年·兹比尔1402.90209
[2] N.Bansal和A.Gupta，{一阶方法的潜在函数证明}，2017年，预印本。
[3] H.H.Bauschke和P.L.Combettes，eds.，{希尔伯特空间中的凸分析和单调算子理论}，CMS图书数学。408，施普林格，柏林，2011年·Zbl 1218.47001号
[4] A.Ben-Tal和A.Nemirovski，《现代凸优化讲座：分析、算法和工程应用》，MPS-SIAM Ser。Optim，SIAM，宾夕法尼亚州费城，2001年·Zbl 0986.90032号
[5] D.P.Bertsekas，{不确定性系统的集合成员描述控制}，麻省理工学院博士论文，马萨诸塞州剑桥市，1971年。
[6] D.P.Bertsekas、A.Nedic和A.E.Ozdaglar，{凸分析与优化}，Athena Scientific，NH，2003年·Zbl 1140.90001号
[7] S.Bubeck，{机器学习凸优化理论}，预印本，2014年。
[8] S.Bubeck、Y.T.Lee和M.Singh，《Nesterov加速梯度下降的几何替代方案》，预印本，2015年。
[9] M.B.Cohen、J.Diakonikolas和L.Orecchia，{关于噪声破坏梯度的加速}，第35届机器学习国际会议论文集，Proc。机器。学习。2018年第80号决议，第1019-1028页；可从获取。
[10] J.Diakonikolas、M.Fazel和L.Orecchia，{线性目标之外的宽度独立性：分布式公平打包和覆盖算法}，预印本，2018年。
[11] J.Diakonikolas和L.Orecchia，《近似对偶缺口技术：一阶方法的统一理论》，预印本，2017年·Zbl 1412.90085号
[12] J.Diakonikolas和L.Orecchia，《用单一算法和更简单的分析进行分布式迭代》，预印本，2017年。
[13] J.Diakonikolas和L.Orecchia，{it Accelerated extra-gradient descent:A new，Accelerated first order method}，《第九届理论计算机科学创新会议论文集》（ITCS 2018），LIPIcs。莱布尼茨国际程序。通知。94，Wadern Dagstuhl-Leibniz-Zentrum fuör Informatik宫，2018年·Zbl 1462.90088号
[14] J.Diakonikolas和L.Orecchia，{交替随机区组坐标下降}，第35届机器学习国际会议论文集，Proc。机器。学习。2018年第80号决议，第1224-1232页；可从获取。
[15] D.Drusvyatskiy、M.Fazel和S.Roy，{基于最优二次平均的最优一阶方法}，SIAM J.Optim。，28（2018），第251-271页·Zbl 1382.65169号
[16] J.C.Duchi、S.Shalev-Shwartz、Y.Singer和A.Tewari，{\it Composite objective mirror descenting}，《第23届学习理论年会论文集》，威斯康星州麦迪逊Omnipress，2010年；可从获取。
[17] A.Ene和H.L.Nguyen，{约束子模块最大化：超越（1/e）}，2016年IEEE第57届计算机科学基础年会，IEEE出版社，新泽西州皮斯卡塔韦，2016年，第248-257页·Zbl 1355.68007号
[18] M.Frank和P.Wolfe，{\it二次规划算法}，海军研究后勤。，3（1956年），第95-110页。
[19] J.A.Kelner、Y.T.Lee、L.Orecchia和A.Sidford，{无向图中近似最大流的近似时间算法及其多商品推广}，《第二十五届ACM-SIAM离散算法年会论文集》，SIAM，宾夕法尼亚州费城，2014年，第217-226页·Zbl 1423.05177号
[20] J.A.Kelner、L.Orecchia、A.Sidford和Z.A.Zhu，{一种用于在近线性时间内求解SDD系统的简单组合算法}，《第四十五届ACM计算理论研讨会论文集》，计算机械协会，2013年，纽约，第911-920页·兹比尔1293.68145
[21] G.M.Korpelevich，{寻找鞍点和其他问题的外梯度法}，Matekon:Transl。俄罗斯、东欧、数学。经济。，13（1977），第35-49页。
[22] W.Krichene、A.Bayen和P.L.Bartlett，《高级神经信息处理》，{在连续和离散时间内加速镜像下降}。系统。28，Curran Associates，Red Hook，NY，2015年，第2845-2853页。
[23] Y.T.Lee、S.Rao和N.Srivastava，{使用电流计算最大流量的新方法}，《第四十五届美国计算机学会计算理论研讨会论文集》，纽约，2013年，第755-764页·Zbl 1293.05148号
[24] H.Lin、J.Mairal和Z.Harchaoui，《高级神经信息处理》中的一级优化通用催化剂。系统。28，Curran Associates，纽约州Red Hook，2015年，第3384-3392页·Zbl 1469.68101号
[25] A.Nemirovski，求解Lipschitz连续单调算子变分不等式和光滑凹凸鞍点问题的{收敛速度为O（1/t）的Prox方法}，SIAM J.Optim。，15（2004年），第229-251页·Zbl 1106.90059号
[26] A.Nemirovskii和D.B.Yudin，{优化中的问题复杂性和方法效率}，John Wiley，纽约，1983年·Zbl 0501.90062号
[27] Y.Nesterov，{it一种求解具有收敛速度的凸规划问题的方法\（O（1/k^2）\）}，Dokl。阿卡德。诺克，269（1983），第543-547页·Zbl 0535.90071号
[28] Y.Nesterov，{非光滑函数的平滑最小化}，数学。程序。，103（2005），第127-152页·Zbl 1079.90102号
[29] Y.Nesterov，{对偶外推及其在求解变分不等式和相关问题中的应用}，数学。程序。，109（2007），第319-344页·Zbl 1167.90014号
[30] Y.Nesterov，{凸问题的原对偶次梯度方法}，数学。程序。，120（2009），第221-259页·Zbl 1191.90038号
[31] Y.Nesterov，{凸优化问题的通用梯度法}，数学。程序。，152（2015），第381-404页·Zbl 1327.90216号
[32] Y.Nesterov，{最小化目标函数模型的原对偶方法的复杂性界限}，数学。程序。，171（2018），第311-330页·Zbl 1397.90351号
[33] Y.Nesterov，《凸优化讲座》，施普林格，柏林，2018·Zbl 1427.90003号
[34] D.Scieur、V.Roulet、F.Bach和A.D'Aspremont，《高级神经信息处理》中的“集成方法和加速优化算法”。系统。30，Curran Associates，纽约州红钩市，2017年，第1109-1118页。
[35] J.Sherman，{几乎线性时间内的最大流量}，《2013年IEEE第54届计算机科学基础年度研讨会论文集》，IEEE出版社，新泽西州皮斯卡塔韦，2013年，第263-269页。
[36] D.A.Spielman和S.-H.Teng，{用于图划分、图稀疏化和求解线性系统的近线性时间算法}，《第三十六届ACM计算理论研讨会论文集》，计算机械协会，纽约，2004年，第81-90页·Zbl 1192.65048号
[37] S.Sra、S.Nowozin和S.J.Wright，《机器学习的优化》，麻省理工学院出版社，马萨诸塞州剑桥，2012年。
[38] W.Su，S.Boyd，和E.J.Candes，{it Nesterov加速梯度法建模的微分方程：理论和见解}，J.Mach。学习。决议，17（2016），第1-43页·Zbl 1391.90667号
[39] P.Tseng，{关于凹凸优化的加速近似梯度法}，预印本，2008年。
[40] A.Wibisono、A.C.Wilson和M.I.Jordan，《优化中加速方法的变分观点》，Proc。国家。阿卡德。科学。美国，113（2016），第E7351-E7358页·Zbl 1404.90098号
[41] A.C.Wilson、B.Recht和M.I.Jordan，《优化中动量方法的李亚普诺夫分析》，预印本，2016年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不声称其完整性或完全匹配。