×
奥兰·甘诺

不精确梯度法的频域分析。 （英文） Zbl 1494.90078号

数学。程序。 194，编号1-2（A），975-1016（2022）.
摘要：我们研究了一些基于梯度的迭代方法在相对误差模型下对强凸函数以及具有扇区边界梯度的更大类函数的鲁棒性。相应收敛速度的证明是基于非线性系统稳定性的频域准则。应用于梯度下降和三重动量法的不精确版本。为了进一步强调频域方法的有用性，我们推导了Nesterov加速方法（在精确设置下）在强凸函数上收敛速度的改进解析界。

引用于2文件

MSC公司：

90C25型 凸面编程
93C80号 控制理论中的频率响应方法
93D09型 鲁棒稳定性
93D05型 李亚普诺夫和控制理论中的其他经典稳定性（拉格朗日、泊松、（L^p、L^p）等）
65年第68季度 算法和问题复杂性分析

软件：

香蒜酱;Wirtinger流
PDF格式BibTeX公司 XML格式引用
\textit{O.Gannot}，数学。程序。194，编号1--2（A），975--1016（2022；Zbl 1494.90078）
全文： 内政部 arXiv公司

参考文献：

[1] 艾哈迈德，NS；卡拉斯科，J。；Heath，WP，具有斜率限制非线性离散时间系统稳定性的一个不太保守的lmi条件，IEEE Trans。自动。控制，60，6，1692-1697（2014）·Zbl 1360.93527号 ·doi:10.1109/TAC.2014.2361398
[2] Arora，S.，Ge，R.，Ma，T.，Moitra，A.：用于稀疏编码的简单、高效和神经算法。摘自：学习理论会议，第113-149页。PMLR（2015）
[3] Bertsekas，DP，非线性规划（1999），马萨诸塞州：雅典娜科学贝尔蒙特，马萨诸塞特·Zbl 1015.90077号
[4] Boczar，R.，Lessard，L.，Recht，B.：使用积分二次约束的指数收敛界。摘自：2015年IEEE第54届决策与控制会议（CDC），第7516-7521页。IEEE（2015）
[5] Badithela，A.，Seiler，P.：使用积分二次约束的重球算法分析。2019年美国控制会议（ACC），第4081-4085页。IEEE（2019）
[6] Chen，Y.，Candes，E.：求解随机二次方程组几乎与求解线性系统一样容易。摘自：《神经信息处理系统进展》，第739-747页（2015年）
[7] Cohen，M.B.，Diakonikolas，J.，Orecchia，L.：关于噪声破坏梯度的加速度。arXiv:1805.12591（2018）
[8] Cyrus，S.，Hu，B.，Van Scoy，B.，Lessard，L.：强凸函数的稳健加速优化算法。摘自：2018年美国控制年会（ACC），第1376-1381页。IEEE（2018）
[9] 坎迪斯，EJ；李，X。；Soltanolkotabi，M.，《通过Wirtinger流进行相位恢复：理论和算法》，IEEE Trans。信息理论，61,41985-2007（2015）·Zbl 1359.94069号 ·doi:10.1109/TIT.2015.2399924
[10] d'Aspremont，A.，具有近似梯度的平滑优化，SIAM J.Optim。，1171-1183年3月19日（2008年）·Zbl 1180.90378号 ·数字对象标识代码：10.1137/060676386
[11] Drummond，R.，Duncan，S.：带记忆的加速梯度法。arXiv:1805.09077（2018）
[12] Devolder，O.，Glineur，F.，Nesterov，Y.：具有不精确预言的一阶方法：强凸情形。核心讨论文件，2013016（2013）·Zbl 1317.90196号
[13] Devolder，O.，Glineur，F.，Nesterov，Y.：不精确预言的光滑凸问题的中间梯度方法。技术报告（2013）·Zbl 1317.90196号
[14] Devolder，O。；Glineur，F。；Nesterov，Y.，带不精确预言的光滑凸优化的一阶方法，数学。程序。，146, 1-2, 37-75 (2014) ·兹比尔1317.90196 ·doi:10.1007/s10107-013-0677-5
[15] de Klerk，E.，Glineur，F.，Taylor，A.：通过半定规划性能估计对梯度和牛顿方法进行最坏情况收敛分析。arXiv:1709.05191（2017）·Zbl 1448.90070号
[16] 德克勒克，E。；Glineur，F。；Taylor，AB，关于光滑强凸函数的精确线搜索梯度方法的最坏情况复杂性，Optim。莱特。，11, 7, 1185-1199 (2017) ·兹比尔1381.90067 ·doi:10.1007/s11590-016-1087-4
[17] Drori，Y.，Taylor，A.B.：凸极小化的有效一阶方法：一种构造性方法。数学。程序。184, 183-220 (2020). doi:10.1007/s10107-019-01410-2·Zbl 1451.90118号
[18] Drori，Y。；Teboulle，M.，光滑凸最小化的一阶方法的性能：一种新方法，数学。程序。，145, 1-2, 451-482 (2014) ·Zbl 1300.90068号 ·doi:10.1007/s10107-013-0653-0
[19] França，G.，Bento，J.：过度放松的ADMM的明确利率界限。2016年IEEE信息理论国际研讨会（ISIT），第2104-2108页。IEEE（2016）
[20] 法兹利亚布，M。；里贝罗，A。；莫拉里，M。；Preciado，VM，通过积分二次约束分析优化算法：非强凸问题，SIAM J.Optim。，28, 3, 2654-2689 (2018) ·Zbl 1406.90089号 ·doi:10.1137/17M1136845
[21] Fetzer，M。；Scherer，CW，离散时间反馈互连的绝对稳定性分析，IFAC-PapersOnLine，50，1，8447-8453（2017）·doi:10.1016/j.ifacol.2017.08.757
[22] 国会议员弗里德兰德；Schmidt，M.，数据拟合的混合确定性随机方法，SIAM J.Sci。计算。，34、3、A1380-A1405（2012）·Zbl 1262.90090号 ·doi:10.1137/10830629
[23] Gannot，O.：指数稳定性的频率标准。arXiv:1910.10855（2019）·Zbl 1516.35257号
[24] Gramlich，D.，Ebenbauer，C.，Scherer，C.W.：使用Lyapunov函数对优化和鞍点问题的加速梯度算法进行凸合成。arXiv:2006.09946（2020）
[25] Hu，B.，Lessard，L.：一阶优化方法的控制解释。2017年美国控制会议（ACC），第3114-3119页。IEEE（2017）
[26] Hu，B.，Lessard，L.：内斯特罗夫加速方法的耗散理论。摘自：第34届国际机器学习会议记录——第70卷，第1549-1557页（2017）
[27] Hassan Moghaddam，S.，Jovanović，M.R：近端梯度流和Douglas Rachford分裂动力学：通过积分二次约束的全局指数稳定性。arXiv:1908.09043（2019）·Zbl 1461.93433号
[28] 胡，B。；Seiler，P.，使用积分二次约束的不确定线性系统的指数衰减率条件，IEEE Trans。自动。控制，61，11，3631-3637（2016）·Zbl 1359.93392号 ·doi:10.1109/TAC.2016.2521781
[29] Hu，B.，Syed，U.A.：使用马尔可夫跳跃线性系统理论描述时差学习算法的精确行为。arXiv:1906.06781（2019）
[30] Hu，B.，Seiler，P.，Lessard，L.：使用二次约束和序列半定程序分析近似随机梯度。arXiv:1711.00987（2017）·Zbl 1465.90052号
[31] Hu，B.，Seiler，P.，Lessard，L.：使用序列半定规划分析有偏随机梯度下降。数学。程序。，1-26 (2020) ·Zbl 1465.90052号
[32] Hu，B.，Wright，S.，Lessard，L.：加速随机方差减少的耗散理论：使用半定程序对SVRG和Katyusha的统一分析。arXiv:1806.03677（2018）
[33] 陪审团，EI；Lee，BW，《非线性控制系统的稳定性理论》，第三届国际会计师联合会世界大会。，28，A1-A11（1966）
[34] 陪审团，EL；Lee，B.，关于一类非线性采样数据系统的稳定性，IEEE Trans。自动。对照，9，1，51-61（1964）·doi:10.1109/TAC.1964.1105622
[35] Kalman，R.E.：可控性和可观测性讲座。在：可控性和可观察性，第1-149页。施普林格（2010）·Zbl 0208.17201号
[36] Kim，D。；Fessler，JA，光滑凸最小化的优化一阶方法，数学。程序。，159, 1-2, 81-107 (2016) ·Zbl 1345.90113号 ·doi:10.1007/s10107-015-0949-3
[37] Kim，D。；Fessler，JA，关于优化梯度法的收敛性分析，J.Optim。理论应用。，172, 1, 187-205 (2017) ·Zbl 1360.90200号 ·doi:10.1007/s10957-016-1018-7
[38] Kleinberg，R.，Li，Y.，Yuan，Y.：另一种观点：SGD何时摆脱局部极小？arXiv:1802.06175（2018）
[39] Kalman，R.E.，Szegoö，G.：《稳定论》（Sur la stabilityéabsolue d'un système d'équations aux differences finies）。巴黎皇家科学院·Zbl 0117.30901号
[40] Lessard，L.公司。；Recht，B。；Packard，A.，通过积分二次约束分析和设计优化算法，SIAM J.Optim。，26, 1, 57-95 (2016) ·Zbl 1329.90103号 ·数字对象标识代码：10.1137/15M1009597
[41] Lessard，L.，Seiler，P.：迭代算法的直接综合，可实现的最坏情况收敛速度有界。arXiv:1904.09046（2019）
[42] Lurie，AI，《自动控制理论中的一些非线性问题》（1957），伦敦：HM驻留办公室，伦敦
[43] Li，Y.，Yuan，Y.：ReLU激活的两层神经网络的收敛性分析。arXiv:1705.09886（2017）
[44] Michalowsky，S.：分布式稳健优化算法的设计。Logos Verlag Berlin GmbH，系统理论方法（2020）·Zbl 1434.93001号
[45] Megretski，A。；Rantzer，A.，通过积分二次约束进行系统分析，IEEE Trans。自动。控制，42，6，819-830（1997）·Zbl 0881.93062号 ·数字对象标识代码：10.1109/9.587335
[46] Michalowsky，S.，Scherer，C.，Ebenbauer，C.：稳健和结构利用优化算法：积分二次约束方法。arXiv:1905.00279（2019）·Zbl 1481.90246号
[47] Nesterov，Y.，《凸优化讲座》（2018），柏林：施普林格，柏林·Zbl 1427.90003号 ·doi:10.1007/978-3-319-91578-4
[48] Nishihara，R.，Lessard，L.，Recht，B.，Packard，A.，Jordan，M.I.：ADMM收敛性的一般分析。arXiv:1502.02009（2015）
[49] 奥谢，R。；Younis，M.，采样数据系统的频域稳定性准则，IEEE Trans。自动。控制，12,6719-724（1967）·doi:10.1109/TAC.1967.1098747
[50] 波波夫，VM；Georgescu，R.，《控制系统的超稳定性》（1973），柏林：施普林格出版社，柏林·Zbl 0276.93033号 ·doi:10.1007/978-3-642-65654-5
[51] Polyak，BT，《优化导论》（1987），纽约：出版部公司，纽约·Zbl 0708.90083号
[52] Rantzer，A.，关于kalman-Yakubovich-Popov引理，Syst。控制信函。，28, 1, 7-10 (1996) ·Zbl 0866.93052号 ·doi:10.1016/0167-6911（95）00063-1
[53] Ryu，E.K.，Taylor，A.B.，Bergeling，C.，Giselsson，P.：算子分裂性能估计：紧收缩因子和最优参数选择。arXiv:1812.00146（2018）·Zbl 1511.90322号
[54] Safavi，S.、Joshi，B.、França，G.、Bento，J.：基于SDP的nesterov方法的显式收敛速度。2018年IEEE信息理论国际研讨会（ISIT），第1560-1564页。IEEE（2018）
[55] Sun，R。；Luo，Z-Q，通过非凸因子分解保证矩阵完成，IEEE Trans。Inf.Theory，62，11，6535-6579（2016）·Zbl 1359.94179号 ·doi:10.1009/TIT.2016.259854
[56] Taylor，A.，Bach，F.：随机一阶方法：通过势函数的非渐近和计算机辅助分析。arXiv:1902.00947（2019）
[57] Taylor，AB；亨德里克斯，JM；Glineur，F.，复合凸优化一阶方法的精确最坏情况性能，SIAM J.Optim。，27, 3, 1283-1313 (2017) ·Zbl 1371.90108号 ·doi:10.1137/16M108104X
[58] Taylor，AB；亨德里克斯，JM；Glineur，F.，《光滑强凸插值和一阶方法的精确最坏情况性能》，数学。程序。，161, 1-2, 307-345 (2017) ·Zbl 1359.90098号 ·doi:10.1007/s10107-016-1009-3
[59] Taylor，AB；亨德里克斯，JM；Glineur，F.，复合凸极小化近端梯度法的精确最坏情况收敛速度，J.Optim。理论应用。，178, 2, 455-476 (2018) ·Zbl 1394.90464号 ·doi:10.1007/s10957-018-1298-1
[60] Taylor，A.，Van Scoy，B.，Lessard，L.：一阶方法的Lyapunov函数：严格的自动收敛保证。arXiv:1803.06073（2018）
[61] Van Scoy，B。；弗里曼，RA；Lynch，KM，最小化强凸函数的已知最快全局收敛一阶方法，IEEE Cont.Syst。莱特。，2, 1, 49-54 (2017) ·doi:10.1109/LCSYS.2017.2722406
[62] Willems，J.，最小二乘平稳最优控制与代数Riccati方程，IEEE Trans。自动。控制，16，6，621-634（1971）·doi:10.1109/TAC.1971.1099831
[63] Willems，J.，关于Riccati方程非正解的存在性，IEEE Trans。自动。控制，19，5，592-593（1974）·doi:10.1109/TAC.1974.1100667
[64] Willems，JC，耗散动力系统第一部分：一般理论，Arch。定额。机械。分析。，45, 5, 321-351 (1972) ·Zbl 0252.93002号 ·doi:10.1007/BF00276493
[65] Willems，JC，耗散动力系统第二部分：具有二次供给率的线性系统，Arch。定额。机械。分析。，45, 5, 352-393 (1972) ·Zbl 0252.93003号 ·doi:10.1007/BF00276494
[66] 威廉姆斯，JC；Polderman，JW，《数学系统理论导论：行为方法》（1997），柏林：施普林格出版社，柏林·兹伯利0940.93002
[67] 熊，H。；Chi，Y。；Bin，H。；Zhang，W.，正则条件下非凸优化中加速梯度下降的解析收敛区域，Automatica，113108715（2020）·Zbl 1440.93071号 ·doi:10.1016/j.automatica.2019.108715
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。