×
吉勒梅尔·弗朗萨;迈克尔·乔丹。;雷内·维达尔

耗散辛积分及其在梯度优化中的应用。 （英语） Zbl 1489.82010号

J.Stat.机械。理论实验。 2021年，第4期，文章ID 043402，39页（2021）.
摘要：最近，连续时间动态系统被证明在提供基于梯度的优化的概念和定量见解方面很有用，在现代机器学习和统计中广泛使用。在这项工作中出现的一个重要问题是，如何以保持系统稳定性和收敛速度的方式对系统进行离散化。在本文中，我们提出了一个几何框架，在该框架中可以系统地实现此类离散化，从而可以推导出“速率匹配”算法，而无需进行离散收敛分析。更具体地说，我们证明了将辛积分器推广到非保守系统，特别是耗散哈密顿系统，能够将收敛速度保持到受控误差。此外，尽管没有守恒定律，这种方法仍然保留了阴影哈密顿量，将辛积分器的关键结果推广到非保守情况。我们的论点依赖于反向误差分析与辛几何基本结果的结合。我们强调，尽管这项工作的最初动机是应用于优化，耗散系统在优化中发挥着自然的作用，但它们是完全通用的，不仅为耗散哈密顿系统提供了一个微分几何框架，而且还大大扩展了结构-保持积分理论。

引用于6文件

理学硕士：

82B20型 格系统（伊辛、二聚体、波茨等）和平衡统计力学中出现的图上系统
82D40型 磁性材料的统计力学
82立方米 蒙特卡罗方法在统计力学问题中的应用
65天30分 数值积分
65页第10页 含辛积分器哈密顿系统的数值方法
2015年11月37日 动力系统的离散化方法和积分器（辛、变分、几何等）
90摄氏52度 减少梯度类型的方法

关键词：

机器学习;不确定性优化;算法分析
PDF格式BibTeX公司 XML格式引用
\textit{G.França}等人，J.Stat.Mech。理论实验2021，第4期，文章ID 043402，39页（2021；Zbl 1489.82010）
全文： 内政部 arXiv公司

参考文献：

[1] Su W、Boyd S和CandèS E J 2016 J.Mach。学习。决议17 1-43·Zbl 1391.90667号
[2] Wibisono A、Wilson A C和Jordan M I 2016年程序。美国国家科学院。科学113 E7351-8·Zbl 1404.90098号 ·doi:10.1073/pnas.1614734113
[3] França G、Robinson D P和Vidal R 2018关于ADMM加速扩展的非光滑动力系统观点（arXiv:1808.04048）
[4] França G、Robinson D P和Vidal R 2018 ADMM以及加速ADMM作为连续动力系统ICML Proc。第35届机器学习国际会议第1559-67页
[5] França G、Sulam J、Robinson D P和Vidal R 2020 J.Stat.Mech。124008 ·Zbl 07330529号 ·doi:10.1088/1742-5468/abcaee
[6] Krichene W、Bayen A和Bartlett P L 2015连续和离散时间的加速镜像下降神经信息处理系统进展（纽约：Curran Associates）第28卷
[7] Wilson A C、Recht B和Jordan M I 2018优化中动量方法的Lyapunov分析（arXiv:1611.02635）
[8] Scieur D、Roulet V、Bach F和D'Aspremont A 2017神经信息处理系统集成方法和优化算法进展（纽约：Curran Associates）第30卷
[9] Betancourt M，Jordan M I和Wilson A C 2018关于辛优化（arXiv:1802.03653）
[10] Zhang J、Mokhtari A、Sra S和Jadbabaie A 2018直接Runge-Kutta离散化实现了加速神经信息处理系统进展（纽约：：Curran Associates）第30卷
[11] Shi B，Du S S，Su W J和Jordan M I 2019通过辛离散化高分辨率微分方程加速神经信息处理系统进展（纽约：：Curran Associates）第32卷
[12] Muehlebach M和Jordan M I 2019 Nesterov加速过程的动力学系统视角。第36届国际机器学习大会4656-62
[13] Diakonikolas J和Jordan M I 2020广义动量法：哈密顿观点（arXiv:1906.00436）
[14] Nesterov Y 1983年苏联。数学-道克27 372-6·Zbl 0535.90071号
[15] Polyak B T 1964加速迭代法收敛的一些方法。数学。数学。物理4 1-17·Zbl 0147.35301号 ·doi:10.1016/0041-5553（64）90137-5
[16] Berndt R 2001辛几何导论（普罗维登斯，RI:美国数学学会）·Zbl 0986.53028号
[17] Aebischer B、Borer M、Kalin M和Leuenberger C 1994辛几何（柏林：Springer）·Zbl 0932.53002号 ·doi:10.1007/978-3-0348-7512-7
[18] Benettin G和Giorgilli A 1994《美国联邦统计局物理杂志》第74卷第1117-43页·兹比尔0842.58020 ·doi:10.1007/bf02188219
[19] Reich S 1999 SIAM J.数字。分析36 1549-70·Zbl 0935.65142号 ·数字对象标识代码：10.1137/s0036142997329797
[20] Hairer E 1994年年鉴编号。数学1 107-32·Zbl 0828.65097号
[21] Leimkuhler B和Reich S 2004模拟哈密顿动力学（剑桥：剑桥大学出版社）·Zbl 1069.65139号
[22] Hairer E、Lubich C和Wanner G 2006几何-数值积分（柏林：Springer）·Zbl 1094.65125号
[23] Sanz-Serna J M 1992年学报编号1 243-86·Zbl 0762.65043号 ·doi:10.1017/s0962492900002282
[24] McLachlan R I和Quispel G R W 2006年《物理学杂志》。A： 数学。第39代5251-85·兹比尔1092.65055 ·doi:10.1088/0305-4470/39/19/s01
[25] Iserles A和Quispel G R W 2018为什么要进行几何-数值积分？离散力学、几何积分和李布彻系列（柏林：施普林格）第1-28页·doi:10.1007/978-3-030-01397-4_1
[26] Bhatt A、Floyd D和Moore B E 2016科学杂志。计算66 1234-59·Zbl 1377.65165号 ·doi:10.1007/s10915-015-0062-z
[27] Moore B E 2017计算机杂志。申请。数学323 1-15·Zbl 1364.65169号 ·doi:10.1016/j.cam.2017.04.008
[28] Bhatt A和Moore B E 2019 J.计算。申请。数学352 341-51·Zbl 1410.65298号 ·doi:10.1016/j.cam.2018.12.003
[29] Shang X和Øttinger H C 2020程序。R.Soc.A 476 20190446公司·Zbl 1439.82069号 ·doi:10.1098/rspa.2019.0446
[30] Nussle T、Thibaudeau P和Nicolis S 2019《欧洲物理学》。J·B 92 1-10号·Zbl 1515.82170号 ·doi:10.1140/epjb/e2019-90539-6
[31] Nussle T、Thibaudeau P和Nicolis S 2019物理。版次B 100 214428·doi:10.1103/physrevb.100.214428
[32] McLachlan R和Perlmutter M，2001年，《几何杂志》。物理39 276-300·Zbl 1005.53058号 ·doi:10.1016/s0393-0440（01）00020-1
[33] 卡尔迪罗拉P 1941 Il Nuovo Cimento 18 393-400·doi:10.1007/bf02960144
[34] Kanai E 1948计划。理论。物理3 440-2·doi:10.1143/ptp/3.4.440
[35] Caldeira A O和Leggett A J 1981年物理学。修订稿46 211-4·doi:10.1103/physrevlett.46.211
[36] Hairer E和Lubich C 1997数字。数学76 441-62·Zbl 0874.65061号 ·doi:10.1007/s002110050271
[37] Sternberg S 1964微分几何讲座（新泽西州恩格伍德克利夫斯：普伦蒂斯·霍尔）·兹伯利0129.13102
[38] Tao M 2016物理。版本E 94 043303·doi:10.10103/physrev.94.043303
[39] Torlai G和Melko R G 2016年物理。版次B 94 165134·doi:10.1103/physrevb.94.165134
[40] Carleo G和Troyer M 2017科学355 602-6·Zbl 1404.81313号 ·doi:10.1126/science.aag2302
[41] Melko R G、Carleo G、Carrasquilla J和Cirac J I 2019《自然物理学》15 887-92·doi:10.1038/s41567-019-0545-1
[42] 晨星A和Melko R G 2018 J.Mach。学习。决议18 1-17·Zbl 1467.68157号
[43] Hinton G E 2002神经计算.14 1771-800·Zbl 1010.68111号 ·网址：10.1162/089976602760128018
[44] Arnold V I、Kozlov V V和Neishtadt A I 2006经典力学和天体力学的数学方面（柏林：施普林格）·Zbl 1105.70002号 ·doi:10.1007/978-3-540-48926-9
[45] Abraham R和Marsden J E 1978力学基础（雷丁，马萨诸塞州：Addison-Wesley）
[46] 铃木M 1990物理。莱特。A 146 319-23号·doi:10.1016/0375-9601（90）90962-n
[47] 吉田H 1990物理。莱特。A 150 262-8号·doi:10.1016/0375-9601（90）90092-3
[48] McLachlan R I 2002数字。算法31 233-46·Zbl 1016.65044号 ·doi:10.1023/a:1021195019574
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。