马丁·查克;尼古拉斯·坎塔斯;格里戈里奥斯·帕夫利奥蒂斯（Grigorios A.Pavliotis）。 关于模拟退火的广义Langevin方程。 （英语） Zbl 1517.60088号 SIAM/ASA J.不确定性。数量。 11, 139-167 (2023). 摘要：本文考虑广义（高阶）Langevin方程，以模拟退火和优化非凸函数。我们的方法通过用适当的Ornstein-Uhlenbeck过程替换Brownian噪声来修正欠阻尼Langevin方程，以考虑系统中的内存。在损失函数和退火调度的合理条件下，我们建立了连续时间动力学收敛到全局最小值。此外，我们对其性能进行了数值研究，并与具有相同退火时间表的欠阻尼Langevin动力学相比，显示了更好的性能和更高的状态空间探索。 引用于2文件 MSC公司： 60年25日 一般状态空间上的连续时间Markov过程 46N10号 函数分析在优化、凸分析、数学规划、经济学中的应用 60J60型 扩散过程 关键词：非凸优化;广义Langevin方程;模拟退火 PDF格式BibTeX公司 XML格式引用 \textit{M.Chak}等人，SIAM/ASA J.不确定性。数量。11、139--167（2023年；Zbl 1517.60088） 全文： 内政部 arXiv公司 参考文献： [1] Adelman，S.A.和Garrison，B.J.，气体/固体过程的广义Langevin理论：动态固体模型，J.Chem。物理。，65（1976），第3751-3761页，doi:10.1063/1.433564。 [2] AlRachid，H.、Mones，L.和Ortner，C.，《预处理分子动力学的一些评论》，SMAI J.Compute。数学。，4（2018），第57-80页，doi:10.5802/smai-jcm.29·Zbl 1416.82020年 [3] Baczewski，A.D.和Bond，S.D.，带正Prony表示记忆核的扩展变量广义Langevin方程的数值积分，J.Chem。物理。，139（2013），044107，doi:10.1063/1.4815917。 [4] Bennett，C.H.，质量张量分子动力学，J.Compute。物理。，19（1975），第267-279页，doi:10.1016/0021-9991（75）90077-7。 [5] Biswas，R.和Hamann，D.R.，Langevin分子动力学中硅原子团簇的模拟退火，Phys。B版，34（1986），第895-901页，doi:10.1103/PhysRevB.34.895。 [6] Bitzek，E.、Koskinen，P.、Gähler，F.、Moseler，M.和Gumbsch，P.，《结构松弛变得简单》，Phys。修订稿。，97（2006），170201，doi:10.1103/PhysRevLett.97.170201。 [7] Bogachev，V.I.、Krylov，N.V.、Röckner，M.和Shaposhnikov，S.V.，Fokker-Planck-Kolmogorov方程，美国数学学会，普罗维登斯，RI，2015，doi:10.1090/surv/207·Zbl 1342.35002号 [8] Bottou，L.、Curtis，F.E.和Nocedal，J.，《大规模机器学习的优化方法》，SIAM Rev.，60（2018），第223-311页，doi:10.1137/16M1080173·Zbl 1397.65085号 [9] Brezis，H.，《函数分析》，Sobolev空间和偏微分方程，Springer，纽约，2011年·Zbl 1220.46002号 [10] Carrillo，J.、Jin，S.、Li，L.和Zhu，Y.，基于共识的高维机器学习问题全局优化方法，预印本，https://arxiv.org/abs/1909.09249, 2019. [11] Carrillo，J.A.、Choi，Y.-P.、Totzeck，C.和Tse，O.，基于共识的全局优化方法的分析框架，数学。模型方法应用。科学。，28（2018），第1037-1066页，doi:10.1142/S0218202518500276·Zbl 1397.35311号 [12] Ceriotti，M.、Bussi，G.和Parrinello，M.，用于恒温分子动力学模拟的带有色噪声的Langevin方程，Phys。修订稿。，102（2009），020601，doi:10.1103/PhysRevLett.102.020601。 [13] Ceriotti，M.、Bussi，G.和Parrinello，M.，《彩色噪音恒温器点菜》，J.Chem。理论计算。，6（2010），第1170-1180页，doi:10.1021/ct900563s。 [14] Chaleyat-Maurel，M.和Michel，D.，亚椭圆定理和条件定律，Z.Wahrsch。版本。Gebiete，65（1984），第573-597页·Zbl 0524.35028号 [15] Cheng，X.、Chatterji，N.S.、Bartlett，P.L.和Jordan，M.I.，《阻尼不足的Langevin MCMC:非渐进分析》，载于《第31届学习理论会议论文集》，Bubeck，S.、Perchet，V.和Rigollet，P.编辑，PMLR，2018年，第300-323页。 [16] Chiang，T.-S.，Hwang，C.-R.，and Sheu，S.-J.，（{\boldsymbol{\text{R}}^n）中全局优化的扩散，SIAM J.控制优化。，25（1987），第737-753页，doi:10.1137/0325042·兹比尔062260093 [17] Diestel，J.，《一致可积性：导论》，载于《测度理论与实证分析学院》（Grado，1991）。，的里雅斯特大学，1993年，第41-80页·Zbl 0849.46017号 [18] Douc，R.，Fort，G.，and Guillin，A.，f-遍历强马尔可夫过程的次几何收敛速度，随机过程。申请。，119（2009），第897-923页，doi:10.1016/j.spa.2008.03.007·Zbl 1163.60034号 [19] Duncan，A.B.、Lelièvre，T.和Pavliotis，G.A.，《使用不可逆Langevin采样器减少方差》，J.Stat.Phys。，163（2016），第457-491页，doi:10.1007/s10955-016-1491-2·Zbl 1343.82036号 [20] Duncan，A.B.，Nüsken，N.和Pavliotis，G.A.，《使用扰动欠阻尼Langevin动力学从概率分布中有效采样》，《统计物理学杂志》。，169（2017），第1098-1131页，doi:10.1007/s10955-017-1906-8·Zbl 1387.35580号 [21] Durmus，A.和Moulines，E。，通过未调整的Langevin算法进行高维贝叶斯推断，Bernoulli，25（2019），第2854-2882页，doi:10.3150/18-BEJ1073·Zbl 1428.62111号 [22] Eberle，A.、Guillin，A.和Zimmer，R.，《Langevin动力学的耦合和定量收缩率》，Ann.Probab。，47（2019），第1982-2010页，doi:10.1214/18-AOP1299·兹比尔1466.60160 [23] Eckmann，J.-P.和Hairer，M.，振荡器强非简谐链的非平衡统计力学，通信数学。物理。，212（2000），第105-164页·Zbl 1044.82008年 [24] 弗里德曼，A.，《随机微分方程及其应用》，第1卷，学术出版社[Harcourt Brace Jovanovich，出版商]，纽约-朗顿出版社，1975年·Zbl 0323.60056号 [25] Gadat，S.和Panloup，F.，记忆梯度扩散的长时间行为和稳态，Ann.Inst.H.PoincaréProbab。统计人员。，50（2014），第564-601页，doi:10.1214/12-AIHP536·Zbl 1299.60092号 [26] Gao，X.，Gurbuzbalaban，M.和Zhu，L.，打破可逆性加速了全局非凸优化的Langevin动力学，预印本，https://arxiv.org/abs/1812.07725, 2018. [27] Gelfand，S.B.和Mitter，S.K.，（{\boldsymbol{\text{R}}^d\）中全局优化的递归随机算法，SIAM J.控制优化。，29（1991），第999-1018页，doi:10.1137/0329055·Zbl 0753.65051号 [28] Gelfand，S.B.和Mitter，S.K.，马尔可夫链抽样方法和扩散退火算法的弱收敛性，J.Optim。理论应用。，68（1991），第483-498页，doi:10.1007/BF00940066·兹标0696.60064 [29] Geman，S.和Geman，D.，《随机松弛、吉布斯分布和图像的贝叶斯恢复》，IEEE Trans。模式分析。机器。智力。，PAMI-6（1984），第721-741页，doi:10.1109/TPAMI.1984.4767596·Zbl 0573.62030号 [30] Geman，S.和Hwang，C.-R.，《全局优化扩散》，SIAM J.控制优化。，24（1986），第1031-1043页，doi:10.1137/0324060·Zbl 0602.60071号 [31] Ghadimi，S.和Lan，G.，非凸非线性随机规划的加速梯度法，数学。程序。，156（2016），第59-99页，doi:10.1007/s10107-015-0871-8·Zbl 1335.62121号 [32] Gidas，B.，通过Langevin方程进行全局优化，载于1985年第24届IEEE决策与控制会议论文集，1985年，第774-778页，doi:10.1009/CDC.1985.268602。 [33] Gidas，B.，非平稳马尔可夫链和退火算法的收敛性，J.Stat.Phys。，39（1985），第73-131页，doi:10.1007/BF01007975·Zbl 0642.60049号 [34] Holley，R.和Strock，D.，通过Sobolev不等式模拟退火，Comm.Math。物理。，115（1988年），第553-569页·Zbl 0643.60092号 [35] Holley，R.A.、Kusuoka，S.和Stroock，D.W.，《谱隙的渐近性及其在模拟退火理论中的应用》，J.Funct。分析。，83（1989），第333-347页，doi:10.1016/0022-1236（89）90023-2·Zbl 0706.58075号 [36] Höpfner，R.，Löcherbach，E.，and Thieulen，M.，《强简并时间非均匀SDEs:密度和支撑性质：在霍奇金-霍克斯利型系统中的应用》，Bernoulli，23（2017），第2587-2616页，doi:10.3150/16-BEJ820·Zbl 1388.60096号 [37] Hwang，C.-R.，《重温拉普拉斯方法：概率测度的弱收敛性》，Ann.Probab。，8（1980），第1177-1182页，https://www.jstor.org/stable/2243019。 ·Zbl 0452.60007号 [38] Hwang，C.-R.和Sheu，S.J.，扰动扩散马尔可夫过程的大时间行为及其在Fokker-Planck算子第二特征值问题和模拟退火中的应用，应用学报。数学。，19（1990），第253-295页，doi:10.1007/BF01321859·Zbl 0708.60056号 [39] Kushner，H.J.，《随机近似和扩散的渐进全局行为与缓慢降低的噪声效应：通过蒙特卡罗实现全局最小化》，SIAM J.Appl。数学。，47（1987），第169-185页，doi:10.1137/0147010·Zbl 0615.60024号 [40] Lei，H.、Baker，N.A.和Li，X.，广义Langevin方程的数据驱动参数化，Proc。国家。阿卡德。科学。美国，113（2016），第14183-14188页，doi:10.1073/pnas.1609587113·Zbl 1407.62320号 [41] Leimkuhler，B.和Matthews，C.，《分子动力学：用确定性和随机数值方法》，Springer，Cham，2015年·Zbl 1351.82001号 [42] Leimkuhler，B.和Sachs，M.，广义Langevin方程的高效数值算法，预印本，https://arxiv.org/abs/2012.04245, 2020. [43] Lelièvre，T.、Nier，F.和Pavliotis，G.A.，扩散收敛到平衡的最佳不可逆线性漂移，J.Stat.Phys。，152（2013），第237-274页，doi:10.1007/s10955-013-0769-x·兹比尔1276.82042 [44] Li，C.，Chen，C.，Carlson，D.和Carin，L.，深度神经网络的预处理随机梯度Langevin动力学，载《第三十届AAAI人工智能会议论文集》，AAAI'16，AAAI出版社，华盛顿特区，2016年，第1788-1794页。 [45] Ma，Y.-A.，Chen，Y.，Jin，C.，Flamarion，N.，and Jordan，M.I.，《采样比优化更快》，Proc。国家。阿卡德。科学。美国，116（2019），第20881-20885页，doi:10.1073/pnas.1820003116·Zbl 1433.68397号 [46] Márquez，D.，退火扩散过程的收敛速度，Ann.Appl。概率。，7（1997），第1118-1139页，doi:10.1214/aoap/1043862427·兹比尔0949.62072 [47] Mattingly，J.C.和Stuart，A.M.，粒子运动中某些亚椭圆扩散的几何遍历性，非均匀随机系统（Cergy-Pototise，2001），8（2002），第199-214页·Zbl 1014.60059号 [48] Menz，G.和Schlichting，A.，Poincaré和对数Sobolev不等式，通过分解能源景观，Ann.Probab。，42（2014），第1809-1884页，doi:10.1214/14-AOP908·Zbl 1327.60156号 [49] Metafune，G.，Pallara，D.和Priola，E.，关于不变测度的（L^p\）空间中Ornstein-Uhlenbeck算子的谱，J.Funct。分析。，196（2002），第40-60页，doi:10.1006/jfan.2002.3978·Zbl 1027.47036号 [50] Miclo，L.，Recuit simuésur（{\boldsymbol{\text{R}}}^n\）。《自由进化论》，Ann.Inst.H.PoincaréProbab。统计人员。，28（1992），第235-266页，http://www.numdam.org/item？id=AIHPB_199228_2_235_0。 ·Zbl 0747.60071号 [51] Monmarché，P.，亚稳环境下的次矫顽力和动力学模拟退火，Probab。理论相关领域，172（2018），第1215-1248页，doi:10.1007/s00440-018-0828-y·兹比尔1404.60120 [52] Monmarché，P.，广义伽马演算及其在图上相互作用粒子中的应用，势能分析。，50（2019），第439-466页，doi:10.1007/s11118-018-9689-3·Zbl 1411.58013号 [53] Mou，W.，Ma，Y.-A.，Wainwright，M.J.，Bartlett，P.L.和Jordan，M.I.，高阶Langevin扩散产生了一个加速的MCMC算法J.Mach。学习。决议，22（2021），第1-41页，http://jmlr.org/papers/v22/20-576.html。 ·Zbl 07370559号 [54] Nava，M.、Ceriotti，M.，Dryzun，C.和Parrinello，M.《使用有色噪声恒温器评估正定矩阵的功能》，Phys。E版，89（2014），023302，doi:10.1103/PhysRevE.89.023302。 [55] Nesterov，Y.，《凸优化讲座》，第二版，Springer，Cham，2018年，doi:10.1007/978-319-91578-4·Zbl 1427.90003号 [56] Ottobre，M.和Pavliotis，G.A.，广义Langevin方程的渐近分析，非线性，24（2011），第1629-1653页，doi:10.1088/0951-7715/24/5/013·Zbl 1221.82076号 [57] Ottobre，M.、Pavliotis，G.A.和Pravda-Starov，K.，亚椭圆二次系统的指数回归平衡，J.Funct。分析。，262（2012），第4000-4039页，doi:10.1016/j.jfa.2012.02.008·Zbl 1256.47032号 [58] Patterson，S.和Teh，Y.W.，概率单纯形上的随机梯度黎曼-朗之万动力学，摘自《神经信息处理系统进展》26，Burges，C.J.C.，Bottou，L.，Welling，M.，Ghahramani，Z.和Weinberger，K.Q.编辑，Curran Associates，Inc.，Red Hook，NY，2013年，第3102-3110页。 [59] Pavliotis，G.A.，《随机过程和应用：扩散过程，福克-普朗克和朗之万方程》，Springer，纽约，2014年，doi:10.1007/978-1-4939-1323-7·Zbl 1318.60003号 [60] Pavliotis，G.A.、Stoltz，G.和Vaes，U.，广义Langevin方程的缩放极限，J.非线性科学。，31（2021），8，doi:10.1007/s00332-020-09671-4·Zbl 1473.35057号 [61] Pelletier，M.，应用于多目标和模拟退火的随机近似的弱收敛率，Ann.Appl。概率。，8（1998），第10-44页，doi:10.1214/aoap/1027961032·Zbl 0965.62065号 [62] Pinnau，R.、Totzeck，C.、Tse，O.和Martin，S.，基于共识的全局优化模型及其平均场极限，数学。模型方法应用。科学。，27（2017），第183-204页，doi:10.1142/S0218202517400061·Zbl 1388.90098号 [63] Prévót，C.和Röckner，M.，《随机偏微分方程简明教程》，施普林格，柏林，2007年·Zbl 1123.60001号 [64] Royer，G.，关于扩散过程模拟退火的评论，SIAM J.Control Optim。，27（1989），第1403-1408页，doi:10.1137/0327072·Zbl 0689.60059号 [65] Ruder，S.，《梯度下降优化算法概述》，预印本，https://arxiv.org/abs/1609.04747, 2016. [66] Sachs，M.，《广义朗之万方程：渐近性质与数值分析》，爱丁堡大学博士论文，2017年。 [67] Song，H.，Triguero，I.，andØzcan，E.，《机器学习和优化之间的自我和双重交互综述》，Prog。Artif公司。智力。，8（2019），第143-165页，doi:10.1007/s13748-019-00185-z。 [68] Su，W.，Boyd，S.和CandèS，E.J.，《Nesterov加速梯度法建模的微分方程：理论与见解》，J.Mach。学习。决议，17（2016），153·兹比尔1391.90667 [69] Sun，Y.和Garcia，A.，全球优化的交互式扩散，J.Optim。理论应用。，163（2014），第491-509页，doi:10.1007/s10957-013-0394-5·Zbl 1327.90400号 [70] Taniguchi，S.，Malliavin微积分在含时热方程组中的应用，大阪数学杂志。，22（1985年），第307-320页·Zbl 0583.35055号 [71] Wu，X.，Brooks，B.R.，和Vanden-Eijnden，E.，通过广义Langevin方程的自引导Langewin动力学，J.Compute。化学。，37（2016），第595-601页，doi:10.1002/jcc.24015。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。