戴，尹；焦玉玲；李灿·康；吕锡良；杨致坚 通过Schrödinger-Föllmer扩散进行全局优化。 （英语） Zbl 1522.90120号 SIAM J.控制优化。 61，第5期，2953-2980（2023）. 摘要：我们研究了通过从密度为（p_{\sigma}（x）=\frac{\exp（-V（x \在（0,1]\）中足够小。我们分析了一个基于Schrödinger-Föllmer扩散过程的Euler-Maruyama离散化的采样器，并在适当的步长和势（V）假设下进行了随机逼近。我们证明了该采样器的输出是以标准正态随机变量（mathcal{O}（d^3））为代价的高概率近似全局极小值V（x）。数值研究表明了该方法的有效性及其相对于朗之万方法的优越性。 MSC公司： 90C26型 非凸规划，全局优化 60-08 概率论相关问题的计算方法 关键词：全局优化；薛定谔·福尔默扩散；随机近似 PDF格式BibTeX公司 XML格式引用 \textit{Y.Dai}等人，SIAM J.控制优化。61，第5号，2953--2980（2023；Zbl 1522.90120） 全文： DOI程序 arXiv公司 参考文献： [1] Bakry，D.、Cattiaux，P.和Guillin，A.（2008），遍历连续马尔可夫过程的收敛速度：Lyapunov vs.Poincaré，J.Funct。分析。，254，第727-759页·Zbl 1146.60058号 [2] Bakry，D.、Gentil，I.和Ledoux，M.（2014），马尔可夫扩散算子的分析和几何，Springer·Zbl 1376.60002号 [3] Barkhagen，M.，Chau，N.H.，Moulines，埃及。，Rásonyi，M.、Sabanis，S.和Zhang，Y.（2021），关于对数凹面情况下具有相关数据流的随机梯度Langevin动力学，Bernoulli，27，第1-33页·Zbl 1475.60156号 [4] Bernton，E.、Heng，J.、Doucet，A.和Jacob，P.E.（2019），Schrödinger Bridge采样器，预印本，https://arxiv.org/abs/1912.13170。 [5] Bou-Rabee，N.、Eberle，A.和Zimmer，R.（2020年），《哈密尔顿蒙特卡罗耦合与收敛》，Ann.Appl。概率。，30，第1209-1250页·Zbl 07325608号 [6] Bullins，B.（2020），《非光滑问题的高度平滑最小化》，载于《学习理论会议》，PMLR，第988-1030页。 [7] Carrillo，J.A.、Jin，S.、Li，L.和Zhu，Y.（2021），基于共识的高维机器学习问题全局优化方法，ESAIM Control Optim。计算变量，27，第1-22页·Zbl 1480.60195号 [8] 新罕布什尔州洲、埃塞州穆林斯。，Rásonyi，M.、Sabanis，S.和Zhang，Y.（2021），关于具有相关数据流的随机梯度Langevin动力学：完全非凸情况，SIAM J.Math。数据科学。，3，第959-986页，doi:10.1137/20M1355392·Zbl 07419554号 [9] Chen，Y.、Georgiou，T.T.和Pavon，M.（2021），《随机控制联络：Richard Sinkhorn在Schrödinger桥上会见Gaspard Monge》，SIAM Rev.，63，第249-313页，doi:10.1137/20M1339982·兹伯利1465.49016 [10] Cheng，X.和Bartlett，P.（2018），《Langevin MCMC在KL-divergence中的收敛性》，《机器学习研究论文集》，算法学习理论，PMLR，第186-211页·Zbl 1406.60114号 [11] Cheng，X.、Chatterji，N.S.、Bartlett，P.L.和Jordan，M.I.（2018），《阻尼不足的Langevin MCMC:非渐近分析》，载于《学习理论会议》，PMLR，第300-323页。 [12] Chiang，T.-S.，Hwang，C.-R.，and Sheu，S.-J.（1987），（mathbb{R}^n）中全局优化的扩散，SIAM J.控制优化。，25，第737-753页，doi:10.1137/0325042·Zbl 0622.60093号 [13] Dai Pra，P.（1991），互惠扩散过程的随机控制方法，应用。数学。最佳。，23，第313-329页·Zbl 0728.93079号 [14] Dalalyan，A.S.（2017a），《抽样和优化之间的进一步和更强有力的类比：朗之万蒙特卡罗和梯度下降》，《学习理论会议》，PMLR，第678-689页。 [15] Dalalyan，A.S.（2017b），从平滑密度和对数曲线密度进行近似采样的理论保证，J.R.Stat.Soc.Ser。B统计方法。，79，第651-676页·Zbl 1411.62030号 [16] Dallayan，A.S.和Karagulyan，A.G.（2019年），具有不准确梯度的Langevin Monte Carlo的用户友好保证，随机过程。申请。，129，第5278-5311页·Zbl 1428.62316号 [17] Dupuis，P.和Ellis，R.S.（2011），大偏差理论的弱收敛方法，John Wiley&Sons·Zbl 0904.60001号 [18] Durmus，A.和Moulines，E.（2016），使用未调整Langevin算法从强对数凹分布中采样，预印本，https://arxiv.org/abs/1605.01559。 [19] Durmus，A.和Moulines，E.（2017），未调整Langevin算法的非渐近收敛分析，Ann.Appl。概率。，27，第1551-1587页·Zbl 1377.65007号 [20] Durmus，A.和Moulines，E.（2019），通过未调整的Langevin算法进行的高维贝叶斯推断，Bernoulli，25，第2854-2882页·Zbl 1428.62111号 [21] Eldan，R.、Lehec，J.和Shenfeld，Y.（2020年），通过Föllmer过程的对数Sobolev不等式的稳定性，安娜·亨利·彭加雷研究所。《美国联邦法律》第56卷，第2253-2269页·Zbl 1466.60032号 [22] Föllmer，H.（1985），扩散过程时间反转的熵方法，收录于《随机微分系统滤波与控制》，Springer，第156-163页·Zbl 0562.60083号 [23] Föllmer，H.（1986），维纳空间上的时间反转，收录于《随机过程——数学和物理》，斯普林格出版社，第119-129页·Zbl 0582.60078号 [24] Föllmer，H.（1988），《随机场和扩散过程》，收录于《圣弗洛尔十六世至二十七世概率》，1985-87年，施普林格出版社，第101-203页·Zbl 0661.60063号 [25] Garbuno-Inigo，A.、Hoffmann，F.、Li，W.和Stuart，A.M.（2020），《相互作用的朗之万扩散：梯度结构和集合卡尔曼采样器》，SIAM J.Appl。动态。系统。，19，第412-441页，doi:10.1137/19M1251655·兹比尔1447.65119 [26] Hale，J.K.（2010），耗散系统的渐近行为，美国数学学会。 [27] Holley，R.A.、Kusuoka，S.和Stroock，D.W.（1989），光谱间隙的渐近性及其在模拟退火理论中的应用，J.Funct。分析。，83，第333-347页·Zbl 0706.58075号 [28] Huang，J.、Jiao，Y.、Kang，L.、Liao，X.、Liu，J.和Liu，Y.（2021），Schrödinger-Föllmer Sampler:Sampling Without Ergodicity，预印本，https://arxiv.org/abs/2106.10880。 [29] Hwang，C.-R.（1980），《重温拉普拉斯方法：概率测度的弱收敛性》，Ann.Probab。，8，第1177-1182页·Zbl 0452.60007号 [30] Hwang，C.R.（1981），拉普拉斯方法的推广，Proc。阿默尔。数学。Soc.，82，第446-451页·Zbl 0464.60008号 [31] Iacus，S.M.和Yoshida，N.（2018），用YUIMA模拟和推断随机过程，Springer·Zbl 1458.60004号 [32] Jamison，B.（1975），Schrödinger的马尔可夫过程，Z.Wahrscheinlichkeits theory und Verw。Gebiete，第32页，第323-331页·Zbl 0365.60064号 [33] Jiao，Y.，Kang，L.，Liu，Y.和Zhou，Y..（2021），无凸性Schrödinger-Föllmer采样器的收敛性分析，预印本，https://arxiv.org/abs/2107.04766。 [34] Landsman，Z.和Nešlehová，J.（2008），椭圆随机向量的Stein引理，J.多元分析。，99，第912-927页·Zbl 1286.62018年 [35] Lehec，J.（2013），熵和泛函不等式的表示公式，Ann.Inst.Henri PoincaréProbab。Stat.，49，第885-899页·Zbl 1279.39011号 [36] Léonard，C.（2014），Schrödinger问题及其与最优运输的一些联系的调查，离散Contin。动态。系统。A、 34，第1533-1574页·Zbl 1277.49052号 [37] Ma，Y.-A.，Chen，Y.，Jin，C.，Flamarion，N.，and Jordan，M.I.（2019），《采样比优化更快》，Proc。国家。阿卡德。科学。美国，116，第20881-20885页·Zbl 1433.68397号 [38] Márquez，D.（1997），退火扩散过程的收敛速度，Ann.Appl。概率。，7，第1118-1139页·Zbl 0949.62072号 [39] Menz，G.和Schlichting，A.（2014），通过分解能源景观实现的Poincaré和对数Sobolev不等式，Ann.Probab。，42，第1809-1884页·Zbl 1327.60156号 [40] Mou，W.，Flamarion，N.，Wainwright，M.J.，and Bartlett，P.L.（2022），《Langevin扩散离散化的改进界限：无凸性的近最优速率》，Bernoulli，28，第1577-1601页·兹比尔1493.65021 [41] Nesterov，Y.（2005），非光滑函数的平滑最小化，数学。程序。，103，第127-152页·Zbl 1079.90102号 [42] Pavliotis，G.A.（2014），《随机过程与应用：扩散过程》，福克-普朗克和朗之万方程，斯普林格出版社·Zbl 1318.60003号 [43] Peyré，G.和Cuturi，M.（2019），《计算最优运输：数据科学应用》，Found。趋势马赫数。学习。，11，第355-607页·Zbl 1475.68011号 [44] Raginsky，M.、Rakhlin，A.和Telgarsky，M..（2017），《通过随机梯度Langevin动力学进行的非凸学习：非共振分析》，《学习理论会议》，PMLR，第1674-1703页。 [45] Revuz，D.和Yor，M.（2013），连续鞅和布朗运动，斯普林格科学与商业媒体·Zbl 1087.60040号 [46] Ruzayqat，H.、Beskos，A.、Crisan，D.、Jasra，A.和Kantas，N.（2023），使用一类扩散过程的无偏估计，J.Compute。物理。，472，第1-21页·Zbl 07620351号 [47] Schrödinger，E.（1932年），《电子相对论与量子化相互作用》，《安娜·亨利·彭卡研究所》，第2期，第269-310页·Zbl 0004.42505号 [48] Sinkhorn，R.（1964），任意正矩阵和双随机矩阵之间的关系，《数学年鉴》。Stat.，第35页，第876-879页·Zbl 0134.25302号 [49] Stein，C.（1972），相依随机变量和分布的正态近似误差的界，《第六届伯克利数理统计与概率研讨会论文集》，第2卷：概率论，加利福尼亚大学出版社，第583-602页·Zbl 0278.60026号 [50] Stein，C.（1986），预期的近似计算，Lect。注释Monogr。序列号。，7，第1-164页·兹比尔0721.60016 [51] Tzen，B.和Raginsky，M.（2019），《具有潜在扩散的生成模型中抽样和推理的理论保证》，《学习理论会议》，PMLR，第3084-3114页。 [52] Varadhan，S.S.（1966），渐近概率和微分方程，Comm.Pure Appl。数学。，19，第261-286页·Zbl 0147.15503号 [53] Vargas，F.、Ovsianas，A.、Fernandes，D.、Girolma，M.、Lawrence，N.和Nüsken，N.（2021），《通过神经Schrödinger-Föllmer流进行贝叶斯学习》，预印本，https://arxiv.org/abs/2111.10510。 ·Zbl 1499.62036号 [54] Wang，F.-Y.（2009），Log-Sobolev不等式：Ric和Hess的不同角色，Ann.Probab。，37，第1587-1604页·Zbl 1187.60061号 [55] Wang，G.，Jiao，Y.，Xu，Q.，Wang，Y.和Yang，C.（2021），通过Schrödinger bridge进行深度生成学习，机器学习国际会议，PMLR，第10794-10804页。 [56] Wang，Y.和Li，W.（2022），加速信息梯度流，科学杂志。计算。，90，第1-47页·Zbl 1484.90059号 [57] Zhang，Q.和Chen，Y.（2021），路径积分采样器：采样的随机控制方法，预印本，https://arxiv.org/abs/211.115141。 [58] Zhang，Y.，Akyildiz。D.、Damoulas，T.和Sabanis，S.（2023），非凸优化局部条件下随机梯度Langevin动力学的非渐近估计，应用。数学。最佳。，87, 25. ·Zbl 1512.90185号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。