×
优平秋本;安妮·奥格;尼古拉斯·汉森

证明自适应随机算法几何收敛性的ODE方法。 （英语） Zbl 1485.90128号

随机过程应用。 145, 269-307 (2022).
摘要：我们考虑从解决确定性优化问题的方法中导出的随机算法，特别是从具有恒定步长的随机近似算法中导出的基于比较的算法。我们发展了一种方法来证明这些算法的参数序列（θn）的几何收敛性。我们使用了常微分方程（ODE）方法，该方法将随机算法与其平均ODE联系起来，并使用了类Lyapunov函数（Psi），使得（Psi（theta_n）的几何收敛性\)在优化算法的情况下，意味着算法生成的最优值和搜索点之间的预期距离的几何收敛。我们为（Psi（theta_n））以几何速率减小提供了两个充分条件：（Psi。我们还提供了在不知道平均常微分方程解的情况下容易验证这两个充分条件的实际条件。我们的结果是（Psi（theta_n））上的任意时间界，因此我们不仅可以推导出算法收敛速度的渐近上界，而且可以推导出该算法的首次命中时间。将主要结果应用于基于比较的随机算法，该算法具有恒定步长，用于连续域上的优化。

引用于2文件

MSC公司：

90立方 非线性规划
65C20个 概率模型，概率统计中的通用数值方法
90立方厘米 随机规划

关键词：

自适应随机算法;基于比较的算法;几何收敛;常微分方程法;李亚普诺夫稳定性;优化

软件：

CMA-ES公司
PDF格式BibTeX公司 XML格式引用
\textit{Y.Akimoto}等人，《随机过程应用》。145269--307（2022；Zbl 1485.90128）
全文： 内政部 arXiv公司

参考文献：

[1] 阿加瓦尔，A。；Bartlett，P。；拉维库马尔，P。；Wainwright，M.，随机凸优化预言复杂性的信息论下限，IEEE Trans。通知。理论，58,53235-3249（2012）·Zbl 1365.94132号
[2] Akimoto，Y。；Auger，A。；Hansen，N.，单调复合函数上各向同性进化策略的连续时间轨迹的收敛性，（《自然问题解决》PPSN XII（2012），42-51
[3] Akimoto，Y。；Auger，A。；Hansen，N.，一般凸二次函数加权重组进化策略的质量增益分析，Theoret。计算。科学。，832, 42-67 (2020) ·Zbl 1443.68224号
[4] Akimoto，Y。；Hansen，N.，协方差矩阵自适应进化策略的对角加速，Evol。计算。，28, 3, 405-435 (2020)
[5] Amari，S.，《自然梯度在学习中的效率》，神经计算。，10, 2, 251-276 (1998)
[6] 巴赫，F。；Moulines，E.，机器学习随机近似算法的非症状分析，（Shawe-Taylor，J.；Zemel，R.；Bartlett，P.；Pereira，F.；Weinberger，K.，《神经信息处理系统的进展》24（2011），Curran Associates，Inc.），451-459
[7] S.Baluja，R.Caruana，从标准遗传算法中删除遗传，摘自：Proc。第12名实习生。机器学习会议，1995年，第38-46页。
[8] Benaim，M.，随机逼近的动力系统方法，SIAM J.控制优化。，34, 2, 437-472 (1996) ·Zbl 0841.62072号
[9] 贝纳伊姆，m。；霍夫鲍尔，J。；Sorin，S.，《随机近似和微分包含》，SIAM J.Control Optim。，44, 1, 328-348 (2005) ·Zbl 1087.62091号
[10] 贝纳伊姆，m。；霍夫鲍尔，J。；Sorin，S.，《随机逼近和微分包含》，第二部分：应用，数学。操作。研究，31，4，673-695（2006）·Zbl 1284.62511号
[11] Berger，B.，《四阶矩法》，SIAM J.Compute。，1188-1207 (1999) ·Zbl 0885.68080号
[12] 波尔，P.-T.D。；Kroese，D.P。；曼诺，S。；Rubinstein，R.Y.，《交叉熵方法教程》，Ann.Oper。决议，134，19-67（2005）·Zbl 1075.90066号
[13] Borkar，V.S.，《随机逼近：动力系统观点》（2008），剑桥大学出版社·Zbl 1159.60002号
[14] 博卡尔，V。；Meyn，S.，随机逼近和强化学习收敛的O.D.E.方法，SIAM J.Control Optim。，38, 2, 447-469 (2000) ·Zbl 0990.62071号
[15] Brandière，O.，随机近似的一些病理陷阱，SIAM J.控制优化。，36, 4, 1293-1314 (1998) ·Zbl 0980.62068号
[16] Buche，R。；Kushner，H.J.，约束随机逼近算法的收敛速度，SIAM J.控制优化。，40, 4, 1011-1041 (2001) ·Zbl 1011.62082号
[17] Clark，D.S.，离散gronwall不等式的简短证明，离散应用。数学。，16, 3, 279-281 (1987) ·Zbl 0612.39004号
[18] Devroye，L.，非均匀随机变量生成（1986），Springer·Zbl 0593.65005号
[19] 方，H.-T。；Chen，H.-F.，随机近似算法极限点的稳定性和不稳定性，IEEE Trans。自动化。控制，45，3，413-420（2000）·Zbl 0970.62050号
[20] Gerencsér，L。；Vágó，Z。，《无噪音SPSA的数学》（决策与控制，2001年）。第40届IEEE会议记录，第5卷（2001），IEEE），4400-4405
[21] 乔治·G。；Komlósi，S.，优化中的Dini导数-第i部分，Riv.Mat.Sci。经济。《社会学杂志》，15，1，3-30（1992）·Zbl 0871.49019号
[22] Glasmachers，T.，凸二次型问题上各向同性高斯分布的IGO-流的收敛性，（自然并行问题解决-PPSN XII（2012）），1-10
[23] Hajek，B.，漂移分析和应用程序隐含的撞击时间和占用时间界限，Adv.Appl。可能性。，14, 3, 502-525 (1982) ·Zbl 0495.60094号
[24] Hansen，N。；阿诺德·D·V。；Auger，A.，《进化策略》（Kacprzyk，J.；Pedrycz，W.，《计算智能手册》（2015），施普林格出版社），871-898
[25] Hansen，N。；Auger，A.，《连续随机搜索的原则设计：从理论到实践》（Borenstein，Y.；Moraglio，A.，Metaeuristics设计的理论和原则方法（2014），Springer）·Zbl 1328.68195号
[26] Hansen，N。；穆勒，S.D。；Koumoutsakos，P.，利用协方差矩阵自适应（CMA-ES）降低非自治进化策略的时间复杂性，Evol。计算。，11, 1, 1-18 (2003)
[27] 汉森，N。；Ostermier，A.，《进化策略中的完全错乱的自我适应》，Evol。计算。，9, 2, 159-195 (2001)
[28] 哈代，G.H。；Littlewood，J.E。；Polya，G.，不等式（剑桥数学图书馆（1952），剑桥大学出版社）·Zbl 0047.05302号
[29] Khalil，H.K.，非线性系统（2002），Prentice-Hall公司·Zbl 1003.34002号
[30] 库什纳，H.J。；Yin，G.G.，《随机逼近和递归算法及应用》（2003），Springer Verlag·Zbl 1026.62084号
[31] Ljung，L.，递归随机算法分析，IEEE Trans。自动化。控制，22，4，551-575（1977）·Zbl 0362.93031号
[32] Ljung，L.，随机逼近算法的强收敛性，Ann.Statist。，6, 3, 680-696 (1978) ·Zbl 0402.62060号
[33] 走向新的进化计算，（Lozano，J.a.；Larrañaga，P.；Inza，I.；Bengoetxea，E.，《分布算法估计进展》（2006），Springer）·兹比尔1089.68121
[34] D.Morinaga，Y.Akimoto，《连续搜索空间中的漂移理论：具有1/5成功规则的（1+1）-es的预期命中时间》，载《遗传与进化计算会议论文集》，2018年，第801-808页。
[35] D.Morinaga，Y.Akimoto，《连续域中的广义漂移分析：具有lipschitz连续梯度的强凸函数上（1+1）-es的线性收敛性》，载于《第15届ACM/SIGEVO遗传算法基础会议论文集》，2019年，第13-24页·Zbl 1433.68648号
[36] 森那加，D。；Fukuchi，K。；Sakuma，J。；Akimoto，Y.，凸二次函数上基于步长自适应的（1+1）进化策略的收敛速度，（遗传与进化计算会议论文集，GECCO’21（2021），计算机械协会：美国纽约州纽约市计算机械协会），1169-1177
[37] Ollivier，Y。；阿诺德，L。；Auger，A。；Hansen，N.，《信息几何优化算法：基于不变性原理的统一图像》，J.Mach。学习。第18、18、1-65号决议（2017年）·Zbl 1433.90196号
[38] Pemantle，R.，urn模型和随机近似中不稳定点的不收敛性，Ann.Probab。，18, 2, 698-712 (1990) ·Zbl 0709.60054号
[39] Rechenberg，I.，《进化策略：优化技术体系Nach Prinzipien Der Biologischen进化》（1973），Frommann-Holzboog：Frommann-Holzboog Stuttgart-Bad Cannstatt
[40] Rouche，N。；哈贝茨，P。；Laloy，M。；Ljapunov，A.M.，《利亚普诺夫直接法稳定性理论》（1977年），斯普林格出版社·Zbl 0364.34022号
[41] Roux，N.L。；施密特，M。；Bach，F.R.，有限训练集的指数收敛率随机梯度方法，（Pereira，F.；Burges，C.J.C.；Bottou，L.；Weinberger，K.Q.，Advances in Neural Information Processing Systems 25（2012），Curran Associates，Inc.），2663-2671
[42] Salimans，T。；Ho，J。；陈，X。；Sidor，S。；Sutskever，I.，《进化策略作为强化学习的可扩展替代方案》（2017），URL arXiv:1703.03864
[43] Schwefel，H.-P.，《进化战略与数值优化》（1975），柏林科技大学（博士论文）
[44] Sehnke，F。；Osendorfer，C。；吕克斯蒂，T。；格雷夫斯，A。；彼得斯，J。；Schmidhuber，J.，参数探索政策梯度，神经网络。，23, 4, 551-559 (2010)
[45] Spall，J.C.，同步扰动法的自适应随机近似，IEEE Trans。自动化。控制，45,101839-1853（2000）·Zbl 0990.93125号
[46] Teschl，G.，《常微分方程与动力系统》，第140卷（2012年），美国数学学会·Zbl 1263.34002号
[47] Thorison，H.，《耦合、平稳性和再生》（2000），Springer Verlag·Zbl 0949.60007号
[48] Wierstra，D。；Schaul，T。；Glasmachers，T。；孙，Y。；彼得斯，J。；Schmidhuber，J.，《自然进化战略》，J.Mach。学习。第15号决议，949-980（2014年）·Zbl 1318.68159号
[49] 尹，G.G。；鲁道夫，G。；Schwefel，H.-P.，建立进化算法和随机近似之间的联系，Informatica，193-116（1995）·Zbl 0906.68130号
[50] 尹，G.G。；鲁道夫，G。；Schwefel，H.-P.，通过随机近似方法分析进化策略，Evol。计算。，3, 4, 473-489 (1996)
[51] Zhao，T。；Hachiya，H。；牛，G。；Sugiyama，M.，政策梯度估计的分析与改进，神经网络。，26, 118-129 (2012) ·Zbl 1245.68165号
[52] 周，E。；Bhatnagar，S.，连续空间上模拟优化的基于梯度的自适应随机搜索，INFORMS J.Comput。，30, 1, 154-167 (2018) ·Zbl 1446.90036号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。