×
秋本有平

代理辅助信息几何优化算法分析。 （英语） Zbl 07785274号

算法 86，编号1，33-63（2024）.
摘要：在连续优化中，通常使用代理函数来减少目标函数的计算次数。然而，很少从理论上研究它们的影响。本文分析了替代函数在信息几何优化（IGO）框架中的作用，该框架包括协方差矩阵自适应进化策略的变体作为算法实例，协方差矩阵适应进化策略是一种广泛使用的黑盒连续优化解算器。我们推导了IGO算法中参数更新的代理函数的一个充分条件，以指向搜索分布上期望的目标函数的下降方向。该条件用目标函数和替代函数之间的三个相关性度量表示。我们的结果构成了在IGO算法中使用代理函数的部分理由。

MSC公司：

68瓦xx 计算机科学中的算法
05Cxx号 图论

关键词：

信息几何优化；协方差矩阵自适应进化策略；代理函数；相关性度量；下降条件

软件：

CMA-ES公司；多最小值
PDF格式BibTeX公司 XML格式引用
\textit{Y.Akimoto}，Algorithmica 86，No.1，33--63（2024；Zbl 07785274）
全文： 内政部

参考文献：

[1] Hansen，N。；Ostermier，A.，《进化策略中的完全错乱的自我适应》，Evol。计算。，9, 2, 159-195 (2001) ·doi:10.1162/106365601750190398
[2] Hansen，N。；米勒，SD；Koumoutsakos，P.，用协方差矩阵自适应降低去随机化进化策略的时间复杂性（CMA-ES），Evol。计算。，11, 1, 1-18 (2003) ·doi:10.1162/106365603321828970
[3] Hansen，N.，Kern，S.：评估多模态测试函数的CMA进化策略。摘自：Nature-PPSN VIII中的并行问题解决，第282-291页（2004）
[4] Akimoto，Y。；Hansen，N.，协方差矩阵自适应进化策略的对角线加速度，Evol。计算。，28, 3, 405-435 (2020) ·doi:10.1162/evcoa_00260
[5] Jastrebski，G.A.，Arnold，D.V.：通过主动协方差矩阵自适应改进进化策略。摘自：2006年IEEE进化计算国际会议，第2814-2821页（2006）
[6] Hansen，N.，Auger，A.，Ros，R.，Finck，S.，Pošík，P.：比较黑盒优化基准BBOB-2009中31种算法的结果。摘自：《第十二届遗传与进化计算年会论文集》，第1689-1696页（2010）
[7] 里奥斯，LM；Sahinidis，NV，《无导数优化：算法综述和软件实现比较》，J.Global Optim。，56, 3, 1247-1293 (2013) ·Zbl 1272.90116号 ·doi:10.1007/s10898-012-9951-y
[8] Urieli，D.，MacAlpine，P.，Kalyanakrishnan，S.，Bentor，Y.，Stone，P.：关于优化相互依赖的技能：模拟三维人形机器人足球的案例研究。收录于：《第十届自主代理和多代理系统国际会议记录》，第11卷，第769-776页（2011年）
[9] Maki，A。；北坂本。；Akimoto，Y。；西川，H。；Umeda，N.，基于进化策略的最优控制理论（CMA-ES）在自动靠泊中的应用，J.Mar.Sci。技术。，25, 1, 221-233 (2020) ·doi:10.1007/s00773-019-00642-3
[10] 沙夫罗思，D。；伯姆斯，C。；Bouabdallah，S。；Siegwart，R.，同轴微型直升机的建模、系统识别和鲁棒控制，控制。工程实践。，18, 7, 700-711 (2010) ·doi:10.1016/j.connengprac.2010.02.004
[11] Fujii，G。；Akimoto，Y。；Takahashi，M.，通过CMA-ES探索热斗篷的最佳拓扑，应用。物理学。莱特。，112, 6 (2018) ·doi:10.1063/1.5016090
[12] 亚利桑那州马斯登；王，M。；JE丹尼斯；Moin，P.，使用代理管理框架的最佳气动声学形状设计，Optim。工程，5，2，235-262（2004）·兹伯利1116.90417 ·doi:10.1023/B:OPTE.000003376.89159.65
[13] 希茨，G。；Galceran，E。；加诺，M-È；Pomerleau，F。；Siegwart，R.，在线环境监测的自适应连续空间信息路径规划，J.Field Robot。，34, 8, 1427-1449 (2017) ·doi:10.1002/rob.21722
[14] Sadeghi，M。；Kalantar，M.，使用协方差矩阵自适应进化策略和蒙特卡罗模拟在随机条件下配电系统中进行多类型分布式电源扩展动态规划，Energy Convers。管理。，87, 455-471 (2014) ·doi:10.1016/j.enconman.2014.07.010
[15] 布扎尔库纳，Z。；丁，DY；Auger，A.，采用协方差矩阵自适应进化策略和元模型的井位优化，计算。地质科学。，16, 1, 75-92 (2012) ·doi:10.1007/s10596-011-9254-2
[16] Ha，D.，Schmidhuber，J.：循环世界模型有助于政策演变。《神经信息处理系统进展》，第31卷，第2455-2467页（2018）
[17] Chrabaszcz，P.，Loshchilov，I.，Hutter，F.：回到基础：为Atari游戏设定标准进化策略。摘自：第27届国际人工智能联合会议记录，第1419-1426页（2018）
[18] Volz，V.、Schrum，J.、Liu，J.，Lucas，S.M.、Smith，A.、Risi，S.：深层卷积生成对抗网络潜在空间中的进化马里奥能级。摘自：《遗传与进化计算会议论文集》，第221-228页（2018）
[19] Tanabe，T.、Fukuchi，K.、Sakuma，J.、Akimoto，Y.：愤怒鸟类的水平生成，具有连续VAE和潜在变量进化。摘自：《遗传与进化计算会议论文集》，第1052-1060页（2021年）
[20] 野村，M。；渡边，S。；Akimoto，Y。；小崎，Y。；Onishi，M.，超参数优化的温启动CMA-ES，Proc。AAAI Conf.Artif.公司。智力。，35, 10, 9188-9196 (2021)
[21] Loshchilov，I.，Schoenauer，M.，Sebag，M.：自适应代理辅助协方差矩阵适应进化策略。摘自：《第十四届遗传与进化计算年会论文集》，第321-328页（2012年）
[22] Jin，Y.，进化计算中适应度近似的综合综述，Soft。计算。，9, 1, 3-12 (2005) ·doi:10.1007/s00500-003-0328-5
[23] Pitra，Z.，Hanuš，M.，Koza，J.，Tumpach，J..，Holeňa，M.：代理辅助CMA进化策略中模型及其进化控制之间的相互作用。摘自：《遗传与进化计算会议论文集》，第528-536页（2021年）
[24] Hansen，N.：全球代孕辅助CMA-ES。收录于《遗传与进化计算会议论文集》，第664-672页（2019）
[25] Akimoto，Y.，Shimizu，T.，Yamaguchi，T.：用于多保真优化的自适应目标选择。摘自：《遗传与进化计算会议论文集》，第880-888页（2019年）
[26] Miyagi，A.、Fukuchi，K.、Sakuma，J.、Akimoto，Y.：最小黑盒连续优化的自适应场景子集选择。摘自：《遗传与进化计算会议论文集》，第697-705页（2021年）
[27] Miyagi，A.、Fukuchi，K.、Sakuma，J.、Akimoto，Y.：使用具有最坏情况排序近似的cma-es进行黑盒最小最大连续优化。摘自：《遗传与进化计算会议论文集》，第823-831页（2022年）
[28] Akimoto，Y.，Sakamoto，N.，Ohtani，M.：先验和后验约束下的多精度优化方法及其在柔度最小化中的应用。摘自：Nature-PPSN XVI的并行问题解决，第81-94页（2020年）
[29] Miyagi，A.、Akimoto，Y.、Yamamoto，H.：地质统计不确定性下的井位优化。摘自：《遗传与进化计算会议论文集》，第1284-1292页（2019年）
[30] Jin，Y.，《代理辅助进化计算：最新进展和未来挑战》，Swarm Evol。计算。，1, 2, 61-70 (2011) ·doi:10.1016/j.swevo.2011.05.001
[31] Kayhani，A.，Arnold，D.V.：代理模型辅助设计（1+1）-es.In:Parallel Problem Solving from Nature-PPSN XV，pp.16-28（2018）
[32] Yang，J.，Arnold，D.V.：代理模型帮助（1+1）-es增加了对模型的利用。在：《遗传与进化计算会议论文集》，第727-735页（2019）
[33] Ollivier，Y。；阿诺德，L。；Auger，A。；Hansen，N.，《信息几何优化算法：基于不变性原理的统一图像》，J.Mach。学习。第18、1564-628号决议（2017年）·Zbl 1433.90196号
[34] Hajek，B.，漂移分析和应用程序隐含的撞击时间和占用时间界限，Adv.Appl。概率。，14, 3, 502-525 (1982) ·Zbl 0495.60094号 ·doi:10.2307/1426671
[35] Devroye，L.，非均匀随机变量生成（1986），纽约：Springer，纽约·Zbl 0593.65005号 ·doi:10.1007/978-1-4613-8643-8
[36] Akimoto，Y。；Auger，A。；Hansen，N.，《证明自适应随机算法几何收敛性的规范方法》，《随机过程应用》。，145, 269-307 (2022) ·兹比尔1485.90128 ·doi:10.1016/j.spa.2021.12.005
[37] Arratia，R。；Gordon，L.，二项分布大偏差教程，布尔。数学。《生物学》，51，1，125-131（1989）·Zbl 0663.60028号 ·doi:10.1016/S0092-8240（89）80052-7
[38] Stanica，P.，二项式系数的良好上界和下界，J.不等式。纯应用程序。数学。，2, 3, 30 (2001) ·Zbl 0987.0505号
[39] Akimoto，Y.、Nagata，Y.，Ono，I.、Kobayashi，S.：CMA进化策略和自然进化策略之间的双向关系。摘自：《自然中的并行问题解决》，PPSN XI，第154-163页（2010）
[40] Harville，DA，《从统计学家的角度看矩阵代数》（1998），纽约：Springer，纽约
[41] Ros，R.，Hansen，N.：CMA-ES中实现线性时间和空间复杂性的简单修改。摘自：《第十届平行问题解决国际会议论文集》，摘自Nature-PPSN X，第296-305页（2008）
[42] Akimoto，Y。；永田，Y。；小野，I。；Kobayashi，S.，从信息几何角度看CMA-ES的理论基础，算法，64，4，698-716（2012）·Zbl 1314.62091号 ·doi:10.1007/s00453-011-9564-8
[43] Akimoto，Y.，Auger，A.，Hansen，N.：基于比较的高维自然梯度优化。载于：《2014年遗传与进化计算年会论文集》，第373-380页（2014）
[44] Akimoto，Y.，Ollivier，Y.：信息几何优化的目标改进。摘自：第十二届遗传算法基础研讨会论文集XII。FOGA XII’13，第1-10页（2013年）·Zbl 1369.65076号
[45] Akimoto，Y.：单调凸二次复合函数的自然梯度算法分析。摘自：《第十四届遗传与进化计算年会论文集》，第1293-1300页（2012）
[46] 内田，K。；白川方明，S。；Akimoto，Y.，《凸二次函数上各向同性高斯分布信息几何优化的有限样本分析》，IEEE Trans。进化。计算。，24, 6, 1035-1049 (2020) ·doi:10.1109/TEVC.2019.2917709
[47] 莱曼，EL；Casella，G.，《点估计理论》（2006），纽约：Springer，纽约
[48] Magnus，JR，正态变量中二次型乘积的矩，Stat.Neerl。，32, 4, 201-210 (1978) ·Zbl 0406.62031号 ·doi:10.1111/j.1467-9574.1978.tb01399.x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。