×
李振华;张庆福

变异矩阵自适应的可变度量进化策略。 （英语） Zbl 1475.68480号

信息科学。 541, 136-151 (2020).
摘要：协方差矩阵自适应进化策略（CMA-ES）是最成功的进化算法之一。CMA-ES通过演化一个完整的协方差矩阵来增量学习可变度量。然而，它承受着很高的计算负载。在本文中，我们提出了两种有效的CMA-ES变体，称为变异矩阵自适应（MMA-ES）和指数MMA-ES（xMMA-ES。这些变量是通过对CMA-ES中协方差矩阵的更新进行一阶近似得到的。这两种变量避免了计算成本高昂的矩阵分解，同时保持了CMA-ES更新方案的简单性。我们分析了MMA-ES和xMMA-ES的性质以及与进化策略的其他变体的联系。我们对所提算法的行为和性能进行了实验研究。xMMA-ES和MMA-ES的表现通常优于CMA-ES或与CMA-ES竞争。我们已经在BBOB基准上使用BiPop重启策略调查了MMA-ES性能。实验结果验证了所提算法的性能。

MSC公司：

68瓦50 进化算法、遗传算法（计算方面）
68T05型 人工智能中的学习和自适应系统
90 C59 数学规划中的近似方法和启发式

关键词：

进化策略;变异矩阵自适应;可变度量学习;进化路径

软件：

CMA-ES公司
PDF格式BibTeX公司 XML格式引用
\textit{Z.Li}和\textit{Q.Zhang}，信息科学。541、136--151（2020；Zbl 1475.68480）
全文： 内政部

参考文献：

[1] Beyer，H.-G。；Schwefel，H.-P.，《进化战略——综合介绍》，《自然计算》。，1, 3-52 (2002) ·Zbl 1014.68134号
[2] 振华，L。；Xi，L.等人。；Z.庆福。；Liu，H.，《持续优化的进化策略：最新技术概览》，Swarm Evol。计算。（2020年），提前进入
[3] Hansen，N。；Ostermier，A.，《进化策略中的完全错乱的自我适应》，Evol。计算。，9, 159-195 (2001)
[4] N.Hansen，《在BBOB-2009功能试验台上对双种群CMA-ES进行基准测试》，载于：《遗传与进化计算会议论文集》，2009年，第2389-2396页。
[5] N.Hansen，R.Ros，《在bbob-2010无噪声试验台上对加权负协方差矩阵更新进行基准测试》，载于：《遗传与进化计算会议的进程》，2010年，第1673-1680页。
[6] Beyer，H.-G.，基于信息几何范式的进化算法的收敛分析，Evol。计算。，22, 679-709 (2014)
[7] Hansen，N。；穆勒，S.D。；Koumoutsakos，P.，利用协方差矩阵自适应（CMA-ES）降低非自治进化策略的时间复杂性，Evol。计算。，11, 1-18 (2003)
[8] N.Hansen，《CMA进化策略：比较评论》，载于：走向新的进化计算，Springer，2006年，第75-102页。
[9] 萨托普，T。；Hansen，N。；Igel，C.，可变度量进化策略的有效协方差矩阵更新，马赫数。学习。，75, 167-197 (2009) ·兹比尔1470.68183
[10] Z.Li，Q.Zhang，使用辅助进化路径对Cholesky CMA-ES进行有效的1级更新，见：《进化计算大会会议记录》，2017年，第1777-1784页。
[11] 克劳斯，O。；Igel，C.，进化策略的更有效秩一协方差矩阵更新，（ACM遗传算法基础会议进展（2015）），129-136·Zbl 1360.62273号
[12] 拜尔，H.-G。；Sendhoff，B.，简化协方差矩阵自适应进化策略，IEEE Trans。埃沃。计算。，21 (2017)
[13] Hansen，N.，《CMA进化策略：教程》，CoRR（2016）
[14] H.-G.Beyer，B.Sendhoff，卷积矩阵自适应重温CMSA进化策略，《自然中解决并行问题的过程》（2008）123-132。
[15] Hansen，N。；Auger，A.，《连续随机搜索的原则设计：从理论到实践》（Metaeuristics设计的理论和原则方法（2014），Springer），145-180·Zbl 1328.68195号
[16] N.Hansen，《自适应编码：如何使搜索坐标系保持不变》，载于：《自然中解决并行问题的过程》，2008年，第205-214页。
[17] O.Krause，T.Glasmachers，《具有乘法协方差矩阵更新的CMA-ES》，载于：《遗传与进化计算会议的进程》，2015年，第281-288页。
[18] Y.Akimoto，Y.Nagata，I.Ono，S.Kobayashi，CMA进化策略和自然进化策略之间的双向关系，摘自：《从自然中解决并行问题的过程》，Springer-Verlag，2010年，第154-163页。
[19] Absil，P.-A.公司。；Mahony，R。；Sepulchre，R.，矩阵流形上的优化算法（2007），普林斯顿大学出版社：普林斯顿大学出版，美国新泽西州普林斯顿·Zbl 1147.65043号
[20] Beyer，H.-G。；Hellwig，M.，椭球模型上累积步长适应的动力学，Evol。计算。，24, 25-57 (2016)
[21] C.Igel，T.Suttorp，N.Hansen，进化策略的计算效率协方差矩阵更新和A（1+1）-CMA，收录于：遗传与进化计算会议的进程，2006年，第453-460页。
[22] I.Loshchilov，T.Glasmachers，H.-G.Beyer，《大规模黑盒优化的有限内存矩阵自适应》，arXiv预印本arXiv:1705.06693（2017）。
[23] A.Auger，N.Hansen，《随着人口规模的增加重新启动CMA进化策略》，载于：《进化计算大会会议记录》，2005年第3卷，第1769-1776页。
[24] Hansen，N。；芬克，S。；Auger，A.，Real-parameter black-box optimization benchmarking 2010:无声函数定义（2010），INRIA，（技术报告）
[25] N.Hansen，S.Kern，评估多模态测试函数的CMA进化策略，收录于：《自然中解决并行问题的程序》，2004年，第282-291页。
[26] N.Hansen，A.Auger，R.Ros，S.Finck，P.Pošík，比较黑盒优化基准BBOB-2009中31种算法的结果，见：遗传与进化计算会议的进程，2010年，第1689-1696页。
[27] G.A.Jastrebski，D.V.Arnold，《通过主动协方差矩阵适应改进进化策略》，载于：《进化计算大会会议记录》，2006年，第2814-2821页。
[28] R.Ros，N.Hansen，《CMA-ES中实现线性时间和空间复杂性的简单修改》，载于：《自然中解决并行问题的程序》，2008年，第296-305页。
[29] 李，Z。；Zhang，Q.，《大规模黑盒优化的简单而有效的进化策略》，IEEE Trans。埃沃。计算。，22, 637-646 (2018)
[30] 李，Z。；张，Q。；林，X。；Zhen，H.-L.，用于大规模黑盒优化的快速协方差矩阵自适应，IEEE Trans。赛博。，50, 2073-2083 (2020)
[31] Z.Li，J.Deng，W.Gao，Q.Zhang，H.Liu，高维连续局部搜索的高效精英协方差矩阵自适应，2019年IEEE进化计算大会，2019，第936-943页。
[32] 拉托雷，A。；Muelas，S。；Peña，J.-M.，《大规模全局优化器的综合比较》，《信息科学》。，316, 517-549 (2015)
[33] 杨，Z。；Tang，K。；Yao，X.，使用合作协同进化的大规模进化优化，信息科学。，178, 2985-2999 (2008) ·Zbl 1283.65064号
[34] 曹，G。；巴切加，L.R。；Bouman，C.A.，高维信号协方差估计和分析的稀疏矩阵变换，IEEE Trans。图像处理。，20, 625-640 (2011) ·兹比尔1372.94326
[35] Golub，G.H。；Van Loan，C.F.，《矩阵计算》（1996），约翰·霍普金斯大学出版社：约翰·霍普金大学出版社，美国马里兰州巴尔的摩·Zbl 0865.65009号
[36] 桑格，T.D.，单层线性前馈神经网络中的最优无监督学习，神经网络。，2, 459-473 (1989)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。