×
马瑞康;李，潘;郭新如;张浩;张强;李宁

一种用于高性能全局搜索的多起点梯度组合方法。 （英语） Zbl 07852519号

亚洲-太平洋。《运营杂志》。物件。 40，第5号，文章ID 2340013，13 p.（2023）.
摘要：梯度下降法是修改神经网络梯度参数的最常用方法之一，但在训练过程中可能会陷入局部最优。众所周知，遗传算法可以通过全局搜索找到全局最优解，但它可能效率不高，总是需要大量的运行时间。这两种方法在运行时间和成本上是互补的，这启发了我们考虑梯度下降和遗传算法的结合。本文提出了一种基于遗传算法和梯度下降的多阶段组合优化方法。首先，通过遗传算法选择初始点。然后采用多阶段和梯度下降相结合的方法，可以快速实现全局搜索，以相对较少的运行时间和成本提高性能。与传统的遗传算法和梯度下降法相比，该算法在高效计算全局最优解方面具有更好的性能。

MSC公司：

90立方厘米 数学编程

关键词：

遗传算法;全局最优;多部分方法
PDF格式BibTeX公司 XML格式引用
\textit{R.Ma}等人，亚洲太平洋。《运营杂志》。第40号决议，第5号，文章编号2340013，13页（2023；Zbl 07852519）
全文： 内政部

参考文献：

[1] Bergstra，J和Bengio，Y（2012年）。超参数优化的随机搜索。机器学习研究杂志，13（1），281-305·Zbl 1283.68282号
[2] Cai，Z，He，Z，Guan，X和Li，Y（2016）。用于防止社交网络中敏感信息推理攻击的集体数据加密。IEEE可靠与安全计算汇刊，15（4），577-590。
[3] 蔡，Z和郑，X（2018）。智能网络物理系统中数据上传的专用高效机制。IEEE网络科学与工程汇刊，7（2），766-775。
[4] Chelouah，R和Siarry，P（2000年）。设计用于多峰函数全局优化的连续遗传算法。启发式杂志，6（2），191-213·Zbl 0969.68641号
[5] Chin，F，Ting，HF和Zhang，Y（2010年）。二维装箱的一维有界算法。国际计算机科学基础杂志，21（6），875-891·Zbl 1206.68371号
[6] D’Angelo，G（2021）。GGA：一种基于梯度的局部搜索的改进遗传算法，用于解决约束优化问题。信息科学（：）《国际期刊》，547（1），136-162·兹比尔1475.68477
[7] Duan，J，Li，J，Li，SE和Zhao，L（2022）。离散时间静态输出反馈的梯度下降优化景观。2022年美国控制会议，第2932-2937页。电气与电子工程师协会。
[8] Fleischer，R，Ge，Q，Zhu，H，Jiang，T和Zhang，Y（2006）。近似最小权重弱顶点覆盖。理论计算机科学，363（1），99-105·Zbl 1110.68008号
[9] Fogarty，TC（1988年）。改变遗传算法中的变异概率。程序中\（3）第三版《国际遗传算法》，第104-109页。摩根·考夫曼。
[10] Grefenstette，JJ（2002）。动态适应度环境中的进化性：一种遗传算法方法。程序中\（1999）进化计算大会-CEC（99（\）目录。编号\（99\）TH\（8406）\），第3卷，第2031-2038页。电气与电子工程师协会。
[11] Hua，L（2011）。基于免疫遗传算法和梯度下降的RBF神经网络组合训练算法。计算机与现代化，1（3），28。
[12] LaValle，SM，Branicky，MS和Lindemann，SR（2004）。关于经典网格搜索和概率路线图之间的关系。《国际机器人研究杂志》，23（7-8），673-692。
[13] Lesellier，E和Tchapla，A（1993）。采用四级梯度和双检测系统的HPLC对塑料添加剂复杂混合物的分离进行顺序优化。色谱法，36（1），135-143。
[14] Martí，R（2006）。多部分方法。国际·Zbl 1102.90383号
[15] Martí，R，Resende，M和Ribeiro，CC（2013）。组合优化的多部分方法。欧洲运筹学杂志，226（1），1-8·Zbl 1292.90257号
[16] Rajakumar，BR和George，A（2012）。一种新的遗传算法自适应变异技术\（2012年）IEEE Int.Conf.Computational Intelligence and Computing Research，第1-7页。电气与电子工程师协会。
[17] 鲁道夫，G（1994）。典型遗传算法的收敛性分析。IEEE神经网络汇刊，5（1），96。
[18] Tavakkoli-Moghaddam，R，Safari，J和Sassani，F（2008）。采用遗传算法选择冗余策略的串并联系统可靠性优化。可靠性工程与系统安全，93（4），550-556。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。