马凯文;尼古拉斯五世·萨希尼迪斯。;斯里坎斯·拉贾戈帕兰;萨蒂亚吉斯·阿马兰;斯科特·J·伯里。 无导数优化中的分解。 （英语） Zbl 1478.90146号 J.全球。最佳方案。 81，第2号，269-292（2021）. 摘要：本文提出了一种新的无导数优化（DFO）算法分解框架。我们的框架大大扩展了当前DFO求解器的范围，使其适用于大规模问题。我们表明，所提出的框架与优势化方法密切相关，优势化方法通常用于提高基于导数的约束优化问题的可行性搜索算法的效率。我们在全局搜索算法的背景下分析了框架的收敛行为。开发了一种实用的实现方法，并以基于全局模型的求解器稳定的分支拟合噪声优化（SNOBFIT）为例[W.Huyer先生和A.纽梅尔，“通过分支和拟合进行SNOBFIT稳态噪声优化”，ACM Trans。数学。柔和。35, 1–25 (2008;doi:10.1145/1377612.1377613)]. 为了研究分解框架的性能，我们对300多个不同维度和复杂性的测试问题进行了广泛的计算研究。我们观察到，大部分测试问题的解决方案质量都有了显著提高。无论问题的凸性和光滑性如何，在对超过90%的测试问题进行2500次函数评估后，分解都会使目标函数提高50%以上，其中超过75个变量。 MSC公司： 90 C56 无导数方法和使用广义导数的方法 关键词：无导数优化;优势化;SNOBFIT公司 软件：DFO公司;应用程序包;SNOBFIT公司;多最小值;最大连续性;NEWUOA公司 PDF格式BibTeX公司 XML格式引用 \textit{K.Ma}等人，J.Glob。最佳方案。81，第2号，269--292（2021；Zbl 1478.90146） 全文： 内政部 参考文献： [1] 马萨诸塞州艾布拉姆森；Audet，C.，网格自适应直接搜索到二阶驻点的收敛性，SIAM J.Optim。，17, 606-609 (2006) ·Zbl 1174.90877号 ·doi:10.1137/050638382 [2] Audet，C。；Dennis，JE Jr，用于约束优化的网格自适应直接搜索算法，SIAM J.Optim。，17, 188-217 (2006) ·Zbl 1112.90078号 ·数字对象标识代码：10.1137/040603371 [3] Audet，C。；小JE丹尼斯；Le Digabel，S.，网格自适应直接搜索算法的并行空间分解，SIAM J.Optim。，19, 1150-1170 (2008) ·Zbl 1180.90363号 ·doi:10.1137/070707518 [4] 民主党Bertsekas；Tsitsiklis，JN，《并行和分布式计算：数值方法》（1989年），新泽西州：普伦蒂斯·霍尔-恩格尔伍德悬崖，新泽西·Zbl 0743.65107号 [5] Butnariu，D。；Davidi，R。；赫曼，GT；Kazantsev，IG，凸可行性和优化问题的一类投影方法在可和扰动下的稳定收敛行为，IEEE J.Sel。顶部。信号处理。，1, 4, 540-547 (2007) ·doi:10.1109/JSTSP.2007.910263 [6] Censor，Y.，弱优势和强优势：在可行性寻求和最小化之间，Analee Universitatii“Ovidius”Constanta Seria Matematica，23，3，41-54（2015）·Zbl 1349.90675号 ·doi:10.1515/auom-2015-0046 [7] Censor，Y.，Garduño，E.，Helou，E.S.，Herman，G.T.：无导数优化：原理和算法。arXiv预印arXiv:1908.10100（2019）·Zbl 1494.65040号 [8] Censor，Y。；希顿，H。；Schulte，R.，无导数优化与分量扰动，数值。算法，80，4，1219-1240（2019）·Zbl 07042047号 ·doi:10.1007/s11075-018-0524-0 [9] Censor，Y。；Zaslavski，AJ，动态字符串平均投影方法的收敛性和扰动恢复性，计算。最佳方案。申请。，54, 1, 65-76 (2013) ·兹比尔1285.90079 ·doi:10.1007/s10589-012-9491-x [10] Censor，Y。；Zaslavski，AJ，通过优化可行的搜索投影方法实现严格的Fejér单调性，J.Optim。理论应用。，165, 1, 172-187 (2015) ·Zbl 1322.90063号 ·doi:10.1007/s10957-014-0591-x [11] 连接器，AR；古尔德，N。；Lescrenier，M。；卫生间，PL；戈麦斯，S。；Hennart，J-P，用于部分可分离优化的多面格式的性能，优化和数值分析进展，79-96（1994），多德雷赫特：Kluwer学术出版社，多德雷赫特·Zbl 0809.90117号 ·doi:10.1007/978-94-015-8330-56 [12] 连接器，AR；Scheinberg，K。；卫生间，PL；医学博士Buhmann；Iserles，A.，《关于无约束优化无导数方法的收敛性，逼近理论与优化》，向M.J.D.Powell致敬，83-108（1996），剑桥：剑桥大学出版社，剑桥·Zbl 1042.90617号 [13] 连接器，AR；Scheinberg，K。；Vicente，LN，广义无导数信赖域算法对一阶和二阶临界点的全局收敛性，SIAM J.Optim。，20, 387-415 (2009) ·兹比尔1187.65062 ·数字对象标识代码：10.1137/060673424 [14] 连接器，AR；Scheinberg，K。；Vicente，LN，《无导数优化导论》（2009），费城：SIAM，费城·Zbl 1163.49001号 ·数字对象标识代码：10.1137/1.9780898718768 [15] Custódio，A.、Scheinberg，K.、Vicente，法律公告：无导数优化的方法和软件。摘自：《SIAM工程应用优化进展与趋势杂志》，第495-506页（2017年） [16] Davidi，R。；赫曼，GT；Censor，Y.，《扰动抑制块迭代投影法及其在投影图像重建中的应用》，国际翻译。操作。第16、4、505-524号决议（2009年）·兹比尔1191.94013 ·文件编号：10.1111/j.1475-3995.2009.00695.x [17] 小JE丹尼斯；Torczon，VJ，并行机上的直接搜索方法，SIAM J.Optim。，1, 448-474 (1991) ·Zbl 0754.90051号 ·doi:10.1137/0801027 [18] 费里斯，MC；Mangasarian，OL，平行变量分布，SIAM J.Optim。，4, 4, 815-832 (1994) ·Zbl 0820.90098号 ·doi:10.1137/0804047 [19] Frommer，A。；Renaut，RA，并行空间分解方法的统一方法，J.Compute。申请。数学。，110, 1, 205-223 (1999) ·Zbl 0936.65071号 ·doi:10.1016/S0377-0427（99）00235-6 [20] Fukushima，M.，无约束优化中的并行变量变换，SIAM J.Optim。，8, 3, 658-672 (1998) ·Zbl 0913.90243号 ·doi:10.1137/S1052623496309879 [21] 加西亚·帕洛马雷斯，UM；加西亚·乌雷阿，IJ；Rodríguez-Hernández，PS，关于箱约束优化的顺序和并行非单调无导数算法，Optim。方法软件。，28, 6, 1233-1261 (2013) ·Zbl 1278.65088号 ·doi:10.1080/10556788.2012.693926 [22] 加西亚·帕洛马雷斯，UM；Rodríguez，JF，无约束极小化的新序列和并行无导数算法，SIAM J.Optim。，13, 1, 79-96 (2002) ·Zbl 1049.90133号 ·doi:10.137/S105262340030706 [23] 加杜尼奥，E。；Herman，GT，ML-EM算法的优化，IEEE Trans。编号。科学。，61, 1, 162-172 (2013) ·doi:10.1109/TNS.2013.2283529 [24] 吉尔摩，P。；Kelley，CT，用于优化具有许多局部极小值的函数的隐式滤波算法，SIAM J.Optim。，5, 269-285 (1995) ·Zbl 0828.65064号 ·数字对象标识代码：10.1137/0805015 [25] 全球图书馆。http://www.gamsworld.org/global/globallib.htm [26] 格雷，G。；科尔达，T。；销售额，K。；Young，M.，优化跨膜蛋白结构测定的经验评分函数，INFORMS J.Comput。，16, 406-418 (2004) ·Zbl 1239.90115号 ·doi:10.1287/ijoc.1040.0102 [27] 灰色，佐治亚州；Kolda，TG，算法856:APPSPACK 4.0：无导数优化的并行模式搜索，ACM Trans。数学。软质。，32, 485-507 (2006) ·Zbl 1230.90196号 ·数字对象标识代码：10.1145/1163641.1163647 [28] 黑尔，W。；Nutini，J。；Tesfamariam，S.，《结构工程中非梯度优化方法的调查》，高级工程软件。，59, 19-28 (2013) ·doi:10.1016/j.advengsoft.2013.03.001 [29] RE海耶斯；佛罗里达州伯特兰；Audet，C。；Kolaczkowski，ST，《催化燃烧动力学：使用直接搜索算法从点火曲线评估动力学参数》，Can。化学杂志。工程，81，1192-1199（2003）·doi:10.1002/cjce.5450810608 [30] 赫曼，GT；加杜尼奥，E。；Davidi，R。；Censor，Y.，《高级化：医学物理的优化启发式》，医学物理。，39, 9, 5532-5546 (2012) ·数字对象标识代码：10.1118/1.4745566 [31] 霍兰德，JH，《自然和人工系统的适应》（1975），纽约：密歇根大学出版社，纽约·Zbl 0317.68006号 [32] 侯赛纳巴迪，AAR；瓦希迪，J。；塞米，B。；阿拉斯加州桑加亚；Elhosny，M.，用于解决开放式车间调度问题的扩展遗传算法，Soft。计算。，23, 13, 5099-5116 (2019) ·doi:10.1007/s00500-018-3177-y [33] PD霍夫；科尔达，TG；Torczon，VJ，非线性优化的异步并行模式搜索，SIAM J.Sci。计算。，23, 134-156 (2001) ·Zbl 0990.65067号 ·doi:10.1137/S1064827599365823 [34] 胡，X。；He，F。；Chen，W。；Zhang，J.，大规模优化中具有快速相互依赖性识别的合作协同进化，信息科学。，381, 142-160 (2017) ·doi:10.1016/j.ins.2016.11.013 [35] Huyer，W。；Neumaier，A.，通过多级坐标搜索进行全局优化，J.Global Optim。，14, 331-355 (1999) ·Zbl 0956.90045号 ·doi:10.1023/A:1008382309369 [36] Huyer，W。；Neumaier，A.，SNOBFIT-通过分支和拟合进行稳定噪声优化，ACM Trans。数学。软质。，35, 1-25 (2008) ·doi:10.1145/1377612.1377613 [37] Jones博士；Perttunen，CD；Stuckman，BE，无利普希茨常数的利普希兹优化，J.Optim。理论应用。，79, 157-181 (1993) ·Zbl 0796.49032号 ·doi:10.1007/BF00941892 [38] Kennedy，J.，Eberhart，R.：粒子群优化。摘自：IEEE神经网络国际会议论文集，第1942-1948页。皮斯卡塔韦，新泽西州，美国（1995年） [39] 柯克帕特里克，S。；盖拉特，CD；Vecchi，MP，《模拟退火优化》，《科学》，220671-680（1983）·Zbl 1225.90162号 ·doi:10.1126/science.220.4598.671 [40] 左前Kozachenko；Leonenko，NN，随机向量熵的样本估计，问题信息传输。，23, 2, 95-101 (1987) ·Zbl 0633.62005号 [41] 刘，C。；Tseng，C.，大规模最小化问题的空间分解最小化方法，计算机。数学。申请。，37, 7, 73-88 (1999) ·Zbl 0931.90052号 ·doi:10.1016/S0898-1221（99）00088-7 [42] 刘，C。；Tseng，C.，大规模最小化问题的并行同步和异步空间分解算法，计算。最佳方案。申请。，17, 1, 85-107 (2000) ·Zbl 0997.90047号 ·doi:10.1023/A:1008731209637 [43] Lukšan，L.，Vlček，J.：非光滑无约束和线性约束优化的测试问题。捷克共和国科学院计算机科学研究所技术报告（2000年）。http://www3.cs.cas.cz/ics/reports/v798-00.ps [44] Mangasarian，OL，无约束优化中的并行梯度分布，SIAM J.Control Optim。，33, 6, 1916-1925 (1995) ·Zbl 0843.90111号 ·doi:10.1137/S0363012993250220 [45] McKay，医学博士；RJ贝克曼；Conover，WJ，《计算机代码输出分析中选择输入变量值的三种方法的比较》，《技术计量学》，21，239-245（1979）·Zbl 0415.62011号 [46] 梅，Y。；奥米德瓦尔，明尼苏达州；李，X。；Yao，X.，无约束大规模黑盒优化的竞争性分治算法，ACM Trans。数学。软质。，42, 2, 13 (2016) ·doi:10.1145/2791291 [47] 内尔德，JA；Mead，R.，函数最小化的单纯形方法，计算。J.，7308-313（1965）·Zbl 0229.65053号 ·doi:10.1093/comjnl/7.4.308 [48] Nesterov，Y.，最小化复合目标函数的梯度方法，数学规划，B辑，140，125-161（2013）·Zbl 1287.90067号 ·doi:10.1007/s10107-012-0629-5 [49] 奥米德瓦尔，明尼苏达州；杨，M。；梅，Y。；李，X。；Yao，X.，Dg2：用于大规模黑盒优化的更快、更准确的差分分组，IEEE Trans。进化。计算。，21, 6, 929-942 (2017) ·doi:10.1109/TEVC.2017.2694221 [50] 鲍威尔，MJD；Di Pillo，G。；Roma，M.，无导数无约束优化的NEWUOA软件，大尺度非线性优化，255-297（2006），纽约：Springer，纽约·Zbl 1108.90005号 ·数字对象标识代码：10.1007/0-387-30065-1_16 [51] 普林斯顿图书馆。http://www.gamsworld.org/performance/princetonlib/princethonlib.htm [52] Richtarik，P.，相对尺度下凸最小化的改进算法，SIAM J.Optim。，21, 1141-1167 (2011) ·Zbl 1231.90313号 ·doi:10.1137/090747142 [53] 里奥斯，LM；Sahinidis，NV，《无导数优化：算法综述和软件实现比较》，J.Global Optim。，56, 1247-1293 (2013) ·Zbl 1272.90116号 ·doi:10.1007/s10898-012-9951-y [54] Sun，Y.，Kirley，M.，Halgamuge，S.K.：具有直接和间接变量交互作用的大规模全局优化的扩展差分分组。摘自：《2015年遗传和进化计算年会论文集》，第313-320页。ACM（2015） [55] VJ，Torczon，《关于多向搜索算法的收敛性》，SIAM J.Optim。，123-145（1991年）·Zbl 0752.90076号 ·数字对象标识代码：10.1137/0801010 [56] VJ，Torczon，关于模式搜索算法的收敛性，SIAM J.Optim。，7, 1-25 (1997) ·Zbl 0884.65053号 ·doi:10.1137/S1052623493250780 [57] 山川，E。；Fukushima，M.，测试并行变量转换，计算。最佳方案。申请。，13, 1-3, 253-274 (1999) ·Zbl 1040.90545号 ·doi:10.1023/A:1008629511432 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。