×
Ana M.费雷罗。；加西亚·罗德里格斯、何塞·安东尼奥；卡洛斯·巴斯克斯；科斯塔·席尔瓦，e。；A.科雷亚。

GPU上全局优化的并行两阶段方法。 （英语） 兹伯利07316568

数学。计算。模拟。 156, 67-90 (2019).
摘要：开发通用全局优化算法是一项艰巨的任务，特别是对于高维中具有大量局部极小值的函数。随机元启发式算法是解决此类问题的唯一选择，因为它们的目标是保证全局最优。然而，这些算法的主要缺点是，它们需要大量的函数求值才能跳过/放弃局部最优解，因此显示出较低的收敛阶，因此计算成本较高。此外，随着维数的增加，情况可能会变得更糟。通常，局部极小值的数量会大大增加，以及函数求值的计算成本，从而增加了覆盖整个搜索空间的难度。另一方面，确定性局部优化方法显示出更快的收敛速度，需要更少的函数求值，因此涉及更低的计算成本，尽管它们可能陷入局部极小。获得更快的全局优化算法的一种方法是混合使用局部和全局方法，以便从局部方法的更高收敛速度中获益，同时保持全局近似特性。另一种加速全局优化算法的方法是使用高效的并行硬件架构。如今，一个很好的替代方案是利用图形处理单元（GPU），这是一种大规模并行处理器，已经成为高性能计算的廉价替代品。在这项工作中，提出了一些混合两阶段优化方法在GPU上的并行实现，这些方法将元启发式模拟退火算法与不同的局部优化方法（即共轭梯度算法和Nelder-Mead方法的一个版本）相结合来寻找全局最小值。针对一组众所周知的测试问题，分析了上述混合方法的并行版本的性能。结果表明，GPU是并行实现两阶段全局优化方法的有效替代方案。

引用于2文件

MSC公司：

90倍X 运筹学、数学规划
90立方厘米 数学编程
00亿Bxx 会议记录和文章集

关键词：

全局优化；盆地跳跃；共轭梯度法；并行化；GPU

软件：

LBFGS-B型；PS温；L-BFGS公司；西蒙；ASA公司；DFSA公司；fminsearch公司；DDFSA公司
PDF格式BibTeX公司 XML格式引用
\textit{A.M.Ferreiro}等人，《数学》。计算。模拟。156、67-90（2019年；Zbl 07316568）
全文： 内政部

参考文献：

[1] 阿尔茨，E。；van Laarhoven，P.，《统计冷却：组合优化问题的一般方法》，Philips J.Res.，40，193-226（1985）
[2] Addis，B.，使用局部搜索进行全局优化（2004），Universityádegli studi di Firenze，（博士论文）
[3] 亚的斯亚贝巴。；Locatelli，M。；Schoen，F.，全局优化的局部最优平滑，Optim。方法软件。，20, 417-437 (2005) ·Zbl 1134.90035号
[4] Armard，P.，修改Wolfe线搜索规则以满足Polak-Ribière-Polyak共轭梯度法中的下降条件，J.Optim。理论应用。，2, 287-305 (2007) ·Zbl 1145.90070
[5] 布雷曼，L。；Cutler，A.，《全局优化的确定性算法》，数学。程序。，58, 179-199 (1993) ·Zbl 0807.90103号
[6] Broyden，C.G.，一类双秩最小化算法的收敛性：2。新算法，J.Inst.Math。申请。，6, 222-231 (1970) ·Zbl 0207.17401号
[7] 伯德·R·H。；卢，P。；Nocedal，J。；Zhu，C.，边界约束优化的有限内存算法，SIAM J.Sci。计算。，16, 1190-1208 (1995) ·Zbl 0836.65080号
[8] 科雷亚，A。；马蒂亚斯，J。；梅斯特雷，P。；Serdio，C.，解决非线性约束问题的无导数优化和滤波方法，国际计算杂志。数学。，86, 10-11 (2009) ·Zbl 1177.65085号
[9] F.Delbos，L.Dumas，E.Echague，基于稀疏网格代理模型的黑盒昂贵函数全局优化，收录于：ECMOR XIV-第14届欧洲采油数学会议论文集，2014年。；F.Delbos，L.Dumas，E.Echague，基于稀疏网格代理模型的黑盒昂贵函数全局优化，收录于：ECMOR XIV-第14届欧洲采油数学会议论文集，2014年。
[10] 丹尼斯·J。；Torczon，V.，并行机上的直接搜索方法，SIAM J.Optim。，1, 448-474 (1991) ·Zbl 0754.90051号
[11] 风扇，S.S。；Zahara，E.，《用于无约束优化的混合单纯形搜索和粒子群》，欧洲期刊Oper。第181号决议，第2527-548号决议（2007年）·Zbl 1121.90116号
[12] 费雷罗，A.M。；罗德里格斯，J.A.G。；洛佩斯·萨拉斯，J。；Vázquez，C.，并行模拟退火算法在GPU中的高效实现，J.Global Optim。，57, 863-890 (2013) ·Zbl 1286.90115号
[13] Fletcher，R.，可变度量算法的新方法，计算。J.，13，317-322（1970）·Zbl 0207.17402号
[14] Fletcher，R.，《实用优化方法》（第1卷：无约束优化（1980），威利出版社）·Zbl 0439.93001号
[15] 弗莱彻，R。；Reeves，C.M.，共轭梯度函数最小化，计算。J.，7149-154（1964）·Zbl 0132.11701号
[16] 高，F。；Han，L.，用自适应参数实现nelder mead单纯形算法，计算机。最佳方案。申请。，51, 1, 259-277 (2012) ·Zbl 1245.90121号
[17] Gilbert，J。；Nocedal，L.，共轭梯度优化方法的全局收敛性，SIAM J.Optim。，2, 21-42 (1992) ·兹比尔0767.90082
[18] J.Gilbert，L.Nocedal，R.Waltz，CG+，1992年，http://users.iems.northwestern.edu/nocedal/CG+.html；J.Gilbert，L.Nocedal，R.Waltz，CG+，1992年，http://users.iems.northwestern.edu/nocedal/CG+.html
[19] Goffe，W.L.，Simann：使用模拟退火的全局优化算法，研究非线性动力学。经济。，1, 3, 1-9 (1996) ·Zbl 1078.91519号
[20] Goldfarb，D.，通过变分平均推导的一系列可变度量方法，数学。公司。，24, 23-26 (1970) ·Zbl 0196.18002号
[21] Griewank，A.，全局优化的一般下降，J.Optim。理论应用。，34, 11-39 (1981) ·兹伯利0431.49036
[22] 海格，W.W。；Zhang，H.，非线性共轭梯度法综述，Pac。J.Optim。，2, 35-58 (2006) ·Zbl 1117.90048号
[23] Hedar，A.R。；Fukushima，M.，非线性无约束全局优化的混合模拟退火和直接搜索方法，Optim。方法软件。，17, 891-912 (2002) ·Zbl 1065.90081号
[24] Hedar，A。；Fukushima，M.，非线性函数全局优化的单纯形编码遗传算法，（多目标规划和目标规划，多目标规划与目标规划，软计算系列进展，第21卷（2003），Springer），135-140·Zbl 1165.90594号
[25] 赫达尔，A.-R。；Fukushima，M.，启发式模式搜索及其与非线性全局优化模拟退火的混合，Optim。方法软件。，19291-308（2004年）·Zbl 1059.90149号
[26] 胡克，R。；Jeeves，T.，《数值和统计问题的直接搜索解法》，J.Assoc.Compute。机器。，8, 212-229 (1961) ·Zbl 0111.12501号
[27] Ingber，L.，Pswarm:线性约束全局无导数优化的混合求解器，数学。计算。建模，18，29-57（1993）·Zbl 0819.90080号
[28] Ingber，L.，《自适应模拟退火（ASA）：经验教训》，《控制网络》。，25, 33-54 (1996) ·Zbl 0860.93035号
[29] Kelley，C.，使用充分减少条件检测和修复内线-中线算法中的停滞，SIAM J.Optim。，10, 43-53 (1999) ·Zbl 0962.65048号
[30] 柯克帕特里克，S。；盖拉特，C.D。；Vecchi，M.P.，《模拟退火优化》，《科学》，4598，671-680（1983）·Zbl 1225.90162号
[31] Lagarias，J。；里德，J。；Wright，M。；Wright，P.，低维Nelder-Mead单纯形方法的收敛性，SIAM J.Optim。，9, 112-147 (1998) ·Zbl 1005.90056号
[32] 李，Z。；Scheraga，H.A.，蛋白质折叠中多重最小问题的蒙特卡罗最小化方法，Proc。国家。阿卡德。科学。美国，84，6611-6615（1987）
[33] 刘博士。；Nocedal，J.，《关于大规模优化的有限内存方法》，数学。程序。B、 45、503-528（1989）·Zbl 0696.90048号
[34] 刘齐，G。；Lucidi，S。；Piccialli，V。；Sotgiu，A.，通过全局优化技术设计的磁共振装置，数学。程序。，101, 2, 339-364 (2004) ·Zbl 1058.92030号
[35] Locatelli，M.，《关于全局优化问题的多级结构》，计算。最佳方案。申请。，30, 5-22 (2005) ·Zbl 1130.90035号
[36] Locatelli，M。；Schoen，F.，（《全局优化：理论、算法和应用》，《全局优化——理论、算法与应用》，MOS-SIAM优化系列（2013），SIAM）·Zbl 1286.90003号
[37] McKinnon，K.，Nelder-Mead单纯形方法到非平稳点的收敛性，SIAM J.Optim。，9148-158（1998年）·Zbl 0962.65049号
[38] 北卡罗来纳州大都会。；罗森布鲁斯，A.W。；Rosenbluth，M.N。；出纳员，A.H。；Teller，E.，快速计算机器的状态方程计算，J.Chem。物理。，21, 1087-1092 (1953) ·Zbl 1431.65006号
[39] J.J.Moré，D.J.Thuente，Minpack-21993年，http://ftp.mcs.anl.gov/pub/MINPACK-2/; J.J.Moré，D.J.Thuente，Minpack-21993年，http://ftp.mcs.anl.gov/pub/MINPACK-2/
[40] 莫雷，J.J。；Thuente，D.J.，保证充分减少的行搜索算法，ACM Trans。数学。软件，20286-307（1994）·Zbl 0888.65072号
[41] Nelder，J.A。；Mead，R.，函数最小化的单纯形方法，计算。J.，7308-313（1965年）·Zbl 0229.65053号
[42] J.Nocedal，L-BFGS，1990年，http://users.iems.northwestern.edu/nocedal/lbfgs.html；J.Nocedal，L-BFGS，1990年，http://users.iems.northwestern.edu/nocedal/lbfgs.html
[43] Nvidia，白皮书。Nvidia下一代CUDA计算机体系结构：开普勒GK110，Nvidia，2012。；Nvidia，白皮书。NVIDIAs下一代CUDA计算机体系结构：开普勒GK110，Nvidia，2012年。
[44] Pardalos，P.M。；Romeijn，H.E.，《全局优化手册》（2002），施普林格·Zbl 0991.00017号
[45] Phelps，R.，具有lipschitz连续一阶偏导数的函数的最小化，太平洋数学杂志。，16, 1-3 (1966) ·Zbl 0202.46105号
[46] Phelps，R.，使用currys步长的梯度投影法，SIAM J.Control Optim。，24, 692-699 (1986) ·Zbl 0603.90117号
[47] Polak，E。；Ribière，G.，《关于共轭方向收敛方法的注释》，Rev.Fr.Inform。里奇。操作。，3e Anneée 16，35-43（1969）·兹标0174.48001
[48] Powell，M.，无需计算导数即可求多变量函数最小值的有效方法，Compute。J.，7155-162（1964）·Zbl 0132.11702号
[49] Pulkkinen，S.，《无约束优化方法综述：理论、实施和测试》（2008），赫尔辛基大学
[50] Salomon，R.，在基准函数坐标旋转下重新评估遗传算法的性能，生物系统，39，263-278（1995）
[51] Shanno，D.F.，函数最小化的拟牛顿方法条件，数学。公司。，24, 647-650 (1970) ·Zbl 0225.65073号
[52] 斯彭德利，W。；Hext，G.R。；Himsworth，F.R.，单纯形设计在优化和进化操作中的顺序应用，Technometrics，441-461（1962）·Zbl 0121.35603号
[53] 瓦兹，A.I.F。；Vicente，L.N.，用于约束全局优化的粒子群模式搜索方法，国际计算杂志。数学。，39, 2, 197-219 (2007) ·Zbl 1180.90252号
[54] 瓦兹，A.I.F。；Vicente，L.N.，Pswarm:线性约束全局无导数优化的混合求解器，Optim。方法软件。，24, 4-5, 669-685 (2009) ·Zbl 1177.90327号
[55] 威尔士，D.J。；Doye，J.P.K.，《Basin-Hopping的全局优化和含有多达110个原子的Lennard-Jones团簇的最低能量结构》，J.Phys。化学。A、 1015111-5116（1997年）
[56] 威尔士，D.J。；Doye，J.P.K.，《能源景观》（2003），剑桥大学出版社
[57] D.J.Wales、J.P.K.Doye、A.Dullweber、M.P.Hodges、F.Y.N.F.Calvo、J.Hernández-Rojas、T.F.Middleton，剑桥集群数据库。统一资源定位地址http://www-wales.ch.cam.ac.uk/CCD.html; D.J.Wales、J.P.K.Doye、A.Dullweber、M.P.Hodges、F.Y.N.F.Calvo、J.Hernández-Rojas、T.F.Middleton，剑桥集群数据库。统一资源定位地址http://www-wales.ch.cam.ac.uk/CCD.html
[58] 威尔士，D.J。；Scheraga，H.A.，《集群、晶体和生物分子的全球优化》，《科学》，2851368-1372（1999）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。