阿图尔·施魏特曼（Artur M.Schweidtmann）。;多米尼克·邦加兹;丹尼尔·格罗;蒂姆·克肯霍夫;林晓鹏;雅罗米·纳杰曼;亚历山大·米索斯 嵌入高斯过程的确定性全局优化。 （英语） Zbl 1476.90270号 数学。程序。计算。 第3期，第13期，第553-581页（2021）. 摘要：高斯过程（Kriging）是插值数据驱动的模型，在各个学科中经常应用。通常，高斯过程是在数据集上训练的，然后作为代理模型嵌入到优化问题中。这些优化问题是非凸的，需要全局优化。然而，先前的文献观察到，计算负担将确定性全局优化限制为在少数数据点上训练的高斯过程。我们提出了一种确定性全局优化的缩减空间公式，其中嵌入了训练好的高斯过程。为了进行优化，分支定界解算器仅在自由变量上分支，McCormick松弛通过显式高斯过程模型传播。这种方法还可以为上下边界生成更小且计算成本更低的子问题。为了进一步加快收敛速度，我们推导了通用协方差函数的包络，以及贝叶斯优化中使用的捕获函数的紧松弛，包括预期改进、改进概率和置信下限。总的来说，与最先进的方法相比，我们减少了几个数量级的计算时间，从而克服了以前的计算负担。我们证明了该方法的性能和可伸缩性，并将其应用于贝叶斯优化，即捕获函数和机会约束规划的全局优化。高斯过程模型、采集功能和培训脚本在“MeLOn–M（M）阿金e（电子）L（左）盈利模式O（运行）优化n个“工具箱(https://git.rwth-aachen.de/avt.svt/public/MeLOn网站). 引用于5文件 MSC公司： 90立方厘米26 非凸规划，全局优化 90立方 非线性规划 90 C90 数学规划的应用 68T01型 人工智能的一般主题 60-04 概率论相关问题的软件、源代码等 关键词：克里金;机器学习;贝叶斯优化;采集功能;机会约束编程;缩小的空间;预期改进 软件：NLopt（NLopt）;诽谤;梅隆;阿戈纳特;菲利布++;安提戈内;MAiNGO组织;SCIP公司;SNOPT公司;FADBAD公司++;CPLEX公司;TOMP公司;CLP公司;BARON公司 PDF格式BibTeX公司 XML格式引用 \textit{A.M.Schweidtmann}等人，《数学》。程序。计算。13，编号3，553--581（2021；Zbl 1476.90270） 全文： 内政部 arXiv公司 OA许可证 参考文献： [1] 阿马尔，Y。；Schweidtmann，AM；德国P。；曹，L。；Lapkin，A.，《机器学习和分子描述符在不对称催化中实现合理溶剂选择》，《化学》。科学。，10, 27, 6697-6706 (2019) ·doi:10.1039/C9SC01844A [2] Androulakis，IP；马拉纳斯，CD；Floudas，CA，（alpha）BB:一般约束非凸问题的全局优化方法，J.Glob。最佳。，7, 4, 337-363 (1995) ·Zbl 0846.90087号 ·doi:10.1007/BF0109947 [3] Bendtsen，C.，Stauring，O.：Fadbad++（2.1版）：用于自动区分的灵活C++包（2012） [4] Bongartz，D.：能量转换过程设计的确定性全局流程优化。亚琛RWTH大学博士论文（2020年）。doi:10.18154/RWTH-2020-06052 [5] Bongartz，D。；Mitsos，A.，《使用McCormick松弛法在简化空间中对工艺流程进行确定性全局优化》，J.Glob。最佳。，20, 9, 419 (2017) ·Zbl 1386.90112号 ·doi:10.1007/s10898-017-0547-4 [6] Bongartz，D。；Mitsos，A.，确定性全局流程优化：在面向方程和顺序模块化方法之间，AIChE J.，65，3，1022-1034（2019）·数字对象标识代码：10.1002/aic.16507 [7] Bongartz，D.，Najman，J.，Sass，S.，Mitsos，A.：MAiNGO：基于McCormick的混合整数非线性全局优化算法。亚琛RWTH大学工艺系统工程（AVT.SVT）技术报告（2018年）。http://permalink.avt.rwth-aachen.de/？id=729717 [8] Bonilla，E.V.，Chai，K.M.，Williams，C.：多任务高斯过程预测。摘自：《神经信息处理系统的进展》，第153-160页（2008年） [9] 布库瓦拉，F。；Floudas，CA，Argonaut:约束灰箱计算问题全局优化算法，Optim。莱特。，11, 5, 895-913 (2017) ·Zbl 1373.90113号 ·doi:10.1007/s11590-016-1028-2 [10] 布库瓦拉，F。；米塞纳，R。；Floudas，CA，《混合整数非线性规划中的全局优化进展》，MINLP和约束无导数优化，CDFO，Eur.J.Oper。第252、3、701-727号决议（2016年）·Zbl 1346.90677号 ·doi:10.1016/j.ejor.2015.12.018 [11] Bradford，E.，Imsland，L.，Zhang，D.，Chanona，E.A.D.R.：使用高斯过程的随机数据驱动模型预测控制。arXiv:1908.01786（2019） [12] 布拉德福德，E。；Schweidtmann，AM；Lapkin，A.，《采用高斯过程、光谱采样和遗传算法的高效多目标优化》，J.Glob。最佳。，71, 2, 407-438 (2018) ·兹比尔1406.90095 ·doi:10.1007/s10898-018-0609-2 [13] 布拉德福德，E。；Schweidtmann，AM；张，D。；Jing，K。；del Rio-Chanona，EA，使用多元高斯过程的不确定性可持续藻类生产的动态建模和优化，计算。化学。工程，118143-158（2018）·doi:10.1016/j.compchemeng.2018.07.015 [14] 加利福尼亚州卡巴列罗；Grossmann，IE，《模块化流程优化中使用代理模型的算法》，AIChE J.，54，10，2633-2650（2008）·doi:10.1002/aic.11579 [15] Caballero，J.A.，Grossmann，I.E.：使用过程模拟器和替代模型进行严格的流程优化。收录于：《计算机辅助化学工程》，第25卷，第551-556页。爱思唯尔（2008） [16] Chachuat，B。；胡斯卡，B。；Paulen，R。；佩里克，N。；Rajyaguru，J。；Villanueva，ME，非线性系统分析、估计和控制中的集合理论方法，IFAC-PapersOnLine，48，8，981-995（2015）·doi:10.1016/j.ifacol.2015.09.097 [17] Chapelle，O.，Li，L.：汤普森抽样的实证评估。摘自：J.Shawe-Taylor、R.S.Zemel、P.L.Bartlett、F.Pereira、K.Q.Weinberger（编辑）《神经信息处理系统进展》24，第2249-2257页。Curran Associates，Inc.（2011年）。http://papers.nips.cc/paper/4321-an-empirical-evaluation-of-thompson-sampling.pdf [18] Charnes，A。；Cooper，WW，机会约束编程，Manag。科学。，6, 1, 73-79 (1959) ·Zbl 0995.90600号 ·doi:10.1287/mnsc.6.1.73 [19] CLP，C.O.：线性编程求解器：用于解决线性编程问题的开源代码（2011）。doi:10.5281/zenodo.3748677 [20] Cozad，A。；内华达州萨希尼迪斯；Miller，DC，《基于仿真的优化学习代理模型》，AIChE J.，60，6，2211-2227（2014）·doi:10.1002/aic.14418 [21] Damianou，A.，Lawrence，N.：深高斯过程。摘自：《人工智能与统计》，第207-215页（2013年） [22] 戴维斯，E。；Ierepatritou，M.，解具有黑盒函数的非线性规划的Kriging方法，AIChE J.，53，8，2001-2012（2007）·doi:10.1002/aic.11228 [23] 戴维斯，E。；Ierepatritou，M.，《基于kriging的含黑盒模型和噪声的MINLP方法》，工业工程化学。第47、16、6101-6125号决议（2008年）·doi:10.1021/ie800028a文件 [24] 戴维斯，E。；Ierepatritou，M.，《克里金全球建模与优化的基于质心的采样策略》，AIChE J.，56，1，220-240（2010）·doi:10.1002/aic.11881 [25] Del Rio-Chanona，EA；丛，X。；布拉德福德，E。；张，D。；Jing，K.，《动态生物过程模拟的先进物理和数据驱动模型综述：藻菌联合废水处理案例研究》，生物技术。生物工程。，116, 2, 342-353 (2019) ·doi:10.1002/位26881 [26] Djelassi，H.，Mitsos，A.：libALE-代数逻辑表达式树库（2019）。https://git.rwth-aachen.de/avt.svt/public/libale。2019年11月8日访问 [27] 伊森，JP；Biegler，LT，玻璃盒/黑盒优化的信赖域滤波方法，AIChE J.，62，9，3124-3136（2016）·doi:10.1002/aic.15325 [28] Epperly，TGW公司；Pistikopoulos，EN，《用于全局优化的简化空间分枝定界算法》，J.Glob。最佳。，11, 3, 287-311 (1997) ·Zbl 1040.90567号 ·doi:10.1023/A:1008212418949 [29] 弗雷尔，L。；Hemmerich，J。；Schöler，K。；威切，W。；奥尔迪格斯，M。；von Lieres，E.，基于Kriging的迭代实验分析和设计框架：谷氨酸棒杆菌分泌蛋白生产的优化，生命科学。，16, 6, 538-549 (2016) ·doi:10.1002/elsc.201500171 [30] 吉尔，体育；默里，W。；Saunders，MA，SNOPT:大规模约束优化的SQP算法，SIAM Rev.，47，1，99-131（2005）·Zbl 1210.90176号 ·doi:10.1137/S0036144504446096 [31] Glassey，J.，Von Stosch，M.：过程工业中的混合建模。CRC出版社（2018） [32] 格雷克斯纳，AM；Berthold，T。；米勒，B。；Weltge，S.，《基于优化的约束收紧的三项改进》，J.Glob。最佳。，67, 4, 731-757 (2017) ·Zbl 1369.90106号 ·doi:10.1007/s10898-016-0450-4 [33] Hasan，M.F.，Baliban，R.C.，Elia，J.A.，Floudas，C.A.：可变进料浓度和流速下燃烧后二氧化碳捕获的建模、模拟和优化。2.变压吸附和真空变压吸附工艺。工业工程化学。第51（48）号决议，15665-15682（2012）。doi:10.1021/ie301572n [34] Helmdach，D。；Yaseneva，P。；希尔，PK；Schweidtmann，AM；Lapkin，AA，《开发基于生物可再生材料的工艺的生命周期评估结果的多目标优化》，ChemSusChem，10，18，3632-3643（2017）·doi:10.1002/cssc.201700927 [35] Hofschuster，W.，Krämer，W.：FILIB++区间库（3.0.2版）（1998年）·Zbl 1365.65140号 [36] Horst，R.，Tuy，H.：《全局优化：确定性方法》，第3版。施普林格，柏林（1996）。doi:10.1007/978-3-662-03199-5·Zbl 0867.90105号 [37] Hüllen，G.，Zhai，J.，Kim，S.H.，Sinha，A.，Realff，M.J.，Boukouvala，F.：管理基于数据驱动模拟的优化中的不确定性。计算。化学。工程（2019）。doi:10.1016/j.compchemeng.2019.106519 [38] 国际商业机器：IBM ilog CPLEX（12.1版）（2009年） [39] Johnson，S.G.：NLopt非线性优化包（版本2.4.2）（2016） [40] Jones博士；Schonlau，M。；Welch，WJ，《昂贵黑盒函数的高效全局优化》，J.Glob。最佳。，13, 4, 455-492 (1998) ·Zbl 0917.90270号 ·doi:10.1023/A:1008306431147 [41] O.卡尔斯。；Marquardt，W.，混合模型的有效域及其在过程优化中的应用，化学。工程流程。过程强度。，46, 11, 1054-1066 (2007) ·doi:10.1016/j.cep.2007.02.031 [42] 科勒，T。；昆德，C。；McBride，K。；Mertens，N。；迈克尔斯，D。；Sundmacher，K。；Kienle，A.，使用显式和隐式替代模型对精馏塔进行全局优化，化学。工程科学。，197, 235-245 (2019) ·doi:10.1016/j.ces.2018.12.002 [43] 科勒，T。；昆德，C。；Mertens，N。；迈克尔斯，D。；Kienle，A.，使用替代模型对精馏塔进行全局优化，SN Appl。科学。，1, 1, 11 (2019) ·doi:10.1007/s42452-018-0008-9 [44] Kim，J.，Choi，S.：关于贝叶斯优化中获取函数的局部优化器。arXiv:1901.08350（2019） [45] Kraft，D.，《733算法：用于优化控制计算的TOMP-fortran模块》，ACM Trans。数学。柔和。（TOMS），20，3，262-281（1994）·Zbl 0888.65079号 ·doi:10.1145/192115.192124 [46] Krige，DG，《威特沃特斯兰德一些基本矿山估价问题的统计方法》，J.South。非洲。仪表最小金属。，52, 6, 119-139 (1951) [47] Liberti，L.，Cafieri，S.，Tarissan，F.：数学规划中的改革：计算方法。收录：A.Abraham、A.Hassanien、P.Siarry、A.Engelbrecht（编辑）《计算智能基础》第3卷。《计算智能研究》，第203卷，第153-234页。柏林施普林格出版社（2009） [48] 林，Z。；Wang，J。；尼古拉基斯，V。；Ierepatritou，M.，生物质衍生葡萄糖溶液生产化学品的工艺流程优化，计算。化学。工程，102，258-267（2017）·doi:10.1016/j.compchemeng.2016.09.012 [49] Locatelli，M。；Schoen，F.，《全局优化：理论、算法和应用》。MOS-SIAM优化系列（2013），费城：数学规划学会，费城·Zbl 1286.90003号 [50] Maher，S.J.、Fischer，T.、Gally，T.，Gamrath，G.、Gleixner，A.、Gottwald，R.L.、Hendel，G.，Koch，T.和Lübbecke，M.E.、Miltenberger，M.、Müller，B.、Pfetsch，M.E.，Puchert，C.、Rehfeldt，D.、Schenker，S.、Schwarz，R.、Serrano，F.、Shinano，Y.、Weninger，D.、Witt，J.、Witzig，J.：SCIP优化套件（版本4.0） [51] 麦克布赖德，K。；新墨西哥州凯撒；Sundmacher，K.，用均相催化剂进行长链烯烃氢甲酰化的集成反应萃取过程，计算。化学。工程，105，212-223（2017）·doi:10.1016/j.com.pchemeng.2016.11.019 [52] McBride，K。；Sundmacher，K.，《化学过程工程中替代建模概述》，化学。Ingenieur Tech.，91，3，228-239（2019）·doi:10.1002/cite.201800091 [53] 可分解非凸程序全局解的可计算性：第一部分-凸低估问题，数学。程序。，10, 1, 147-175 (1976) ·Zbl 0349.90100号 ·doi:10.1007/BF01580665 [54] Mehrian，M。；Guyot，Y。；帕潘托尼奥，I。；Olofsson，S。；Sonneart，M。；米塞纳，R。；Geris，L.，《灌注生物反应器中新组织生长动力学的最大化：使用模型简化和贝叶斯优化的硅内策略》，生物技术。生物工程。，115, 3, 617-629 (2018) ·doi:10.1002/bit.26500 [55] Menne，D。；坎普，J。；黄，JE；Wessling，M.，《可反洗聚电解质多层中空纤维纳滤膜的盐保持性精确调节》，J.Membr。科学。，499, 396-405 (2016) ·doi:10.1016/j.memsci.2015.10.058 [56] 加利福尼亚州梅耶；加利福尼亚州弗洛达斯，边凹函数的凸包，数学。程序。，103, 2, 207-224 (2005) ·Zbl 1099.90045号 ·doi:10.1007/s10107-005-0580-9 [57] 米塞纳，R。；Floudas，CA，ANTIGONE:非线性方程的连续/整数全局优化算法，J.Glob。最佳。，59, 2, 503-526 (2014) ·Zbl 1301.90063号 ·doi:10.1007/s10898-014-0166-2 [58] 米索斯，A。；Chachuat，B。；Barton，PI，基于McCormick的算法松弛，SIAM J.Optim。，20, 2, 573-601 (2009) ·兹比尔1192.65083 ·doi:10.1137/080717341 [59] Mnih，V.、Kavukcuoglu，K.、Silver，D.、Graves，A.、Antonoglou，I.、Wierstra，D.、Riedmiller，M.：使用深度强化学习播放atari。arXiv:1312.5602（2013） [60] Mogk，G.，Mrziglod，T.，Schuppert，A.：混合模型在化学工业中的应用。收录于：《计算机辅助化学工程》，第10卷，第931-936页。Elsevier（2002）。doi:10.1016/S1570-7946（02）80183-3 [61] Najman，J。；Bongartz，D。；Mitsos，A.，分量凸函数的凸松弛，计算。化学。工程师，130106527（2019）·doi:10.1016/j.compchemeng.2019.106527 [62] Najman，J.、Mitsos，A.：关于McCormick和其他放松的紧密性和锚定。J.全球。最佳方案。(2017). doi:10.1007/s10898-017-0598-6·Zbl 1425.49014号 [63] 北卡罗来纳州奎兰特。；贾瓦洛伊斯，J。；Caballero，JA，使用基于克里格插值的替代模型对精馏塔进行严格设计，AIChE J.，61，7，2169-2187（2015）·doi:10.1002/aic.14798 [64] Quirante，N.、Javaloyes，J.、Ruiz-Femenia，R.、Caballero，J.A.：基于克里格插值的替代模型优化化学过程。收录于：《计算机辅助化学工程》，第37卷，第179-184页。Elsevier（2015）。doi:10.1016/B978-0-444-63578-5.50025-6 [65] Rall，D。；Menne，D。；Schweidtmann，AM；坎普，J。；von Kolzenberg，L。；米索斯，A。；Wessling，M.，离子分离膜的合理设计，J.Membr。科学。，569, 209-219 (2019) ·doi:10.1016/j.memsci.2018年10月10日 [66] Rasmussen，C.E.：机器学习中的高斯过程。在：关于机器学习的高级讲座，第63-71页。斯普林格（2004）·Zbl 1120.68436号 [67] Ryoo，HS；Sahinidis，NV，非凸NLP和MINLP的全局优化及其在工艺设计中的应用，Comput。化学。工程师，19，5，551-566（1995）·doi:10.1016/0098-1354（94）00097-2 [68] Sacks，J.、Welch，W.J.、Mitchell，T.J.、Wynn，H.P.：计算机实验的设计与分析。统计科学。(1989). doi:10.1214/ss/1177012413·Zbl 0955.62619号 [69] Schweidtmann，A.M.，Clayton，A.D.，Holmes，N.，Bradford，E.，Bourne，R.A.，Lapkin，A.A.：机器学习满足连续流动化学：面向多个目标的pareto前沿的自动优化。化学。Eng.J.（2018）。doi:10.1016/j.cej.2018.07.031 [70] Schweidtmann，AM；Mitsos，A.，嵌入人工神经网络的确定性全局优化，J.Optim。理论应用。，180, 3, 925-948 (2019) ·Zbl 1407.90263号 ·doi:10.1007/s10957-018-1396-0 [71] Schweidtmann，A.M.、Netze，L.、Mitsos，A.：Melon：优化的机器学习模型。https://git.rwth-aachen.de/avt.svt/public/MeLOn网站/ (2020) [72] 沙赫里亚里，B。；瑞典斯威斯基。；王，Z。；亚当斯，RP；de Freitas，N.，《让人类走出循环：贝叶斯优化综述》，Proc。IEEE，104，1，148-175（2016）·doi:10.1109/JPROC.2015.2494218 [73] EM史密斯；Pantelides，CC，非凸MINLP的全局优化，计算。化学。工程师，21，S791-S796（1997）·doi:10.1016/S0098-1354（97）87599-0 [74] Snoek，J.，Larochelle，H.，Adams，R.P.：机器学习算法的实用贝叶斯优化。摘自：《神经信息处理系统进展》，第2951-2959页（2012年） [75] Srinivas，N.、Krause，A.、Kakade，S.M.、Seeger，M.：强盗背景下的高斯过程优化：无遗憾和实验设计。arXiv预印arXiv:0912.3995（2009）·Zbl 1365.94131号 [76] 医学博士Stuber；斯科特，JK；巴顿，PI，隐函数的凸凹松弛，Optim。方法软件。，30, 3, 424-460 (2015) ·Zbl 1327.65114号 ·doi:10.1080/10556788.2014.924514 [77] Sundararajan，S.，Keerthi，S.S.：高斯过程中选择超参数的预测方法。《神经信息处理系统进展》，第631-637页（2000年）·Zbl 1108.62327号 [78] 塔德拉，F。；加利福尼亚州佛罗伦萨；Pardalos，P.，关于多面体凸包络的存在性，全球优化前沿，563-573（2004），多德雷赫特：Kluwer学术出版社，多德雷赫特·Zbl 1176.90473号 ·doi:10.1007/978-1-4613-0251-330 [79] Tawarmalani，M。；内华达州萨希尼迪斯，《全局优化的多面体分枝切割方法》，数学。程序。，103, 2, 225-249 (2005) ·Zbl 1099.90047号 ·doi:10.1007/s10107-005-0581-8 [80] Tawarmalani，M.，Sahinidis，N.V.，Pardalos，P.：连续和混合整数非线性规划中的对流化和全局优化：理论、算法、软件和应用。在：非凸优化及其应用，第65卷。斯普林格，马萨诸塞州波士顿（2002）。doi:10.1007/978-1-4757-3532-1·Zbl 1031.90022号 [81] A.苏卡拉斯。；Mitsos，A.，《多元McCormick松弛》，J.Glob。最佳。，59, 2-3, 633-662 (2014) ·Zbl 1312.90068号 ·doi:10.1007/s10898-014-0176-0 [82] Ulmasov，D.、Baroukh，C.、Chachuat，B.、Deisenroth，M.P.、Misener，R.：具有维度调度的贝叶斯优化：应用于生物系统。收录于：《计算机辅助化学工程》，第38卷，第1051-1056页。Elsevier（2016）。doi:10.1016/B978-0-444-63428-3.50180-6 [83] 冯·斯托什，M。；奥利维拉，R。；佩雷斯，J。；de Azevedo，SF，《过程系统工程中的混合半参数建模：过去、现在和未来》，计算。化学。工程，60，86-101（2014）·doi:10.1016/j.compchemeng.2013.08.008 [84] 瓦希特，A。；Biegler，LT，《关于大规模非线性规划中点内滤波器线性搜索算法的实现》，数学。程序。，106, 1, 25-57 (2006) ·Zbl 1134.90542号 ·doi:10.1007/s10107-004-0559-y [85] Wang，J.，Hertzmann，A.，Fleet，D.J.：高斯过程动力学模型。摘自：《神经信息处理系统进展》，第1441-1448页（2006年） [86] 韦氏，A。；斯科特，JK；HAJ沃森；Barton，PI，McCormick松弛的反向传播，J.Glob。最佳。，63, 1, 1-36 (2015) ·Zbl 1322.49048号 ·doi:10.1007/s10898-015-0303-6 [87] Wiebe，J.、Cecílio，I.、Dunlop，J.和Misener，R.：扭曲高斯过程约束优化的稳健方法。arXiv:2006.08222（2020） [88] Wilson，J.、Hutter，F.、Deisenroth，M.：最大化贝叶斯优化的采集函数。在：《神经信息处理系统的进展》，第9884-9895页（2018） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。