×
金、孙慧;法尼省布库瓦拉

基于机器学习的数据驱动优化代理建模：回归技术子集选择的比较。 （英语） Zbl 1444.90119号

最佳方案。莱特。 14，第4期，989-1010（2020）.
摘要：基于仿真或数据驱动的系统的优化是一项具有挑战性的任务，在最近的文献中引起了极大的关注。无解析表达式的系统优化的一种非常有效的方法是通过拟合代理模型。由于增加了灵活性，非线性插值函数，如径向基函数和克里金函数，主要用作数据驱动优化的替代函数；然而，这些方法导致了复杂的非凸公式。或者，通常使用的基于回归的替代函数会导致更简单的公式，但如果形式事先未知，则它们的灵活性和不精确性较差。在这项工作中，我们研究了子集选择回归技术在开发平衡准确性和复杂性的替代函数方面的效率。子集选择通过只选择原始特征的子集来创建稀疏回归模型，这些原始特征被线性组合以生成一组不同的代理模型。从优化解精度、计算时间、采样要求和模型稀疏性等方面，将五种不同的子集选择技术与常用的非线性插值代理函数进行了比较。我们的结果表明，当维数较低时，基于子集选择的回归函数表现出良好的性能，而插值在高维问题中表现得更好。

引用于7文件

MSC公司：

90 C59 数学规划中的近似方法和启发式

关键词：

机器学习;代理建模;黑盒优化;数据驱动优化;回归子集选择

软件：

程控交换机;Glmnet公司;SUMO公司;阿戈纳特;科恩拉布;插入符号;多最小值;斑点;CONOPT公司;弹性网;EGO公司
PDF格式BibTeX公司 XML格式引用
\textit{S.H.Kim}和\textit{F.Boukouvala}，Optim。莱特。14，第4号，989--1010（2020；Zbl 1444.90119）
全文： 内政部 链接

参考文献：

[1] 布库瓦拉，F。；加利福尼亚州弗洛达斯，阿根廷：用于灰盒竞争问题全局优化的算法，Optim。莱特。，11, 5, 895-913 (2017) ·Zbl 1373.90113号
[2] Cozad，A。；内华达州萨希尼迪斯；Miller，DC，《基于仿真的优化学习代理模型》，AIChE J.，60，6，2211-2227（2014）
[3] Amaran，S.，《模拟优化：算法和应用综述》，4OR，12，4，301-333（2014）·Zbl 1317.90002号
[4] Tekin，E。；Sabuncoglu，I.，《模拟优化：理论和应用的综合评述》，IIE Trans。，361067-1081（2004年）
[5] Bhosekar，A。；Ierepatritou，M.，《基于代理的建模、可行性分析和优化进展：综述》，《计算》。化学。工程，108，250-267（2018）
[6] 巴贾杰，I。；艾耶，SS；Faruque Hasan，MM，一种基于信任区域的两阶段算法，用于具有不可行初始点的约束黑盒和灰盒优化，计算。化学。工程，116，306-321（2017）
[7] 美国国际期刊Forrester；AJ Keane，《基于代理优化的最新进展》，Prog。Aerosp.航空公司。科学。，45, 1, 50-79 (2009)
[8] Jakobsson，S.，使用径向基函数进行基于模拟的优化的方法，Optim。工程，11，4，501-532（2010）·Zbl 1243.65068号
[9] 布库瓦拉，F。；FJ莫齐奥；Ierepatritou，MG，制药过程的动态数据驱动建模，工业工程化学。研究，50，11，6743-6754（2011）
[10] 比特坦特，A。；Pettersson，F。；Saxén，H.，《小型液化天然气供应链的优化》，能源，148，79-89（2018）
[11] Sampat，AM，多产品供应链网络优化公式，计算。化学。工程，104，296-310（2017）
[12] Beykal，B.，使用代理函数对灰盒计算系统进行全局优化，并应用于高度受限的油田作业，计算。化学。工程，11499-110（2018）
[13] Ciaurri，D.E.，Mukerji，T.，Durlowsky，L.J.：油田作业无导数优化，计算优化和工程与工业应用。在：Yang，X.-S.，Koziel，S.（编辑），第19-55页，施普林格，柏林（2011）
[14] Jansen，JD；Durlowsky，LJ，降阶模型在井控优化中的应用，Optim。工程师，18，1，105-132（2017）·Zbl 1364.90401号
[15] OJ州伊塞博；杜洛夫斯基，LJ；Echeverría Ciaurri，D.，一种无导数方法，具有局部和全局搜索，用于井位置和控制的约束联合优化，计算。地质科学。，18, 3, 463-482 (2014)
[16] 乔治·A·库里（George A.Khoury）。；詹姆斯·斯马德贝克（James Smadbeck）；Chris A.Kieslich。；亚历山大·科斯科西迪斯（Alexandra J.Koskosidis）。；Yannis A.Guzman。；塔马米斯，法努里奥斯；Floudas，Christodoulos A.，Princeton_TIGRESS 2.0：CASP11实验期间双盲预测中通过支持向量机和分子动力学实现的高精细一致性和净收益，蛋白质：结构、功能和生物信息学，85，6，1078-1098（2017）
[17] Liwo，A.，通过势能函数的全局优化预测蛋白质结构，Proc。国家。阿卡德。科学。，96, 10, 5482 (1999)
[18] DiMaio，F.，《通过密度和能量引导的蛋白质结构优化改进分子替换》，《自然》，473540（2011）
[19] Wang，C.，具有两个基准问题的基于自适应代理建模的优化评估，Environ。模型软件。，60, 167-179 (2014)
[20] 芬，C-S；Chan，C。；Cheng，H-C，《评估基于响应面的土壤蒸汽提取系统设计优化方法》，J.Water Resour。计划。管理。，135, 3, 198-207 (2009)
[21] Jones，DR，《基于响应曲面的全局优化方法分类》，J.Glob。最佳。，21, 4, 345-383 (2001) ·兹比尔1172.90492
[22] Palmer，K。；Realff，M.，稳态流程模拟优化的元建模方法：模型生成，化学。工程研究设计。，80, 7, 760-772 (2002)
[23] 阿南德，P。；Siva Prasad，英属维尔京群岛；Venkateswalu，CH，使用径向基函数网络对药物配方系统进行建模和优化，国际神经系统杂志。，19227-136（2009年）
[24] Jeong，S。；Murayama，M。；Yamamoto，K.，使用克里金模型的高效优化设计方法，J.Aircr。，42, 413-420 (2005)
[25] Miller，AJ，回归变量子集的选择，J.R.Stat.Soc.Ser。A（概述），147，3，389-425（1984）·Zbl 0584.62106号
[26] 坎迪斯，EJ；JK隆伯格；Tao，T.，从不完整和不准确的测量中恢复稳定信号，Commun。纯应用程序。数学。，591207-1223（2006年）·邮编1098.94009
[27] Guyon，I.，使用支持向量机进行癌症分类的基因选择，马赫。学习。，46, 1, 389-422 (2002) ·兹比尔0998.68111
[28] Feng，G.，使用朴素贝叶斯进行文本分类的特征子集选择，模式识别。莱特。，65, 109-115 (2015)
[29] Wright，J.，《通过稀疏表示实现鲁棒人脸识别》，IEEE Trans。模式分析。机器。智力。，31, 2, 210-227 (2009)
[30] Nick Sahinidis，《机器学习的ALAMO方法》，计算机辅助化学工程，2410（2016）
[31] Cozad，A。；北萨希尼迪斯。；Miller，D.，模型构建的第一原理和数据驱动方法相结合，计算。化学。工程师，73，116-127（2015）
[32] Jones博士；Schonlau，M。；Welch，WJ，《昂贵黑盒函数的高效全局优化》，J.Glob。最佳。，13, 4, 455-492 (1998) ·Zbl 0917.90270号
[33] 瑞吉斯，RG；Shoemaker，CA，使用径向基函数对昂贵的黑盒函数进行约束全局优化，J.Glob。最佳。，31, 1, 153-171 (2005) ·兹比尔1274.90511
[34] Gorissen，D.，基于计算机设计的代理建模和自适应采样工具箱，J.Mach。学习。第11号决议，2051-2055（2010）
[35] Tawarmalani，M。；内华达州萨希尼迪斯，《全局优化的多面体分枝切割方法》，数学。程序。，103, 2, 225-249 (2005) ·兹比尔1099.90047
[36] 哈斯蒂，T。；Tibshirani，R。；Wainwright，M.，《稀疏的统计学习》（2015），纽约：查普曼和霍尔出版社，纽约·Zbl 1319.68003号
[37] Ren，H.：稀疏编码中贪婪与L1凸优化：异常事件检测的比较研究（2015）
[38] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.Ser。B（Methodol.），58，1，267-288（1996）·Zbl 0850.62538号
[39] 邹，H。；Hastie，T.，通过弹性网的正则化和变量选择，J.R.Stat.Soc.Seri。B（Stat.Methodol.），67，2，301-320（2005）·Zbl 1069.62054号
[40] Hastie，T.、Qian，J.：《Glmnet Vignette》（2014年）。【引用日期：2018年；https://web.stanford.edu/hastie/glmnet/glmnet_alpha.html]
[41] 邹，H。；哈斯蒂，T。；Tibshirani，R.，稀疏主成分分析，J.Compute。图表。统计，15，2，265-286（2006）
[42] Kawano，S.，具有自适应加载的稀疏主成分回归，计算。统计数据分析。，89, 192-203 (2015) ·Zbl 1468.62098号
[43] Geladi，P。；Kowalski，BR，偏最小二乘回归：教程，Ana。蜂鸣器。《学报》，185，1-17（1986）
[44] Chun，H.等人。；Keleš，S.，《同时降维和变量选择的稀疏偏最小二乘回归》，J.R.Stat.Soc.Ser。B统计方法。，72, 1, 3-25 (2010) ·Zbl 1411.62184号
[45] 盖恩，I。；Elisseeff，A.，《变量和特征选择简介》，J.Mach。学习。第3号决议，1157-1182（2003年）·Zbl 1102.68556号
[46] 斯莫拉，AJ；Schölkopf，B.，支持向量回归教程，统计计算。，14, 3, 199-222 (2004)
[47] Cherkassky，V。；Ma，Y.，支持向量机参数的实际选择和支持向量机回归的噪声估计，神经网络。，17, 1, 113-126 (2004) ·Zbl 1075.68632号
[48] 布库瓦拉，F。；哈桑，MMF；Floudas，CA，一般约束灰箱模型的全局优化：新方法及其在变压吸附约束PDE中的应用，J.Global Optim。，67, 1, 3-42 (2017) ·兹比尔1359.90101
[49] Friedman，J.H.等：“glmnet”包：套索和弹性网正则化广义线性模型（2018）。https://cran.r-project.org/web/packages/glmnet/glmnet.pdf。2018年5月1日访问
[50] Zou，H.：“弹性网”包：稀疏估计和稀疏PCA的弹性网（2015）。https://cran.r-project.org/web/packages/elasticnet/lasticnet.pdf。2018年5月1日访问
[51] Kawano，S.：“spcr”包：稀疏主成分回归（2016）。https://cran.r-project.org/web/packages/spcr/spcr.pdf。2018年5月1日访问
[52] Chung，D.，Chun，H.，Keleš，S.：“spls”包简介，1.0版。(2018). https://cran.r-project.org/web/packages/spls/vignettes/spls-example.pdf。2018年5月1日访问
[53] Karatzoglou，A.，Smola，A.J.，Hornik，K.：“内核实验室”包：基于内核的机器学习实验室（2018）。https://cran.r-project.org/web/packages/kernlab/kernlab.pdf。2018年5月1日访问
[54] Kuhn，M.：“插入符号”包：分类和回归训练（2018年）。https://cran.r-project.org/web/packages/caret/caret.pdf。2018年5月1日访问
[55] 德鲁德：CONOPT。【引用日期：2018年；https://www.gams.com/latest/docs/S_CONOPT.html
[56] 里奥斯，LM；Sahinidis，NV，《无导数优化：算法综述和软件实现比较》，J.Glob。最佳。，56, 3, 1247-1293 (2013) ·Zbl 1272.90116号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。