×

兹马思-数学第一资源

基于机器学习的数据驱动优化代理建模:回归技术子集选择的比较。(英语) Zbl公司 1444.90119
摘要:基于仿真或数据驱动系统的优化是一项具有挑战性的任务,在最近的文献中引起了极大的关注。在没有解析表达式的情况下优化系统的一个非常有效的方法是通过拟合代理模型。由于其更大的灵活性,非线性插值函数,如径向基函数和Kriging,已主要用于替代数据驱动优化;然而,这些方法导致复杂的非凸配方。或者,常用的基于回归的替代物会导致更简单的公式,但是如果形式不是先验已知的,它们就不那么灵活和不准确。在这项工作中,我们研究了子集选择回归技术在开发代理函数时的效率,这些代理函数同时兼顾了准确性和复杂性。子集选择通过只选择原始特征的子集来创建稀疏回归模型,这些特征被线性组合以生成一组不同的代理模型。从优化解的精度、计算时间、采样要求和模型稀疏性等方面比较了五种不同的子集选择技术与常用的非线性插值代理函数。结果表明,基于子集选择的回归函数在低维时表现出良好的性能,而插值函数在高维问题中表现出更好的性能。

理学硕士:
90度59度 数学规划中的逼近方法和启发式方法
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] 布考瓦拉,F。;佛洛达斯,加州,阿尔戈瑙:约束灰盒计算问题的全局优化算法,Optim。Lett.,11,5,895-913(2017年)·Zbl公司 1373.90113
[2] 科扎德,A。;内华达州萨希尼迪斯;Miller,DC,《基于仿真优化的学习代理模型》,AIChE J.,60,6,2211-2227(2014)
[3] Amaran,S.,《模拟优化:算法与应用回顾》,4OR,12,4,301-333(2014)·Zbl公司 1317.90002
[4] 泰金,E。;Sabuncoglu,I.,模拟优化:理论与应用的综合评述,IIE Trans.,36,11,1067-1081(2004)
[5] 博舍卡尔,A。;Ierapetritou,M.,基于代理的建模、可行性分析和优化的进展:综述,计算机。化学。2018年第108-250页
[6] 巴贾杰,I。;伊尔,SS;陈国平,王国平,等,一种基于信赖域的具有不可行初始点的约束黑盒和灰盒优化的两阶段算法,计算。化学。工程学,116306-321(2017)
[7] 福雷斯特,AIJ;基恩,AJ,基于代理优化的最新进展。Aerosp公司。科学,45,1,50-79(2009)
[8] Jakobson,S.,使用径向基函数进行基于仿真的优化方法,Optim。工程,11,4,501-532(2010)·Zbl公司 1243.65068
[9] 布考瓦拉,F。;福建省穆齐奥;叶拉佩特里图,MG,制药过程的动态数据驱动建模,工业工程化学。第50、11、6743-6754号决议(2011年)
[10] 比坦特,A。;佩特森,F。;萨克斯én、 H.,小型液化天然气供应链优化,能源,14879-89(2018)
[11] 多产品供应链网络之优化公式,计算机。化学。英国,104296-310(2017)
[12] Beykal,B.,使用代理函数的灰箱计算系统的全局优化及其在高约束油田作业中的应用,计算机。化学。英语,114,99-110(2018年)
[13] Ciaurri,D.E.,Mukerji,T.,Durlofsky,L.J.:油田作业的无导数优化,计算优化及其在工程和工业中的应用。输入:Yang,X.-S.,Koziel,S(编辑),第19-55页,斯普林格,柏林(2011)
[14] 詹森,法学博士;杜洛夫斯基,LJ,降阶模型在井控优化中的应用,Optim。英国,18,1105-132(2017年)·Zbl公司 1364.90401
[15] 伊塞博尔,OJ;杜洛夫斯基,LJ;埃切弗ía Ciaurri,D.,井位和控制约束联合优化的无导数方法学,计算。Geosci.,18,3463-482(2014年)
[16] 科里,乔治A。;斯马德贝克,詹姆斯;基斯里奇,克里斯A。;科斯科西迪斯,亚历山德拉J。;古兹曼,雅尼斯A。;塔玛米斯,法努里奥斯;Floudas,Christodoulos A.,Princeton_TIGRESS 2.0:在CASP11实验期间,通过支持向量机和分子动力学在双盲预测中实现高精炼一致性和净收益,蛋白质:结构、功能和生物信息学,85,6,1078-1098(2017)
[17] 李沃,A.,基于势能函数全局优化的蛋白质结构预测。自然。阿卡德。科学,96,10,5482(1999)
[18] DiMaio,F.,密度和能量引导的蛋白质结构优化改进分子替换,自然,473540(2011)
[19] Wang,C.,《基于自适应代理建模的优化评估》,环境。模型软件,60167-179(2014)
[20] 分,C-S;陈,C。;郑海华,基于响应面优化的土壤抽汽系统设计方法评价,J。水资源。计划。《管理》,135,3198-207(2009年)
[21] Jones博士,基于响应曲面的全局优化方法分类,J。球。优化,21,4345-383(2001)·Zbl公司 1172.90492
[22] 帕默,K。;Realff,M.,稳态流程模拟优化的元建模方法:模型生成,化学。《工程研究设计》,第80、7760-772页(2002年)
[23] 阿南德,P。;西瓦·普拉萨德,英属维尔京群岛;陈文凯,张国平,张国平,张国平,张国平,张国平,张国平,张国平,张国平,张国平,张国平,张国平,张国平,张国平,张国平,张国平,张国平,张国平,张国平,张国平,张。神经系统,19,2,127-136(2009)
[24] 郑,S。;村山,M。;Yamamoto,K.,使用Kriging模型的高效优化设计方法,J。《空军》,42413-420(2005年)
[25] 《回归变量子集的选择》,J。R。统计Soc。爵士。A(概述),147,3389-425(1984)·Zbl公司 584.62106
[26] 坎德ès、 EJ公司;罗姆伯格;Tao,T.,《从不完整和不准确的测量中恢复稳定的信号》,公共通讯。纯应用程序。数学,59,81207-1223(2006)·Zbl公司 1098.94009
[27] Guyon,I.,使用支持向量机进行癌症分类的基因选择,马赫。学习,46,1389-422(2002)·Zbl公司 998.68111
[28] Feng,G.,使用朴素贝叶斯进行文本分类的特征子集选择,模式识别。Lett.,65,109-115(2015年)
[29] 赖特,J.,《基于稀疏表示的鲁棒人脸识别》,IEEE Trans。肛门模式。机器。国际期刊,31,2,210-227(2009)
[30] Sahinidis,Nick,《ALAMO机器学习方法》,计算机辅助化学工程,2410(2016)
[31] 科扎德,A。;萨希尼迪斯,北。;Miller,D.,《综合第一原理和数据驱动的建模方法》,计算机。化学。工程学,73116-127(2015)
[32] 琼斯博士;肖洛,M。;韦尔奇,WJ,昂贵黑盒函数的有效全局优化,J。球。Optim.,13,4,455-492(1998年)·Zbl公司 917.90270
[33] 雷吉斯,RG;加州肖梅克,用径向基函数对昂贵黑盒函数的约束全局优化,J。球。Optim.,31,1153-171(2005年)·Zbl公司 1274.90511
[34] Gorissen,D.,一个基于计算机的设计的代理建模和自适应采样工具箱,J。机器。学习。第11号决议,2051-2055(2010年)
[35] 塔瓦马拉尼,M。;萨希尼迪斯,内华达州,一个多面体分支和切割方法的全局优化,数学。程序,103,2225-249(2005)·Zbl公司 1099.90047
[36] 黑斯蒂,T。;蒂比拉尼,R。;温赖特,M.,《稀疏性统计学习》(2015),纽约:查普曼和霍尔,纽约·Zbl公司 1319.68003
[37] Ren,H.:稀疏编码中的贪婪与L1凸优化:异常事件检测的比较研究(2015)
[38] Tibshirani,R.,回归收缩和通过套索选择,J。R。统计Soc。爵士。B(方法论),58,1267-288(1996)·Zbl公司 850.62538
[39] 邹,H。;黑斯蒂,T.,《通过弹性网络进行正则化和变量选择》,J。R。统计Soc。爵士。B(统计方法),67,2301-320(2005)·Zbl公司 1069.62054
[40] Hastie,T.,Qian,J.:Glmnet Vignette(2014年)[2018年引用;https://web.stanford.edu/ hastine/glmnet/glmnet_alpha.html]
[41] 邹,H。;黑斯蒂,T。;Tibshirani,R.,稀疏主成分分析,J。计算机。图表。Stat.,15,2265-286(2006年)
[42] Kawano,S.,具有自适应加载的稀疏主成分回归,计算机。统计数据分析,89192-203(2015)·Zbl公司 06921438
[43] 吉拉迪,P。;《偏最小二乘回归:一个教程,分析》。奇姆。Acta,185,1-17(1986年)
[44] 春,H。;凯尔ş, S、 ,同时降维和变量选择的稀疏偏最小二乘回归,J。R。统计Soc。爵士。B Stat.Methodol.,72,1,3-25(2010年)·Zbl公司 1411.62184
[45] 盖昂,我。;《变量与特征选择导论》,J。机器。学习。第3157-1182号决议(2003年)·Zbl公司 1102.68556
[46] 斯莫拉,AJ;附表ölkopf,B.,支持向量回归教程,统计计算,14,3,199-222(2004)
[47] 切尔卡斯基,V。;Ma,Y.,支持向量机回归参数的实际选择和噪声估计,神经网络,17,1113-126(2004)·Zbl公司 1075.68632
[48] 布考瓦拉,F。;哈桑,MMF;陈国华,陈国华,一般约束灰箱模型的全局优化:变压吸附约束偏微分方程的新方法及其应用,J。全球优化,67,1,3-42(2017)·Zbl公司 1359.90101
[49] Friedman,J.H.等人:包“glmnet”:套索和弹性网络正则化广义线性模型(2018)。https://cran.r-project.org/web/packages/glmnet/glmnet.pdf。访问日期:2018年5月1日
[50] sparse和Elastich软件包:用于稀疏PCA和Elasticu,2015。https://cran.r-project.org/web/packages/elasticnet/elasticnet.pdf。访问日期:2018年5月1日
[51] Kawano,S.:包“spcr”:稀疏主成分回归(2016)。https://cran.r-project.org/web/packages/spcr/spcr.pdf。访问日期:2018年5月1日
[52] Chung,D.,Chun,H.,Keleş, S、 :spls包1.0版简介(2018年)。https://cran.r-project.org/web/packages/spls/vignettes/spls-example.pdf。访问日期:2018年5月1日
[53] Karatzoglou,A.,Smola,A.J.,Hornik,K.:包“内核实验室”:基于内核的机器学习实验室(2018年)。https://cran.r-project.org/web/packages/kernlab/kernlab.pdf。访问日期:2018年5月1日
[54] Kuhn,M.:包“caret”:分类和回归培训(2018年)。https://cran.r-project.org/web/packages/caret/caret.pdf。访问日期:2018年5月1日
[55] 德鲁德:康诺特[2018年引用;https://www.gams.com/latest/docs/S_CONOPT.html
[56] 里奥斯,LM;无导数优化:算法回顾与软件实现比较,J。球。Optim.,56,3,1247-1293(2013年)·Zbl公司 1272.90116
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。