×

不等式约束下高斯过程的序列构造和降维。 (英语) Zbl 1491.60051号

摘要:在对黑盒函数进行昂贵的建模评估时,考虑不等式约束(如有界性、单调性或凸性)是一项挑战。在这方面,有限维高斯过程(GP)回归模型带来了一个有价值的解决方案,因为它们保证不等式约束在任何地方都得到满足。然而,这些模型目前仅限于小尺寸情况(直到尺寸5)。为了解决这个问题,我们引入了MaxMod算法,该算法顺序插入一维结或添加活动变量,从而同时执行降维和有效的结分配。我们证明了该算法的收敛性。在证明的中间步骤中,我们提出了多仿射扩张的概念并研究了其性质。我们还证明了当节点在输入空间中不稠密时,有限维GPs的收敛性,扩展了最近的文献。通过模拟和实际数据,我们证明了MaxMod算法在更高维(至少在20维)中仍然有效,并且与现有的其他约束GP模型相比,需要更少的节点才能达到给定的近似误差。

理学硕士:

60G15年 高斯过程
65日第10天 数值平滑、曲线拟合
62升99 顺序统计方法
第60页 统计学在工程和工业中的应用;控制图
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] D.Azzimonti,profExtrema:计算和可视化轮廓极值函数,https://cran.r-project.org/web/packages/profExtrema/index.html, 2018.
[2] D.Azzimonti、D.Ginsbourger、J.Rohmer和D.Idier,可视化和量化偏移区域不确定性的剖面极值。《沿海洪水应用》,《技术计量学》,61(2019),第474-493页。
[3] F.Bachoc、A.Lagnoux和A.F.Loípez-Lopera,不等式约束下高斯过程的最大似然估计,Electron。《J Stat.》,第13卷(2019年),第2921-2969页·Zbl 1428.62420号
[4] X.Bay和B.Gauthier,克里格插值的扩展公式,技术报告,圣埃蒂安矿业大学,2010年。
[5] X.Bay,L.Grammont和H.Maatouk,约束插值的Kimeldorf-Wahba对应的推广,电子。《统计杂志》,10(2016),第1580-1595页·Zbl 1348.60055号
[6] X.Bay,L.Grammont和H.Maatouk,在希尔伯特空间凸子集中插值的新方法,计算。最佳方案。申请。,68(2017),第95-120页·Zbl 1406.90127号
[7] J.Bect、F.Bachoc和D.Ginsbourger,基于高斯过程的序贯实验设计的超分割方法,Bernoulli,25(2019),第2883-2919页·Zbl 1428.62369号
[8] P.Bellec,形状限制回归中最小二乘估计的Sharp oracle不等式,Ann.Statist。,46(2018),第745-780页·Zbl 1408.62066号
[9] M.Ben Salem、O.Roustant、F.Gamboa和L.Tomaso,代理模型的通用预测分布,SIAM/ASA J.不确定性。数量。,5(2017年),第1086-1109页·兹伯利06861784
[10] A.Berlinet和C.Thomas Agnan,《概率与统计学中的核希尔伯特空间再现》,施普林格科学与商业媒体,纽约,2011年·Zbl 1145.6202号
[11] S.Boyd、S.P.Boyds和L.Vandenberghe,《凸优化》,剑桥大学出版社,英国剑桥,2004年·Zbl 1058.90049号
[12] J.-P.Chiles和P.Delfiner,《地理统计学:建模空间不确定性》,John Wiley&Sons,纽约,2009年·Zbl 1256.86007号
[13] A.Cousin、H.Maatouk和D.Rullière,《金融期限结构的克里金》,《欧洲期刊》。第255号决议(2016年),第631-648页·Zbl 1346.91264号
[14] J.Creutzig、T.Muíller-Gronbach和K.Ritter,随机过程的自由节点样条逼近,《复杂性杂志》,23(2007),第867-889页·兹伯利1134.65010
[15] S.Da Veiga和A.Marrel,带不等式约束的高斯过程建模,Ann.Fac。科学。图卢兹数学。,21(2012),第529-555页·Zbl 1279.60047号
[16] S.Da Veiga和A.Marrel,线性不等式约束下的高斯过程回归,可靠性工程系统安全,195(2020),106732·Zbl 1279.60047号
[17] C.De Boor,样条实用指南,应用。数学。科学。27,施普林格,纽约,2001年·Zbl 0987.65015号
[18] C.De Boor,《样条基础》,摘自《计算机辅助几何设计手册》,荷兰北荷兰特,阿姆斯特丹,2002年,第141-163页。
[19] D.Dupuy、C.Helbert和J.Franco、DiceDesign和DiceEval:计算机实验设计和分析的两个R包,《统计软件杂志》,65(2015),第1-38页。
[20] C.Durot,等张回归的夏普渐近,Probab。理论相关领域,122(2002),第222-240页·Zbl 0992.60028号
[21] C.Durot和H.P.Lopuhaa¨,单调函数估计中的极限理论,统计学。科学。,33(2018),第547-567页·Zbl 1407.62105号
[22] M.G.Genton,《机器学习的内核类:统计视角》,J.Mach。学习。Res.,2(2001),第299-312页·Zbl 1037.68113号
[23] S.Golchi、D.R.Bingham、H.Chipman和D.A.Campbell,计算机实验的单音模拟,SIAM/ASA J.Uncertain。数量。,3(2015),第370-392页·Zbl 1327.62146号
[24] D.Goldfarb和A.Idnani,求解严格凸二次规划的数值稳定对偶方法,数学。程序。,27(1983年),第1-33页·Zbl 0537.90081号
[25] R.Goldman,B样条近似和德布尔算法,《金字塔算法》,爱思唯尔,阿姆斯特丹,2003年,第347-443页。
[26] P.Groeneboom和G.Jongbloed,《形状约束下的非参数估计,统计和概率数学》38,剑桥大学出版社,英国剑桥,2014年·Zbl 1338.62008号
[27] P.Groeneboom、G.Jongbloed和J.Wellner,《凸函数的估计:特征和渐近理论》,《Ann.Stat.》,29(2001),第1653-1698页·Zbl 1043.62027号
[28] U.Hornung,《单色样条插值》,摘自《数值方法近似理论》,柏林斯普林格出版社,1978年,第172-191页·Zbl 0412.65007号
[29] Y.Hu,使用带自由节点的样条曲线进行数据简化的算法,IMA J.Numer。分析。,13(1993),第365-381页·Zbl 0781.65005号
[30] D.R.Jones、M.Schonlau和W.J.Welch,昂贵黑箱函数的有效全局优化,J.全局优化。,13(1998年),第455-492页·Zbl 0917.90270号
[31] D.Jupp,用带自由节点的样条曲线逼近数据,SIAM J.Numer。分析。,15(1978年),第328-343页·Zbl 0403.65004号
[32] M.C.Kennedy和A.O'Hagan,计算机模型的贝叶斯校准,J.R.Stat.Soc.Ser。B统计方法。,63(2001年),第425-464页·Zbl 1007.62021号
[33] L.P.Kobbelt,《多分辨率技术》,摘自《计算机辅助几何设计手册》,荷兰北部,阿姆斯特丹,2002年,第343-361页。
[34] L.Lin和D.B.Dunson,使用高斯过程投影的贝叶斯单调回归,《生物统计学》,101(2014),第303-317页·Zbl 1452.62285号
[35] A.F.Loípez-Lopera,lineqGPR:具有线性不等式约束的高斯过程回归模型,R包版本0.2.0,2019年,https://github.com/anfelopera/lineqGPR。
[36] A.F.Loípez-Lopera、F.Bachoc、N.Durrande、J.Rohmer、D.Idier和O.Roustant,《通过MC和MCMC逼近线性不等式约束和噪声观测的高斯过程仿真器》,载于《蒙特卡罗和准蒙特卡罗方法》,斯普林格,柏林,2020年,第363-381页·Zbl 07240104号
[37] A.F.Loípez-Lopera、F.Bachoc、N.Durrande和O.Roustant,带线性不等式约束的有限维高斯近似,SIAM/ASA J.Uncertain。数量。,6(2018年),第1224-1255页·Zbl 1405.60047号
[38] A.F.Loípez-Lopera、S.John和N.Durrande,线性不等式约束下的高斯过程调制Cox过程,载于《国际人工智能与统计会议》,2019年,第1997-2006页。
[39] H.Maatouk,带不等式约束和误差测量的高斯过程的有限维近似,预印本,https://hal.archives-ouvertes.fr/hal-01533356, 2017.
[40] H.Maatouk和X.Bay,用于不等式约束计算机实验的高斯过程模拟器,数学。地质科学。,49(2017年),第557-582页·Zbl 1371.65006号
[41] M.Niu、P.Cheung、L.Lin、Z.Dai、N.Lawrence和D.Dunson,复杂约束域上的内禀高斯过程,J.R.Stat.Soc.Ser。B统计方法。,81(2019),第603-627页·兹比尔1420.62274
[42] A.Pakman和L.Paninski,截断多元高斯的精确哈密顿蒙特卡罗,J.Comput。图表。统计学。,23(2014年),第518-542页。
[43] C.E.Rasmussen和C.K.I.Williams,《机器学习的高斯过程》,麻省理工学院出版社,马萨诸塞州剑桥,2005年·Zbl 1177.68165号
[44] P.Ray、D.Pati和A.Bhattacharya,带约束高斯过程先验的高效贝叶斯形状受限函数估计,统计。计算。,30(2020年),第839-853页·Zbl 1447.62137号
[45] J.Riihima­ki和A.Vehtari,具有单调信息的高斯过程,载于《国际人工智能与统计会议》,2010年,第645-652页。
[46] J.Rohmer、D.Idier、F.Paris、R.Pedreros和J.Louisor,《揭示导致海洋淹没的强迫和破坏场景:将数值模拟与随机分类方法相结合》,环境建模软件,104(2018),第64-80页。
[47] J.Sacks、W.Welch、T.Mitchell和H.Wynn,《计算机实验的设计与分析》,统计学。科学。,4(1989),第409-423页·Zbl 0955.62619号
[48] M.Slassi,带加性噪声随机微分方程的最优自由节点样条逼近,J.Compute。申请。数学。,261(2014),第62-71页·Zbl 1281.60063号
[49] M.Stein,《空间数据插值:克里格的一些理论》,Springer Ser。统计学。,Springer,纽约,1999年·Zbl 0924.62100号
[50] S.Zhou、P.Giulani、J.Piekarewicz、A.Bhattacharya和D.Pati,使用约束高斯过程重新检查质子半径问题,物理学。C版,99(2019),055202。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不声称其完整性或完全匹配。