×

线性不等式约束下的有限维高斯近似。 (英语) Zbl 1405.60047号

摘要:在高斯过程中引入不等式约束会导致学习大量现实问题时出现更现实的不确定性。我们考虑有限维高斯模型H.马图克X.海湾【《数学地质学》第49卷第5期,第557–582页(2017年;Zbl 1371.65006号)]它可以处处满足不等式条件(有界性、单调性或凸性)。我们的贡献是三重的。首先,我们扩展了他们的方法,以处理线性不等式组。其次,我们探索了不同的马尔可夫链蒙特卡罗(MCMC)方法来近似后验分布。第三,我们研究协方差参数估计的约束似然的理论和数值性质。根据对人工数据和实际数据的实验,我们的框架和哈密顿蒙特卡罗采样器在数据拟合和不确定性量化方面提供了有效的结果。

MSC公司:

60G15年 高斯过程
2012年12月62日 参数估计量的渐近性质
62层30 约束条件下的参数化推理
第60页 统计学在工程和工业中的应用;控制图
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] C.E.Rasmussen和C.K.I.Williams,{机器学习的高斯过程(自适应计算和机器学习)},麻省理工学院出版社,马萨诸塞州剑桥,2005年。
[2] C.J.Paciorek和M.J.Schervish,{高斯过程回归的非平稳协方差函数},《神经信息处理系统会议论文集》,麻省理工学院出版社,马萨诸塞州剑桥,2004年。
[3] E.Snelson和Z.Ghahramani,{使用伪输入的稀疏高斯过程},《神经信息处理系统进展》18,Y.Weiss、P.B.Scho¨lkopf和J.C.Platt编辑,麻省理工学院出版社,马萨诸塞州剑桥,2006年,第1257-1264页。
[4] H.Nickisch和C.Rasmussen,{二元高斯过程分类的近似},J.Mach。学习。第9号决议(2008年),第2035-2078页·Zbl 1225.62087号
[5] K.P.Murphy,《机器学习:概率观点》(自适应计算和机器学习系列)},麻省理工学院出版社,马萨诸塞州剑桥,2012年·Zbl 1295.68003号
[6] H.Maatouk和X.Bay,{用于不等式约束计算机实验的高斯过程模拟器},数学。地质科学。,49(2017年),第557-582页·Zbl 1371.65006号
[7] S.Da Veiga和A.Marrel,{带不等式约束的高斯过程建模},Ann.Fac。科学。图卢兹数学。,21(2012),第529-555页·兹比尔1279.60047
[8] S.Golchi、D.R.Bingham、H.Chipman和D.A.Campbell,《计算机实验的单调模拟》,SIAM/ASA J.Uncertain。数量。,3(2015),第370-392页·Zbl 1327.62146号
[9] J.Riihimaïki和A.Vehtari,具有单调性信息的高斯过程,《机器学习研究院刊》,2010年第9卷,第645-652页。
[10] A.Cousin、H.Maatouk和D.Rullière,《金融期限结构的克里金》,《欧洲期刊》。第255号决议(2016年),第631-648页·Zbl 1346.91264号
[11] J.Vanhatalo和A.Vehtari,{通过MCMC的稀疏对数高斯过程用于空间流行病学},《机器学习研究论文集》,2007年第1卷,第73-89页。
[12] X.Bay,L.Grammont和H.Maatouk,{约束插值的Kimeldorf-Wahba对应的推广},电子。《统计杂志》,10(2016),第1580-1595页·Zbl 1348.60055号
[13] H.Maatouk和X.Bay,{限制于凸集的截断多元高斯随机变量的一种新的拒绝抽样方法},Springer,纽约,2016年,第521-530页·Zbl 1356.65012号
[14] H.Maatouk,O.Roustant和Y.Richet,{带不等式约束的高斯过程超参数的交叉验证估计},Procedia Environ。科学。,27(2015),第38-44页。
[15] H.Maatouk,{不等式约束高斯过程的有限维逼近},arXiv:1706.021782017·Zbl 1371.65006号
[16] A.Pakman和L.Paninski,{截断多元高斯函数的精确哈密顿蒙特卡罗},J.Compute。图表。统计学。,23(2014年),第518-542页。
[17] C.D.Meyer,{矩阵分析与应用线性代数},SIAM,费城,2000年·Zbl 0962.15001号
[18] J.Kocijan,《使用高斯过程模型对动态系统进行建模和控制》,高级工业控制,斯普林格,纽约,2016年·Zbl 1339.93004号
[19] A.Genz,{多元正态概率的数值计算},J.计算。图表。统计学。,1(1992年),第141-150页。
[20] Z.I.Botev,{线性约束下的正规律:通过极大极小倾斜进行模拟和估计},J.Roy。统计师。Soc.序列号。B、 79(2017),第125-148页·Zbl 1414.62102号
[21] J.Taylor和Y.Benjamini,{it RestrictedMVN:受仿射约束约束的多元正态},2017年。
[22] S.Brooks、A.Gelman、G.Jones和X.Meng,《马尔可夫链蒙特卡罗手册》,查普曼和霍尔/CRC Handb。国防部。《统计方法》,CRC出版社,佛罗里达州博卡拉顿,2011年·Zbl 1218.65001号
[23] R.M.Neal,《神经网络贝叶斯学习》,Springer,纽约,1996年·Zbl 0888.62021号
[24] S.Duane、A.D.Kennedy、B.J.Pendleton和D.Roweth,《物理混合蒙特卡罗》。莱特。B、 195(1987),第216-222页。
[25] L.Gong和J.M.Flegal,{高维马尔可夫链蒙特卡罗的实用顺序停止规则},J.Compute。图表。统计学。,25(2016),第684-700页。
[26] C.J.Geyer,{实用马尔可夫链蒙特卡罗},统计学。科学。,7(1992年),第473-483页。
[27] D.Vats、J.M.Flegal和G.L.Jones,{\it Markov Chain Monte Carlo的多变量输出分析},arXiv:11512.077132017·Zbl 1434.62100号
[28] S.Lan和B.Shahbaba,{使用球形增强的抽样约束概率分布},Springer,纽约,2016年,第25-71页·Zbl 1395.62054号
[29] D.Dupuy、C.Helbert和J.Franco,《DiceDesign和DiceEval:计算机实验设计和分析的两个R包》,J.Statist。软质。,65(2015年)。
[30] S.G.Johnson,{NLopt非线性优化包}。
[31] K.Svanberg,{基于保守凸可分逼近的一类全局收敛优化方法},SIAM J.Optim。,12(2002),第555-573页·Zbl 1035.90088号
[32] H.Zhang,{基于模型的地质统计学中的不一致估计和渐近相等插值},J.Amer。统计师。协会,99(2004),第250-261页·Zbl 1089.62538号
[33] M.Stein,《空间数据的插值:克里金的一些理论》,Springer Ser。统计学。,Springer,纽约,1999年·Zbl 0924.62100号
[34] 杜钧,张浩,和曼德雷卡,{锥形极大似然估计量}的固定域渐近性质,Ann.Statist。,37(2009),第3330-3361页·Zbl 1369.62248号
[35] Z.Ying,{空间抽样方案下参数的最大似然估计},Ann.Statist。,21(1993),第1567-1590页·Zbl 0797.62019号
[36] W.L.Loh,{\it Matern-型高斯随机场}子类的固定域渐近性,Ann.Statist。,33(2005),第2344-2394页·Zbl 1086.62111号
[37] Loh和Lam,{估计光滑高斯随机场模型中的结构相关矩阵},Ann.Statist。,28(2000),第880-904页·Zbl 1105.62376号
[38] O.Kallenberg,《现代概率的基础》,Probab。申请。(纽约),斯普林格,纽约,2002年·兹比尔0996.60001
[39] J.Bect、F.Bachoc和D.Ginsbourger,{基于高斯过程的序贯实验设计的超常方法},arXiv:1608.011182016·Zbl 1428.62369号
[40] 国际原子能机构(IAEA),《处理裂变材料的临界安全:特定安全指南》,IAEA安全标准系列SSG-272014。
[41] F.Fernex、L.Heulers、O.Jacquet、J.Miss和Y.Richet,{it The MORET(4B)Monte Carlo code–New features to treate complex criticality systems},《数学与计算超级计算、反应堆物理和核与生物应用国际会议论文集》,法国阿维尼翁,第59卷,2005年。
[42] A.Gelman和X.-L.Meng,《模拟归一化常数:从重要性抽样到桥接抽样到路径抽样》,统计学。科学。,13(1998年),第163-185页·Zbl 0966.65004号
[43] R.J.Adler,《广义高斯过程的连续性、极值和相关主题导论》,IMS,加利福尼亚州海沃德,1990年·Zbl 0747.60039号
[44] I.Ibragimov和Y.Rozanov,{高斯随机过程},Springer,纽约,1978年·Zbl 0392.60037号
[45] T.Santner、B.Williams和W.Notz,《计算机实验的设计与分析》,Springer,纽约,2003年·Zbl 1041.62068号
[46] J.-M.Azaiõs和M.Wschebor,《随机过程和场的水平集和极值》,John Wiley&Sons,纽约,2009年·Zbl 1168.60002号
[47] W.V.Li和W.Linde,{高斯测度的近似、度量熵和小球估计},Ann.Probab。,27(1999),第1556-1578页·兹比尔0983.60026
[48] M.I.Yadrenko,{随机场谱理论},Springer,纽约,1983年·Zbl 0539.60048号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。