×
纳乌法尔·阿查基;安托万·伯顿塞洛;乔瑟林·加尼尔

基于交叉验证方法的高斯过程稳健预测区间估计。 （英语） Zbl 07626668号

计算。统计数据分析。 178，文章ID 107597，24 p.（2023）.
概要：概率回归模型通常使用最大似然估计或交叉验证来拟合参数。这些方法可以为平均拟合观测值的解提供优势，但它们不注意预测间隔的覆盖范围和宽度。使用稳健的两步方法解决高斯过程回归预测区间的调整和校准问题。首先，协方差超参数由标准的交叉验证或最大似然估计方法确定。引入Leave-One-Out覆盖概率作为调整协方差超参数的指标，并将最优II型覆盖概率评估到标称水平。然后应用松弛方法选择超参数，以最小化具有初始超参数的高斯分布（通过交叉验证或最大似然估计获得）与具有达到期望覆盖概率的超参数的拟议高斯分布之间的Wasserstein距离。该方法给出了具有适当覆盖概率和较小宽度的预测间隔。

MSC公司：

62至XX 统计

关键词：

交叉验证;覆盖概率;高斯过程;预测区间

软件：

共形推理;ElemStatLearn（电子状态学习）
PDF格式BibTeX公司 XML格式引用
\textit｛N.Acharki｝等人，计算。统计数据分析。178，文章ID 107597，24 p.（2023；Zbl 07626668）
全文： 内政部 arXiv公司
OA许可证

参考文献：

[1] Bachoc，F.，模型错误高斯过程超参数的交叉验证和最大似然估计，计算。统计数据分析。，66, 55-69 (2013) ·Zbl 1471.62021号
[2] Bachoc，F.，《协方差函数的估计参数与模型的Krigeage par processus Gaussens:模拟不确定性的量化应用》（2013），巴黎大学7，博士论文
[3] 巴伯，F.R。；坎迪斯，E.J。；A.拉姆达斯。；Tibshirani，R.J.，无分布条件预测推理的极限，Inf.inference，10455-482（2020）·兹比尔1475.62153
[4] Berge，C.，《拓扑空间：包括多值函数的处理、向量空间和凸性》（1963），Oliver&Boyd·Zbl 0114.38602号
[5] 柯林，C。；米切尔·T·J。；莫里斯医学博士。；Ylvisaker，D.，确定性函数的贝叶斯预测及其在计算机实验设计和分析中的应用，美国统计协会，86，953-963（1991）
[6] De Oliveira，V.，《具有测量误差的空间数据的客观贝叶斯分析》，加拿大。J.Stat.，35，283-301（2007）·Zbl 1129.62086号
[7] 德奥利维拉，V。；J.O.伯杰。；Sansó，B.，《空间相关数据的客观贝叶斯分析》，美国统计协会，96，1361-1374（2001）·兹比尔1051.62095
[8] Dubrule，O.，《克里金在独特邻域中的交叉验证》，J.Int.Assoc.Math。地质。，15, 687-699 (1983)
[9] Efron，B.，Jackknife-after bootstrap标准错误和影响函数，J.R.Stat.Soc.，Ser。B、 Methodol.方法。，54, 83-127 (1992) ·Zbl 0782.62051号
[10] 埃夫隆，B。；Tibshirani，R.，《Bootstrap简介》，Chapman&Hall/CRC统计与应用概率专著（1994），Taylor&Francis
[11] Filippone，M。；钟，M。；Girolma，M.A.，高斯过程模型随机推理方法的比较评估，马赫数。学习。，93, 93-114 (2013) ·Zbl 1294.62048号
[12] Forrester，A.I.J。；Sóbester，A。；Keane，A.J.，《通过替代模型进行工程设计：实用指南》，《航天和航空进展》（2008年），美国航空航天研究所
[13] Gal，Y。；Ghahramani，Z.，《作为贝叶斯近似的辍学：表示深度学习中的模型不确定性》，（第33届机器学习国际会议论文集。第33届国际机器学习会议论文集，纽约。第33届机器学习国际会议论文集。第33届机器学习国际会议论文集，纽约，机器学习研究论文集，第48卷（2016），PMLR:PMLR纽约，美国），1050-1059
[14] 哈斯蒂，T。；Tibshirani，R。；Friedman，J.，《统计学习的要素：数据挖掘、推断和预测》，《统计学中的斯普林格系列》（2009），斯普林格：斯普林格纽约·兹比尔1273.62005
[15] Heskes，T.，实用置信度和预测区间，（《神经信息处理系统进展》9（1997），麻省理工学院出版社），176-182
[16] Y.Hong。；米克尔，W.Q。；McCalley，J.D.，基于左截断和右删失寿命数据的电力变压器剩余寿命预测，Ann.Appl。统计，3857-879（2009）·Zbl 1166.62074号
[17] 黄，J.T.G。；丁，A.A.，人工神经网络的预测区间，美国统计协会，92，748-757（1997）·Zbl 1090.62559号
[18] Iooss，B。；Marrel，A.，一种用于分析和建模具有大量输入的计算机实验的有效方法，（UNCECOMP 2017第二届ECCOMAS计算科学和工程不确定性量化专题会议。UNCECOMP 2017年第二届ECCOMAS计算科学与工程不确定性量化专题会议，希腊罗德岛（2017年），187-197年
[19] Khosravi，A。；Nahavandi，S。；Creighton，D.，一种基于预测间隔的方法，用于确定神经网络元模型的最佳结构，专家系统。申请。，37, 2377-2387 (2010)
[20] Khosravi，A。；Nahavandi，S。；克雷顿，D。；Atiya，A.F.，构建基于神经网络的预测区间的上下限估计方法，IEEE Trans。神经网络。，22, 337-346 (2011)
[21] Kleijnen，J.P.C。；Sargent，R.G.，《在仿真中拟合和验证元模型的方法》，欧洲期刊Oper。决议，120，14-29（2000）·兹伯利0985.65007
[22] 兰登，J。；Singpurwalla，N.，《为预测区间选择覆盖概率》，《美国统计》，62120-124（2008）
[23] Lawless，J.F。；Fredette，M.，《频数预测区间和预测分布》，《生物统计学》，92，529-542（2005）·Zbl 1183.62052号
[24] Lei，J。；G'Sell，M。；里纳尔多，A。；Tibshirani，R.J。；Wasserman，L.，回归的无分布预测推断，美国统计协会，1131094-1111（2018）·Zbl 1402.62155号
[25] 李凯。；王，R。；Lei，H。；张，T。；刘，Y。；Zheng，X.，使用改进的bootstrap方法进行太阳能的区间预测，Sol。能源，15997-112（2018）
[26] 麦凯，D.J.C.，《反向传播网络的实用贝叶斯框架》，神经计算。，4, 448-472 (1992)
[27] Mardia，K.V。；Marshall，R.J.，空间回归中残差协方差模型的最大似然估计，Biometrika，71，135-146（1984）·兹比尔0542.62079
[28] Meinshausen，N.，分位数回归森林，J.Mach。学习。第7983-999号决议（2006年）·Zbl 1222.68262号
[29] Moon，H.，《筛选输入变量的计算机实验设计与分析》（2010年），俄亥俄州立大学博士论文
[30] 莫罗科夫，W.J。；Caflisch，R.E.，《准蒙特卡罗积分》，J.Compute。物理。，122, 218-230 (1995) ·Zbl 0863.65005号
[31] Muré，J.，《各向异性相关核克里金模型的客观贝叶斯分析》（2018），巴黎大学博士论文
[32] Muré，J.，高斯过程建模中参考后验分布的适用性，Ann.Stat.，49，2356-2377（2021）·Zbl 1484.62034号
[33] Neal，R.M.，《使用马尔可夫链蒙特卡罗方法进行概率推断》（1993），多伦多大学计算机科学系，技术报告
[34] Neal，R.M.，《神经网络的贝叶斯学习》（1996），Springer:Springer New York·兹比尔0888.62021
[35] 尼克斯·D.A。；Weigend，A.S.，估计目标概率分布的平均值和方差，（1994年IEEE神经网络国际会议论文集（ICNN'94），第1卷（1994）），55-60
[36] 奥克利，J.E。；O'Hagan，A.，《复杂模型的概率敏感性分析：贝叶斯方法》，J.R.Stat.Soc.，Ser。B、 统计方法。，66, 751-769 (2004) ·Zbl 1046.62027号
[37] 俄亥俄州自然资源部，俄亥俄州油气井定位器（2022）
[38] 彭，J。；刘，D。；彭，Y。；Peng，X.，优化传感器监测系列异常检测预测区间的覆盖概率，Sensors（瑞士巴塞尔），18（2018）
[39] Pearce，T。；布林特鲁普，A。；Zaki，M。；Neely，A.，《深度学习的高质量预测区间：无分布集成方法》， （第35届机器学习国际会议论文集。第35届国际机器学习会议论文集，瑞典斯德哥尔摩研究，第80卷（2018），PMLR:PMLR斯德哥尔摩，瑞典），4075-4084
[40] 拉斯穆森，C.E。；Williams，C.K.I.，《机器学习的高斯过程（自适应计算和机器学习）》（2005），麻省理工学院出版社
[41] Ren，C。；Sun，D。；He，C.Z.，具有块金效应的空间模型的客观贝叶斯分析，J.Stat.Plan。推理，1421933-1946（2012）·Zbl 1237.62034号
[42] 罗伯特·C·P。；Casella，G.，Monte Carlo统计方法（2004），Springer:Springer New York·兹比尔1096.62003
[43] 罗曼诺，Y。；帕特森，E。；Candès，E.J.，保形分位数回归，（神经信息处理系统进展32（NIPS 2019）（2019），Curran Associates，Inc.），3538-3548
[44] Rosenblatt，M.，Review:A.M.Yaglom，平稳函数和随机函数的相关理论，第一卷；基本结果，第二卷，补充说明和参考，公告。，新序列号。，美国数学。Soc.，207-211页（1989年）
[45] Roustant，O。；Padonou，E。；Deville，Y。；Clément，A。；佩林，G。；乔拉·J。；Wynn，H.，带分类输入的高斯过程元模型的群核，SIAM/ASA J.不确定性。量化。，8, 775-806 (2020) ·Zbl 1443.60040号
[46] 桑特纳，T.J。；威廉姆斯，B.J。；Notz，W.I.，《计算机实验的设计与分析》（2003），Springer:Springer纽约·Zbl 1041.62068号
[47] 证券交易委员会，《石油和天然气报告现代化》，修订和增补条例s-x（2010）第4-10条中的定义部分
[48] 夏皮罗，S.S。；Wilk，M.B.，《正态性方差检验分析（完整样本）》，《生物统计学》，52，591-611（1965）·Zbl 0134.36501号
[49] 石油工程师学会，石油储量和资源定义（2022）
[50] Stein，M.L.，《空间数据插值》（1999），施普林格出版社：纽约施普林格·Zbl 0924.62100号
[51] Tipping，M.E.，《贝叶斯推理：机器学习原理和实践导论》，（机器学习高级讲座：ML暑期学校2003，澳大利亚堪培拉，2003年2月2日至14日，德国杜宾根，2003年8月4日至16日，修订讲座（2004），斯普林格·柏林-海德堡：斯普林格尔·柏林-海德堡-柏林，海德堡）·Zbl 1120.68438号
[52] 维拉尼，C.，《瓦瑟斯坦距离》（The Wasserstein distances），（《最佳交通：新旧》（2009），斯普林格柏林-海德堡：斯普林格-柏林-海德堡-柏林，海德堡），93-111
[53] Wager，S.等人。；哈斯蒂，T。；Efron，B.，《随机森林的置信区间：折刀和无穷小折刀》，J.Mach。学习。第15号、第1号、第1625-1651号决议（2014年）·Zbl 1319.62132号
[54] Wallach，D。；Goffinet，B.，预测均方误差作为评估和比较系统模型的标准，Ecol。型号。，44, 299-306 (1989)
[55] 威廉姆斯，C。；Barber，D.，高斯过程贝叶斯分类，IEEE Trans。模式分析。机器。智力。，20, 1342-1351 (1998)
[56] 张，H。；Wang，Y.，《海量空间数据的克里格和交叉验证》，环境计量学，21，290-304（2010）
[57] 张，H。；齐默尔曼，J。；Nettleton，D。；Nordman，D.，《随机森林预测间隔》，《美国统计》，74392-406（2020）·Zbl 07593707号
[58] 赵，J.，最优解集的下半连续性，J.Math。分析。申请。，207, 240-254 (1997) ·Zbl 0872.9003号
[59] Zhou，Y.，整合的自适应重要性抽样（1998），斯坦福大学博士论文
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。