×
朱利安·贝特;弗朗索瓦·巴霍克;大卫·金斯堡

基于高斯过程的序贯实验设计的超分割方法。 （英语） Zbl 1428.62369号

伯努利 25，第4A号，2883-2919（2019）.
摘要：高斯过程（GP）模型已成为成本高昂的实验，尤其是计算机实验的自适应设计的一个成熟框架。基于GP的序列设计对于各种目标都非常有效，例如全局优化（估计函数的全局最大值或最大值）、可靠性分析（估计失效概率）或水平集和偏移集的估计。在本文中，我们研究了一类重要的序列设计的一致性，称为逐步减少不确定性（SUR）策略。我们的方法依赖于关键观察结果，即在SUR策略中，剩余不确定性度量序列通常是相对于观察结果产生的过滤而言的一个超模。这一观察结果使我们能够为一类广泛的SUR策略建立通用一致性结果。然后，通过这个通用方法，获得了几种流行的顺序设计策略的一致性结果。值得注意的是，我们建立了由J.贝特等【统计计算22，第3号，773–793（2012；Zbl 1252.62081号)]–据我们所知，这些是基于GP的序列设计算法一致性的首次证明，这些算法专门用于估计偏移集及其度量。我们还为全局优化的预期改进算法建立了一个新的、更一般的一致性证明，与文献中以前的结果不同，该算法适用于任何具有连续样本路径的GP。

引用于20文件

MSC公司：

62升05 顺序统计设计
68T05型 人工智能中的学习和自适应系统
60G48型 鞅的推广
60G15年 高斯过程

关键词：

主动学习;汇聚;实验的序贯设计;逐步降低不确定性;超级马丁格尔;不确定性泛函

引文：

Zbl 1252.62081号

软件：

EGO公司
PDF格式BibTeX公司 XML格式引用
\textit{J.Bect}等人，Bernoulli 25，No.4A，2883-2919（2019；Zbl 1428.62369）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Adler，R.J.（1981）。随机域的几何。概率与数理统计中的威利级数。奇切斯特：威利·Zbl 0478.60059号
[2] Azaïs，J.-M.和Wschebor，M.（2009年）。随机过程和场的水平集和极值。新泽西州霍博肯：威利·Zbl 1168.60002号
[3] Azzimonti，D.、Ginsbourger，D.、Chevalier，C.、Bect，J.和Richet，Y.（2018年）。漂移集保守估计实验的自适应设计。ArXiv预打印，ArXiv:1611.07256v3。
[4] Bayarri，M.J.、Berger，J.O.、Paulo，R.、Sacks，J.、Cafeo，J.A.、Cavendish，J.，Lin，C.-H.和Tu，J.（2007年）。计算机模型验证框架。技术计量49 138-154。
[5] Bect，J.、Li，L.和Vazquez，E.（2017年）。贝叶斯子集模拟。SIAM/ASA J.不确定性。数量。5 762-786·Zbl 06861829号 ·doi:10.1137/16M1078276
[6] Bect，J.、Ginsbourger，D.、Li，L.、Picheny，V.和Vazquez，E.（2012）。用于估计失效概率的计算机实验的顺序设计。《法律总汇》第22卷第773-793页·Zbl 1252.62081号 ·doi:10.1007/s11222-011-9241-4
[7] Billingsley，P.（1999）。概率测度的收敛性，第二版，《概率与统计中的威利级数：概率与统计》。纽约：Wiley。Wiley-Interscience出版物·Zbl 0944.60003号
[8] Bogachev，V.I.（1998）。高斯度量。数学调查和专题论文62。普罗维登斯，RI:Amer。数学。Soc。。
[9] Brezis，H.（2011）。泛函分析，Sobolev空间和偏微分方程。Universitext公司。纽约：斯普林格·Zbl 1220.46002号
[10] Bull，A.D.（2011年）。高效全局优化算法的收敛速度。J.马赫。学习。第12号决议2879-2904·Zbl 1280.90094号
[11] Chevalier，C.、Ginsbourger，D.、Bect，J.、Vazquez，E.、Picheny，V.和Richet，Y.（2014）。基于快速并行kriging的逐步不确定性约简及其在偏移集识别中的应用。技术计量56 455-465。
[12] Cohn，D.A.、Ghahramani，Z.和Jordan，M.I.（1996）。使用统计模型进行主动学习。《人工智能研究》4 129-145·Zbl 0900.68366号 ·电话：10.1613/jair.295
[13] Cover，T.M.和Thomas，J.A.（1991年）。信息论要素。威利电信系列。纽约：Wiley。Wiley-Interscience出版物·Zbl 0762.94001号
[14] 北卡罗来纳州克雷西（1993）。空间数据统计。概率与数理统计中的威利级数：应用概率与统计。纽约：Wiley。1991年版的修订再版，Wiley-Interscience出版物·Zbl 1347.62005年
[15] DeGroot，M.H.（1962年）。不确定性、信息和顺序实验。安。数学。统计数字33 404-419·兹比尔0151.22803 ·doi:10.1214/aoms/1177704567
[16] DeGroot，M.H.（1984年）。作为信息的实用程序中的更改。理论与决策17 287-303·Zbl 0572.90010号 ·doi:10.1007/BF00132613
[17] DeGroot，M.H.（1986年）。基于效用的信息概念。《效用和风险理论基础的最新发展》（L.Daboni、A.Montesano和M.Lines编辑）265-275。荷兰多德雷赫特：施普林格。
[18] Diaconis，P.（1988年）。贝叶斯数值分析。《统计决策理论及相关主题》，第四卷，第1卷（西拉斐特，印第安纳州，1986年）163-175。纽约：斯普林格·Zbl 0671.65117号
[19] Emmerich，M.、Giannakoglou，K.和Naujoks，B.（2006年）。高斯随机场元模型辅助的单目标和多目标优化。IEEE传输。进化。计算10。
[20] Feliot，P.、Bect，J.和Vazquez，E.（2017年）。约束单目标优化的贝叶斯方法。《全球优化杂志》67 97-133·Zbl 1390.90441号 ·doi:10.1007/s10898-016-0427-3
[21] Forrester，A.、Sobester，A.和Keane，A.（2008）。通过代理建模进行工程设计：实用指南。威利。
[22] Frazier，P.（2009）。统计学习的知识梯度方法。密歇根州安阿伯：ProQuest LLC.论文（博士）-普林斯顿大学。
[23] 弗雷泽，P.I.、鲍威尔，W.B.和达亚尼克，S.（2008）。用于连续信息收集的知识粒度策略。SIAM J.控制优化47 2410-2439·Zbl 1274.62155号 ·数字对象标识代码：10.1137/070693424
[24] Frazier，P.、Powell，W.和Dayanik，S.（2009年）。相关正常信念的知识粒度政策。信息J.计算21 599-613·Zbl 1243.91014号 ·doi:10.1287/ijoc.1080.0314
[25] Geman，D.和Jedynak，B.（1996年）。一种用于跟踪卫星图像中道路的主动测试模型。IEEE传输。模式分析。机器。情报.18 1-14。
[26] Ginsbourger，D.、Roustant，O.和Durrande，N.（2016年）。随机场路径的简并性和不变性及其在高斯过程建模中的应用。J.统计。计划。推断170 117-128·Zbl 1329.60135号 ·doi:10.1016/j.jspi.2015.10.002
[27] Ginsbourger，D.、Baccou，J.、Chevalier，C.、Perales，F.、Garland，N.和Monerie，Y.（2014）。轮廓优化和优化器的贝叶斯自适应重建。SIAM/ASA J.不确定性。量化。2 490-510·Zbl 1308.62157号 ·doi:10.1137/130949555
[28] Gramacy，R.B.、Gray，G.A.、Le Digabel，S.、Lee，H.K.H.、Ranjan，P.、Wells，G.和Wild，S.M.（2016）。黑箱约束优化的增广拉格朗日模型。技术计量58 1-11。
[29] Grünewälder，S.、Audibert，J.-Y.、Opper，M.和Shawe-Taylor，J.（2010）。高斯进程强盗问题的遗憾边界。在国际人工智能和统计会议上。
[30] Hainy，M.、Müller，W.G.和Wynn，H.P.（2014）。学习函数和近似贝叶斯计算设计：ABCD。入口16 4353-4374·兹比尔1341.62091 ·doi:10.3390/e16084353
[31] Hennig，P.、Osborne，M.A.和Girolami，M.（2015）。概率数字和计算中的不确定性。程序。R.Soc.伦敦。序列号。数学。物理学。工程科学471 20150142，17·Zbl 1372.65010号 ·doi:10.1098/rspa.2015.0142
[32] Ibragimov，I.d.A.和Rozanov，Y.A.（1978年）。高斯随机过程。数学应用9。纽约-柏林：斯普林格。A.B.白羊座翻译自俄语·Zbl 0392.60037号
[33] Johnson，R.（1960年）。诊断的信息论方法。第六届可靠性和质量控制研讨会论文集102-109。
[34] Jones，D.R.、Schonlau，M.和Welch，W.J.（1998年）。对昂贵的黑盒函数进行有效的全局优化。J.全球优化。13 455-492。全球优化研讨会（Trier，1997）·Zbl 0917.90270号 ·doi:10.1023/A:1008306431147
[35] Kallenberg，O.（2002）。现代概率基础，第二版，概率及其应用（纽约）。纽约：斯普林格·Zbl 0996.60001号
[36] King-Smith，P.E.，Grigsby，S.S.，Vingrys，A.J.，Benes，S.C.和Supowit，A.（1994年）。QUEST阈值方法的有效和无偏修改：理论、模拟、实验评估和实际实现。视力研究34 885-912。
[37] Koehler，J.R.、Puhalskii，A.A.和Simon，B.（1998年）。通过仿真评估的函数估计：贝叶斯/分析方法。附录申请。可能性8 1184-1215·Zbl 0928.62055号 ·doi:10.1214/aoap/1028903377
[38] Ledoux，M.和Talagrand，M.（2011年）。巴拿赫空间中的概率：等高线和过程。数学经典。柏林：斯普林格。1991年版重印·Zbl 1226.60003号
[39] Lukić，M.N.和Beder，J.H.（2001年）。再生核Hilbert空间中具有样本路径的随机过程。事务处理。阿默尔。数学。Soc.353 3945-3969·兹比尔0973.60036 ·doi:10.1090/S0002-9947-01-02852-5
[40] 麦凯，D.J.C.（1992年）。主动数据选择的基于信息的目标函数。神经计算。4 590-604。
[41] Mockus，J.B.、Tiesis，V.和Ju ilinskas，A.（1978年）。贝叶斯方法在求极值中的应用。《迈向全局优化》第2卷（L.C.W.Dixon和G.P.Szegö，eds.）117-129。纽约：北荷兰·Zbl 0394.90090号
[42] Molchanov，I.（2005）。随机集理论。概率及其应用（纽约）。伦敦：施普林格伦敦有限公司·Zbl 1109.60001号
[43] O'Geran，J.H.、Wynn，H.P.和Zhiglyavsky，A.A.（1993年）。Mastermind作为搜索算法的测试平台。第631-37页。
[44] O'Hagan，A.（1991）。Bayes-Hermite求积。J.统计。计划。推断29 245-260·Zbl 0829.65024号
[45] 医学博士Perlman（1974年）。无穷维空间上凸向量值函数的Jensen不等式。《多变量分析杂志》，第4 52-65页·Zbl 0274.28012号 ·doi:10.1016/0047-259X（74）90005-0
[46] Picheny，V.（2014）。约束全局优化的逐步不确定性减少方法。第17届国际人工智能与统计会议（AISTATS）论文集。
[47] Picheny，V.、Ginsbourger，D.、Roustant，O.、Haftka，R.和Kim，N.-H.（2010年）。精确逼近目标区域的自适应实验设计。J.机械。设计132。
[48] Ranjan，P.、Bingham，D.和Michailidis，G.（2008）。复杂计算机代码轮廓估计的序贯实验设计。技术计量50 527-541。
[49] Ritter，K.（2000年）。数值问题的平均案例分析。数学讲义1733。柏林：斯普林格·Zbl 0949.65146号
[50] Sacks，J.、Welch，W.J.、Mitchell，T.J.和Wynn，H.P.（1989）。计算机实验的设计与分析。统计师。科学4 409-435。作者进行了评论和反驳·Zbl 0955.62619号 ·doi:10.1214/ss/1177012413
[51] Santner，T.J.、Williams，B.J.和Notz，W.I.（2003）。计算机实验的设计与分析。统计学中的斯普林格系列。纽约：斯普林格·Zbl 1041.62068号
[52] Schönfeld，P.（1973）。关于伪宇宙可测性的注记。《计量经济学杂志》313-314·Zbl 0287.15004号 ·doi:10.1016/0304-4076（73）90012-2
[53] Scott，W.、Frazier，P.和Powell，W.（2011年）。使用高斯过程回归模拟优化连续参数的相关知识梯度。SIAM J.Optim.21 996-1026·兹比尔1229.62018 ·doi:10.1137/100801275
[54] Shahriari，B.、Swersky，K.、Wang，Z.、Adams，R.和de Freitas，N.（2016）。让人类脱离循环：贝叶斯优化综述。程序。IEEE104 148-175。
[55] Srinivas，N.、Krause，A.、Kakade，S.M.和Seeger，M.W.（2012年）。土匪环境下高斯过程优化的信息论遗憾界。IEEE传输。通知。神学58 3250-3265·Zbl 1365.94131号 ·doi:10.1109/TIT.2011.2182033
[56] Stein，M.L.（1999）。空间数据插值：克里格的一些理论。统计学中的斯普林格系列。纽约：斯普林格·Zbl 0924.62100号
[57] 斯特罗克·D.W.（2011）。《概率论：分析观点》，第二版，剑桥：剑桥大学出版社·Zbl 1223.60001号
[58] Vakhania，N.N.、Tarieladze，V.I.和Chobanyan，S.A.（1987年）。Banach空间上的概率分布。数学及其应用（苏联丛书）14。多德雷赫特：D.Reidel Publishing Co.，俄文译本，序言由Wojbor a.Woyczynski撰写·Zbl 0698.60003号
[59] van der Vaart，A.W.和van Zanten，J.H.（2008年）。再现高斯先验的核希尔伯特空间。在《突破当代统计学的极限》中：Jayanta K.Ghosh的贡献。Inst.数学。统计（IMS）收集。3 200-222。俄亥俄州比奇伍德：IMS·Zbl 1159.62004号
[60] Vazquez，E.和Bect，J.（2009）。用于估计故障概率的顺序贝叶斯算法。在第15届IFAC系统识别研讨会上（SYSID 2009）。
[61] Vazquez，E.和Bect，J.（2010年）。具有固定均值和协方差函数的期望改进算法的收敛性。J.统计。计划。推断140 3088-3095·Zbl 1419.62200号 ·doi:10.1016/j.jspi.2010.04.018
[62] Vazquez，E.和Bect，J.（2010年）。kriging预测器与已知均值和协方差函数的逐点一致性。MODa 9-面向模型的设计和分析进展221-228。斯普林格·兹比尔1419.62200
[63] Vazquez，E.和Bect，J.（2012）。基于kriging的序列搜索：一些算法的收敛性分析。国际统计学会第58届世界统计大会公报，2011年，海牙，荷兰国际统计学会。
[64] Villemonteix，J.、Vazquez，E.和Walter，E.（2009年）。一种用于对昂贵的评估函数进行全局优化的信息方法。J.全球优化44 509-534·Zbl 1180.90253号 ·doi:10.1007/s10898-008-9354-2
[65] Wang，H.、Lin，G.和Li，J.（2016）。高斯过程替代故障检测：贝叶斯实验设计方法。J.计算。物理313 247-259·Zbl 1349.62360号 ·doi:10.1016/j.jcp.2016.02.053
[66] Williams，B.J.、Santner，T.J.和Notz，W.I.（2000）。计算机实验的顺序设计，以最小化综合响应函数。统计师。中国10 1133-1152·Zbl 0961.62069号
[67] Yarotsky，D.（2013）。预期改进优化中的不一致示例。《全球优化杂志》56 1773-1790·兹比尔1291.90156 ·数字对象标识码：10.1007/s10898-012-9936-x
[68] Yarotsky，D.（2013年）。一般节点集的指数函数和高斯RBF单变量插值。J.近似理论166 163-175·Zbl 1264.41006号 ·文件编号：10.1016/j.jat.2012.1007
[69] Zuluaga，M.、Krause，A.、Sergent，G.和Püschel，M.（2013）。水平集估计的主动学习。在国际人工智能联合会议（IJCAI）上。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。