高桥高达;富美彦弘（Tomohiko Hironaka）;瓦塔鲁基塔德;亚当·福斯特 基于无偏MLMC随机梯度的贝叶斯实验设计优化。 （英语） Zbl 1484.62101号 SIAM J.科学。计算。 44，编号1，A286-A311（2022）. 摘要：在本文中，我们提出了一种高效的随机优化算法来搜索贝叶斯实验设计，以使期望的信息增益达到最大。期望信息增益相对于实验设计参数的梯度由嵌套期望给出，对于嵌套期望，使用固定数量的内部样本的标准蒙特卡罗方法产生有偏估计。本文应用随机多层蒙特卡罗方法的思想，在有限期望平方范数和有限期望每个样本的计算成本下，对期望信息增益的梯度引入了无偏蒙特卡罗估计。我们的无偏估计可以与随机梯度下降算法很好地结合，这导致我们提出了一种优化算法来搜索最优贝叶斯实验设计。数值实验证明，我们提出的算法不仅适用于简单的测试问题，而且适用于更现实的药代动力学问题。 引用于三文件 MSC公司： 62K05美元 最佳统计设计 62L20型 随机近似 65二氧化碳 蒙特卡罗方法 92C45型 生化问题中的动力学（药代动力学、酶动力学等） 94甲17 信息的度量，熵 关键词：贝叶斯实验设计;预期信息增益;多级蒙特卡罗;嵌套期望;随机梯度下降 软件：RMS公司;阿达格拉德;亚当 PDF格式BibTeX公司 XML格式引用 \textit{T.Goda}等人，SIAM J.Sci。计算。44，1号，A286--A311（2022；Zbl 1484.62101） 全文： 内政部 arXiv公司 参考文献： [1] S.Asmussen和P.W.Glynn，《随机模拟》，Springer，纽约，2007年·Zbl 1126.65001号 [2] J.Beck、B.M.Dia、L.F.R.Espath、Q.Long和R.Tempone，《快速贝叶斯实验设计：预期信息增益的基于Laplace的重要性抽样》，计算。方法应用。机械。工程师，334（2018），第523-553页，https://doi.org/10.1016/j.cma.2018.01.053。 ·Zbl 1440.62293号 [3] J.Beck、B.M.Dia、L.F.R.Espath和R.Tempone，《贝叶斯最优实验设计的多级双回路蒙特卡罗和随机配置方法》，国际。J.数字。《工程方法》，121（2020），第3482-3503页，https://doi.org/10.1002/nme.6367。 [4] K.Bujok、B.Hambly和C.Reisinger，贝努利随机变量泛函的多级模拟及其在篮子信用衍生品中的应用，Methodol。计算。申请。概率。，17（2015），第579-604页，https://doi.org/10.1007/s11009-013-9380-5。 ·Zbl 1327.65003号 [5] A.G.Carlon、B.M.Dia、L.F.R.Espath、R.H.Lopez和R.Tempone，贝叶斯设计优化中使用拉普拉斯近似的Nesterov辅助随机梯度方法，计算。方法应用。机械。工程，363（2020），112909，https://doi.org/10.1016/j.cma.2020.112909。 ·Zbl 1436.62372号 [6] K.Chaloner和I.Verdinelli，《贝叶斯实验设计：综述》，《统计学》。科学。，10（1995年），第273-304页，https://doi.org/10.1214/s/1177009939。 ·Zbl 0955.62617号 [7] S.Dereich和T.Muíller-Gronbach，Robbins-Monro和Polyak-Ruppert型随机近似算法的一般多级自适应，数值。数学。，142（2019），第279-328页，https://doi.org/10.1007/s00211-019-01024-y。 ·Zbl 1464.62366号 [8] J.Duchi、E.Hazan和Y.Singer，在线学习和随机优化的自适应次梯度方法，J.Mach。学习。Res.，12（2011），第2121-2159页·Zbl 1280.68164号 [9] A.Foster、M.Jankowiak、E.Bingham、P.Horsfall、Y.W.Teh、T.Rainforth和N.Goodman，《变异贝叶斯优化实验设计》，第33届神经信息处理系统会议论文集（NeurIPS 2019），加拿大温哥华，2019年。 [10] A.Foster、M.Jankowiak、M.O'Meara、Y.W.Teh和T.Rainforth，《设计贝叶斯最优实验的统一随机梯度法》，载于《第23届人工智能与统计国际会议论文集》（AISTATS 2020），意大利巴勒莫，2020年。 [11] N.Frikha，多层随机近似算法，Ann.Appl。概率。，26（2016），第933-985页，https://doi.org/10.1214/15-AAP1109。 ·Zbl 1344.93111号 [12] M.B.Giles，多级蒙特卡罗路径模拟，Oper。Res.，56（2008），第607-617页，https://doi.org/101287/opre.1070.0496。 ·Zbl 1167.65316号 [13] M.B.Giles，多层蒙特卡罗方法，数值学报。，24（2015），第259-328页，https://doi.org/10.1017/S096249291500001X。 ·Zbl 1316.65010号 [14] M.B.Giles和T.Goda，不确定性下的决策：使用MLMC对EVPPI进行有效估计，Stat.Comput。，29（2019），第739-751页，https://doi.org/10.1007/s11222-018-9835-1。 ·Zbl 1430.62027号 [15] M.B.Giles和L.Szpruch，《无勒维面积模拟的多维SDE的反对偶多级蒙特卡罗估计》，Ann.Appl。概率。，24（2014），第1585-1620页，https://doi.org/10.1214/13-AAP957。 ·兹比尔1373.65007 [16] T.Goda、T.Hironaka和T.Iwamoto，预期信息增益的多级蒙特卡罗估计，斯托克。分析。申请。，38（2020年），第581-600页，https://doi.org/10.1080/07362994.2019.1705168。 ·Zbl 1466.65006号 [17] T.Hironaka、M.B.Giles、T.Goda和H.Thom，样本信息期望值的多级蒙特卡罗估计，SIAM/ASA J.不确定性。数量。，8（2020年），第1236-1259页，https://doi.org/10.1137/19M1284981。 ·Zbl 1455.65007号 [18] X.Huan和Y.M.Marzouk，贝叶斯实验设计中基于梯度的随机优化方法，国际不确定性杂志。数量。，4（2014），第479-510页，https://doi.org/10.1615/Int.J.UncertaintyQuantification.2014006730。 ·Zbl 1497.62069号 [19] D.P.Kingma和J.L.Ba，Adam：随机优化方法，预印本，2014年，https://arxiv.org/abs/1412.6980。 [20] S.Kleinegesse和M.U.Gutmann，基于互信息神经估计的内隐模型贝叶斯实验设计，第37届机器学习国际会议（ICML2020）论文集，2020年。 [21] D.V.Lindley，《关于实验提供的信息的度量》，Ann，Math。统计人员。，27（1956年），第986-1005页，https://doi.org/10.1214/aoms/117728069。 ·Zbl 0073.14103号 [22] Q.Long、M.Scavino、R.Tempone和S.Wang，基于拉普拉斯近似的贝叶斯实验设计预期信息增益的快速估计，计算。方法应用。机械。Engg，259（2013），第24-39页，https://doi.org/10.1016/j.cma.2013.02.017。 ·Zbl 1286.62068号 [23] J.I.Myung、D.R.Cavagnaro和M.A.Pitt，自适应设计优化教程，J.Math。心理医生。，57（2013），第53-67页，https://doi.org/10.1016/j.jmp.2013.05.005。 ·Zbl 1284.62478号 [24] Y.E.Nesterov，求解一个收敛速度为o（1/k^2）的凸规划问题的方法，苏联数学。道克。，27（1983年），第372-376页·Zbl 0535.90071号 [25] A.B.Owen，蒙特卡洛理论、方法和实例，手稿，2019，https://statweb.stanford.edu/欧文/麦克/。 [26] B.T.Polyak，一种新的随机近似方法，Avtomat。i Telemekh。7（1990年），第98-107页（俄语）。 [27] T.Rainforth、R.Cornish、H.Yang、A.Warrington和F.Wood，《关于嵌套蒙特卡罗估计量》，第35届机器学习国际会议论文集，瑞典斯德哥尔摩，2018年，http://proceedings.mlr.press/v80/raforth18a.html。 [28] S.J.Reddi、S.Kale和S.Kumar，《亚当与超越的融合》，印前，2019年，https://arxiv.org/abs/1904.09237。 [29] C.H.Rhee和P.Glynn，SDE模型的平方根收敛无偏估计，Oper。研究，63（2015），第1026-1043页，https://doi.org/10.1287/oper.2015.1404。 ·Zbl 1347.65016号 [30] H.Robbins和S.Monro，《随机近似方法》，《数学年鉴》。统计人员。，22（1951），第400-407页，https://doi.org/10.1214/aoms/117729586。 ·Zbl 0054.05901号 [31] D.Ruppert，《随机近似》，收录于《序列分析手册》，B.K.Ghosh和P.K.Sen编辑，Dekker，纽约，1991年，第503-529页。 [32] E.G.Ryan、C.D.Drovandi和A.N.Pettitt，药代动力学研究的完全贝叶斯实验设计，熵，17（2015），第1063-1089页，https://doi.org/10.3390/e17031063。 [33] E.G.Ryan、C.D.Drovandi、M.Thompson和A.N.Pettitt，《面向需要大量采样时间的非线性模型的贝叶斯实验设计》，计算。统计师。数据分析。，70（2014），第45-60页，https://doi.org/10.1016/j.csda.2013.08.017。 ·Zbl 1471.62175号 [34] K.J.Ryan，应用于随机疲劳极限模型的实验设计预期信息增益估算，J.Compute。图表。统计人员。，12（2003），第585-603页，https://doi.org/10.1198/1061860032012。 [35] C.Schillings、B.Sprungk和P.Wacker，关于贝叶斯反问题基于Laplace的蒙特卡罗方法的Laplace近似的收敛性和噪声级鲁棒性，Numer。数学。，145（2020），第915-971页，https://doi.org/10.1007/s00211-020-01131-1。 ·Zbl 1446.65098号 [36] B.Shababo、B.Paige、A.Pakman和L.Paninski，绘制神经微电路的贝叶斯推理和在线实验设计，《第27届神经信息处理系统会议论文集》，2013年。 [37] A.Shapiro、D.Dentcheva和A.Ruszczvnáski，《随机编程讲座》，SIAM，费城，2009年·邮编：1183.90005 [38] A.M.Stuart，《逆向问题：贝叶斯观点》，《数值学报》。，19（2010），第451-559页，https://doi.org/10.1017/S0962492910000061。 ·Zbl 1242.65142号 [39] T.Tieleman和G.Hinton，第6.5讲–RMSProp，课程：机器学习的神经网络，2012年。 [40] J.Vanlier、C.A.Tiemann、P.A.J.Hilbers和N.A.W.van Riel，目标实验设计的贝叶斯方法，生物信息学，28（2012），第1136-1142页，https://doi.org/10.1093/bioinformatics/bts092。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。