安德烈·古斯塔沃·卡隆;迪亚·本·曼苏尔;路易斯·埃斯帕特;拉斐尔·霍尔多夫·洛佩兹;劳尔·坦彭 贝叶斯设计优化中使用拉普拉斯近似的Nesterov辅助随机梯度方法。 （英语） Zbl 1436.62372号 计算。方法应用。机械。工程师。 363，文章ID 112909，27 p.（2020）. 摘要：寻找最佳实验设置是优化实验设计（OED）的首要关注点。在这里，我们关注的是贝叶斯实验设计问题，即寻找最大化香农期望信息增益的设置。我们使用随机梯度下降法及其加速下降法（使用Nesterov方法）来解决OED中的优化问题。我们采用了一种重新启动技术，该技术最初是为确定性优化中的加速而提出的，以改进随机优化方法。我们将这些优化方法与目标函数的三个估计量相结合：双回路蒙特卡罗估计量（DLMC）、使用后验分布拉普拉斯近似的蒙特卡罗估计器（MCLA）和基于拉普拉斯重要性抽样的双回路蒙特卡洛估计员（DLMCIS）。同时使用随机梯度方法和基于拉普拉斯的估值器，我们可以使用昂贵而复杂的模型，例如那些需要求解偏微分方程（PDE）的模型。从理论角度出发，我们推导了一个显式公式来计算蒙特卡罗方法的梯度估计器，包括MCLA和DLMCIS。从计算的角度，我们研究了四个示例：三个基于解析函数，一个使用有限元方法。最后一个例子是基于完整电极模型的电阻抗断层扫描实验。在这些例子中，使用MCLA的加速随机梯度下降法收敛到局部极大值，与使用DLMC的梯度下降法相比，该方法的模型评估减少了五个数量级。 引用于7文件 MSC公司： 62K05美元 最佳统计设计 65二氧化碳 蒙特卡罗方法 62L20型 随机近似 2008年6月62日 统计问题的计算方法 65N21型 含偏微分方程边值问题反问题的数值方法 关键词：最佳实验设计;贝叶斯推断;拉普拉斯近似;随机优化;加速梯度下降;重要性抽样 PDF格式BibTeX公司 XML格式引用 \textit{A.G.Carlon}等人，《计算》。方法应用。机械。工程363，文章ID 112909，27 p.（2020；Zbl 1436.62372） 全文： 内政部 arXiv公司 参考文献： [1] Chaloner，K。；Verdinelli，I.，《贝叶斯实验设计：综述》，《统计学》。科学。，273-304 (1995) ·Zbl 0955.62617号 [2] Ryan，K.J.，《应用于随机疲劳极限模型的实验设计预期信息增益估算》，J.Compute。图表。统计学。，12, 3, 585-603 (2003) [3] Huan，X.，《化学动力学模型的加速贝叶斯实验设计》（2010），麻省理工学院（博士论文） [4] 欢，X。；Marzouk，Y.M.，非线性系统基于仿真的最佳贝叶斯实验设计，J.Compute。物理。，232, 1, 288-317 (2013) [5] Spall，J.C.，《Kiefer-Wolfowitz环境下大维系统的随机近似算法》（决策与控制，1988年），第27届IEEE会议论文集，IEEE，1544-1548 [6] 龙，Q。；斯卡维诺，M。；丹蓬，R。；Wang，S.，基于拉普拉斯近似的贝叶斯实验设计预期信息增益的快速估计，计算。方法应用。机械。工程，259，24-39（2013）·Zbl 1286.62068号 [7] 欢，X。；Marzouk，Y.，《贝叶斯实验设计中基于梯度的随机优化方法》，《国际不确定性杂志》。数量。，4, 6, 1-41 (2014) [8] 贝克，J。；直径，B.M。；Espath，L.F.R。；龙，Q。；Tempone，R.，快速贝叶斯实验设计：预期信息增益的基于拉普拉斯的重要性抽样，计算。方法应用。机械。工程，334523-553（2018）·Zbl 1440.62293号 [9] Nemirovski，A.，凸规划中的有效方法（2005），Technion [10] 罗宾斯，H。；Monro，S.，《随机逼近方法》，《数学年鉴》。统计，400-407（1951）·Zbl 0054.05901号 [11] Nesterov，Y.，求解收敛速度为o（1/k2）的凸规划问题的方法，（苏联数学Doklady，第27卷（1983）），372-376·Zbl 0535.90071号 [12] 奥多诺休，B。；Candès，E.，《加速梯度方案的自适应重启》，Found。计算。数学。，15, 3, 715-732 (2015) ·Zbl 1320.90061号 [13] Nitanda，A.，最小化有限和的加速随机梯度下降，（人工智能与统计（2016）），195-203 [14] Shannon，C.E.，《通信数学理论》，贝尔系统。《技术期刊》，27，623-656（1948）·Zbl 1154.94303号 [15] Nelder，J.A。；Mead，R.，函数最小化的单纯形方法，计算。J.，7，4，308-313（1965）·Zbl 0229.65053号 [16] 基弗，J。；Wolfowitz，J.，回归问题中的优化设计，《数学年鉴》。统计，271-294（1959）·Zbl 0090.11404号 [17] Lai，T.L。；Robbins，H.，《自适应设计与随机逼近》，《安·统计》。，1196-1221 (1979) ·Zbl 0426.62059号 [18] 波利亚克，B.T。；Juditsky，A.B.，通过平均加速随机近似，SIAM J.控制优化。，30, 4, 838-855 (1992) ·Zbl 0762.62022号 [19] 科特，A。；O.沙米尔。；斯雷布罗，N。；Sridharan，K.，《通过加速梯度方法实现更好的微分支算法》，（神经信息处理系统进展（2011）），1647-1655 [20] Nesterov，Y.，《凸优化导论：基础课程》，第87卷（2013），Springer科学与商业媒体 [21] Rumelhart，D.E。；辛顿，G.E。；Williams，R.J.，《通过反向传播错误学习表征》，《自然》，3236088533（1986）·Zbl 1369.68284号 [22] 约翰逊，R。；Zhang，T.，使用预测方差减少加速随机梯度下降，（神经信息处理系统进展（2013）），315-323 [23] Allen Zhu，Z.，Katyusha:随机梯度方法的第一次直接加速，（第49届美国计算机学会SIGACT计算理论年度研讨会论文集（2017），美国计算机学会），1200-1205·Zbl 1369.68273号 [24] 苏，W。；博伊德，S。；Candès，E.J.，Nesterov加速梯度法建模的微分方程：理论与见解，J.Mach。学习。决议，17，153，1-43（2016）·Zbl 1391.90667号 [25] Timoshenko，S.P.，LXVI。关于棱柱杆横向振动微分方程的剪切修正，Lond。爱丁堡。都柏林菲洛斯。科学杂志。，41, 245, 744-746 (1921) [26] 萨默萨洛，E。；M.切尼。；Isaacson，D.，电流计算机断层扫描电极模型的存在性和唯一性，SIAM J.Appl。数学。，52, 1023-1040 (1992) ·Zbl 0759.35055号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。