×
谢尔盖·多尔戈夫;卡里姆·阿纳亚·伊兹奎尔多;科林·福克斯;罗伯特·谢科尔

张量列分解中多元概率分布的近似和采样。 （英语） Zbl 1436.62192号

统计计算。 30，第3期，603-625（2020年）.
摘要：众所周知，一般的多元分布的采样成本很高，尤其是PDE约束反问题中的高维后验分布。本文基于张量列格式的低秩代理，开发了任意连续多元分布的采样器，这是一种多年来在量子物理和化学中用于可缩放的高维密度函数近似的方法。我们基于线性代数中交叉近似算法的最新发展，使用少量函数求值构造目标概率密度函数的张量列近似。对于足够平滑的分布，精确张量列近似所需的存储量适中，随维数线性缩放。反过来，张量列代理的结构允许通过有效的条件分布方法进行采样，因为边际分布可在维数上以线性复杂度计算。关于代理分布的非光滑感兴趣量的期望值可以使用转换的独立均匀随机种子来估计，这些种子提供蒙特卡罗求积或来自准蒙特卡罗晶格的转换点，以提供更有效的准蒙特卡洛求积。无偏估计可以通过使用Metropolis-Hastings接受/拒绝步骤校正变换后的随机种子来计算，而准蒙特卡罗求积可以通过控制变量策略或重要性加权来校正。我们证明张量列近似中的误差线性传播到Metropolis-Hastings拒绝率和由此产生的Markov链的积分自相关时间；因此，积分自相关时间可以任意接近1，这意味着，在样本大小渐近的情况下，每个有效独立样本的成本是一个目标密度评估加上廉价的张量序列替代方案，该方案具有与维数线性的成本。这些方法在三个计算实例中得到了验证：减震器失效时间的拟合；PDE约束逆扩散问题；并从Rosenbrock分布中取样。延迟拒绝自适应大都会（DRAM）算法被用作基准。在所有计算示例中，重要性加权修正的准蒙特卡罗求积表现最佳，并且在广泛的近似精度和样本大小方面比DRAM效率高出几个数量级。实际上，这里开发的所有方法在所有计算示例中都显著优于DRAM。

引用于2评论
引用于20文件

MSC公司：

62H10型 统计的多元分布
65二氧化碳 蒙特卡罗方法

关键词：

多元分布;代理模型;张量分解;MCMC公司;重要性权重

软件：

GMRF库;t形走道;TT工具箱;github;ALEA公司;Rtwalk公司;斯普林达
PDF格式BibTeX公司 XML格式引用
\textit｛S.Dolgov｝等人，Stat.Comput。30，第3号，603--625（2020；Zbl 1436.62192）
全文： 内政部 arXiv公司

参考文献：

[1] Atchadé，Yf，具有截断漂移的大都会调整langevin算法的自适应版本，Methodol。计算。申请。概率。，8, 2, 235-254 (2006) ·兹比尔1104.65004 ·doi:10.1007/s11009-006-8550-0
[2] Ballani，J。；Grasedyck，L.，参数相关PDE输出量的层次张量近似，SIAM/ASA J.不确定性。数量。，3, 1, 852-872 (2015) ·兹比尔1327.65010
[3] 布鲁克斯，S。；Gelman，A。；琼斯·G。；Meng，Xl，《马尔可夫链蒙特卡罗手册》（2011），博卡拉顿：CRC出版社，博卡拉顿·Zbl 1218.65001号
[4] Christen，J。；Fox，C.，连续分布的通用采样算法（t-walk），贝叶斯分析。，5, 2, 263-282 (2010) ·Zbl 1330.62007
[5] Devroye，L.，《非均匀随机变量生成》（1986），柏林：施普林格出版社，柏林·Zbl 0593.65005号
[6] Dick，J。；Kuo，F。；斯隆，I.，《高维积分：准蒙特卡罗方法》，《数值学报》。，22, 133-288 (2013) ·Zbl 1296.65004号
[7] Dodwell，T。；凯特尔森，C。；Scheichl，R。；Teckentrup，A.，应用于地下水流不确定性量化的分层多级马尔可夫链蒙特卡罗算法，SIAM/ASA J.Uncertain。数量。，3, 1, 1075-1108 (2015) ·Zbl 1330.65007号
[8] 多尔戈夫，S。；Savostyanov，D.，《高维线性系统的交替最小能量方法》，SIAM J.Sci。计算。，36、5、A2248-A2271（2014）·Zbl 1307.65035号
[9] 多尔戈夫，S。；Scheichl，R.，参数偏微分方程的交替最小二乘-TT交叉混合算法，SIAM/ASA J.不确定性。数量。，7, 1, 260-291 (2019) ·Zbl 1418.65170号
[10] 艾格尔，M。；Gittelson，C。；施瓦布，C。；Zander，E.，自适应随机Galerkin FEM，计算。方法应用。，270247-269（2014）·Zbl 1296.65157号
[11] 艾格尔，M。；Marschall，M。；Schneider，R.，带自适应分层张量表示的无采样贝叶斯反演，逆问题。，2010年3月34日（2018年）·Zbl 1404.65261号
[12] Fox，C.，Nicholls，G.：通过MCMC采样电导率图像。摘自：《贝叶斯图像分析的艺术与科学》，利兹年度统计研究研讨会，第91-100页（1997年）
[13] 福克斯，C。；Norton，R.，线性高斯反问题中的快速采样，SIAM/ASA J.不确定性。数量。，4, 1, 1191-1218 (2016) ·Zbl 1398.94081号
[14] 福克斯，C。；Parker，A.，使用矩阵分裂和多项式对正态分布进行加速吉布斯采样，Bernoulli，23，4，3711-3743（2017）·Zbl 1457.62085号
[15] 福克斯，C。；Haario，H。；Christen，J。；Damien，P。；Dellaportas，P。；Polson，N。；Stephens，D.，《反问题》，贝叶斯理论与应用，619-643（2013），牛津：牛津大学出版社，牛津·Zbl 1277.62082号
[16] 吉尔克斯，W。；Wild，P.，吉布斯采样的自适应抑制采样，应用。Stat.，41，337-348（1992）·Zbl 0825.62407号
[17] Golub，Gh；Van Loan，Cf，矩阵计算（2013），巴尔的摩：约翰霍普金斯大学出版社，巴尔的摩尔·Zbl 1268.65037号
[18] 戈雷诺夫，S。；蒂尔蒂什尼科夫，E。；Zamarashkin，N.，伪骨架近似理论，线性代数应用。，261, 1-3, 1-21 (1997) ·Zbl 0877.65021号
[19] 戈雷诺夫，S。；Oseledets，I。；Savostyanov，D。；蒂尔蒂什尼科夫，E。；北卡罗来纳州扎马拉什金。；Olshevsky，V。；Tyrtyshnikov，E.，《如何找到一个好的子矩阵》，矩阵方法：理论、算法、应用，247-256（2010），新加坡：世界科学出版社，新加坡·Zbl 1215.65078号
[20] Gutierrez-Pulido，H。；阿吉雷·托雷斯，V。；Christen，J.，《获得可靠性先验分布的实用方法》，IEEE Trans。信实。，54, 2, 262-269 (2005)
[21] Haario，H。；莱恩，M。；米拉，A。；Saksman，E.，DRAM：高效自适应MCMC，统计计算。，16, 4, 339-354 (2006)
[22] Häggström，O。；Rosenthal，J.，关于马尔可夫链CLT的方差条件，电子。Commun公司。概率。，12, 454-464 (2007) ·Zbl 1191.60082号
[23] 黄，Vh；施瓦布，C。；Stuart，Am，用于贝叶斯反演的加速MCMC方法的复杂性分析，逆问题。，29, 8, 085010 (2013) ·Zbl 1288.65004号
[24] Hörmann，W。；Leydold，J。；Derflinger，G.，《自动非均匀随机变量生成》（2004），柏林：施普林格出版社，柏林·Zbl 1038.65002号
[25] Johnson，M.，多元统计模拟（1987），纽约：威利，纽约·Zbl 0604.62056号
[26] Khoromskij，B.，（{mathbb{r}}^d\）中函数相关算子的结构化秩-分解，计算。方法应用。数学。，6, 2, 194-220 (2006) ·Zbl 1120.65052号
[27] Kuo，F。；Scheichl，R。；施瓦布，C。；斯隆，I。；Ullmann，E.，对数正态扩散问题的多级拟蒙特卡罗方法，数学。计算。，86, 2827-2860 (2017) ·Zbl 1368.65005号
[28] Liu，J.，《都市独立抽样与拒绝抽样和重要性抽样的比较》，统计计算。，6, 2, 113-119 (1996)
[29] 马蒂诺，L。；里德·J。；Luengo，D.，Gibbs采样中的独立双自适应抑制Metropolis采样，IEEE Trans。信号处理。，63, 12, 3123-3138 (2015) ·Zbl 1394.94828号
[30] 米克尔，W。；Escobar，L.，可靠性数据统计方法（1998），纽约：威利·Zbl 0949.62086号
[31] 蒙格森，Kl；Tweedie，Rl，黑斯廷斯算法和大都会算法的收敛速度，《Ann.Stat.》，24，1，101-121（1996）·Zbl 0854.60065号
[32] 梅耶，R。；蔡，B。；Perron，F.，使用2次拉格朗日插值多项式的自适应拒绝Metropolis采样，Comput。统计数据分析。，52, 7, 3408-3423 (2008) ·Zbl 1452.62099号
[33] Mira，A.，《Monte Carlo Markov链的排序和性能改进》，《统计科学》。，16, 4, 340-350 (2001) ·兹比尔1127.60312
[34] Mira，A.，Geyer，C.J.：《蒙特卡罗-马尔可夫链的排序》。技术代表632，明尼苏达大学（1999）
[35] Niederreiter，H.，拟蒙特卡罗方法和伪随机数，布尔。美国数学。《社会学杂志》，84，6，957-1041（1978）·兹比尔0404.65003
[36] 诺顿，R。；Christen，J。；Fox，C.，《分层模型中的采样超参数：针对高维潜在场和大型数据集改进Gibbs》，Commun。统计模拟。，47, 9, 2639-2655 (2018) ·Zbl 07550157号
[37] 奥康纳，P。；Kleyner，A.，《实用可靠性工程》（2012），纽约：威利，纽约
[38] Oseledets，I.，TT形式中快速线性代数的DMRG方法，计算。方法应用。数学。，11, 3, 382-393 (2011) ·Zbl 1283.15041号
[39] Oseledets，I.，张量-应变分解，SIAM J.Sci。计算。，33, 5, 2295-2317 (2011) ·兹伯利1232.15018
[40] Oseledets，I.，低阶张量格式中函数的构造表示，Constr。约37,1,1-18（2013年）·Zbl 1282.15021号
[41] Oseledets，I。；Tyrtyshnikov，E.，多维数组的TT-交叉逼近，线性代数应用。，432, 1, 70-88 (2010) ·Zbl 1183.65040号
[42] Oseledets，I.、Dolgov，S.、Kazeev，V.、Savostyanov，D.、Lebedeva，O.、Zhlobich，P.、Mach，T.、Song，L.：TT-Toolbox（2011）。https://github.com/oseledets/TT-Toolbox
[43] 罗伯茨，加油；Rosenthal，Js，独立采样器的定量非几何收敛界限，Methodol。计算。申请。概率。，13, 2, 391-403 (2011) ·Zbl 1222.60054号
[44] Rosenblatt，M.，《关于多元变换的评论》，《数学年鉴》。Stat.，23，3，470-472（1952年）·Zbl 0047.13104号
[45] Rue，H.，高斯-马尔可夫随机场的快速抽样，J.R.Stat.Soc.B，63325-338（2001）·Zbl 0979.62075号
[46] H街。；Held，L.，《高斯马尔可夫随机场：理论与应用》（2005），伦敦：查普曼和霍尔出版社，伦敦·邮编1093.60003
[47] Scheichl，R。；Stuart，A。；Teckentrup，A.，计算椭圆反问题后验期望的准蒙特卡罗和多级蒙特卡罗方法，SIAM/ASA J.不确定。数量。，5, 1, 493-518 (2017) ·Zbl 1516.65118号
[48] 施耐德，R。；Uschmajew，A.，周期Sobolev空间中层次张量格式的近似速率，J.Complex。，30，2，56-71（2013）·Zbl 1329.41033号
[49] Smith，R.L.，Tierney，L.：独立Metropolis采样器的精确跃迁概率。北卡罗来纳大学技术代表（1996年）
[50] Stuart，A.，《逆向问题：贝叶斯观点》，《数值学报》。，19, 451-559 (2010) ·Zbl 1242.65142号
[51] Teckentrup，A.公司。；Scheichl，R。；贾尔斯，M。；Ullmann，E.，随机系数椭圆偏微分方程多级蒙特卡罗方法的进一步分析，数值。数学。，125, 3, 569-600 (2013) ·Zbl 1306.65009号
[52] Tierney，L.，关于一般状态空间的Metropolis-Hastings核的注记，Ann.Appl。概率。，8, 1, 1-9 (1998) ·Zbl 0935.60053号
[53] Tyrtyshnikov，E.，由渐近光滑函数生成的矩阵的张量近似，Sbornik Math，194，6，941-954（2003）·Zbl 1067.65044号
[54] Wolff，U.，《误差较小的蒙特卡罗误差》，《计算》。物理学。社区。，156, 2, 143-153 (2004) ·Zbl 1196.65138号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。