×

基于单样本路径的可逆马尔可夫链混合时间估计。 (英语) Zbl 1466.60143号

摘要:有限、遍历和可逆马尔可夫链的谱间隙(gamma{star})是衡量渐近收敛速度的一个重要参数。在应用中,转移矩阵(粗体符号{{P}})可能未知,但可以观察到链的一个样本,直到固定的时间。这里我们考虑从这些数据中估计(gamma{star})的问题。设\(\boldsymbol{\pi}\)是\(\boldsymbol{\P}}\)和\(\pi_{\star}=\min_x\pi(x)\)的平稳分布。我们证明,如果(n)至少是(frac{1}{gamma{star}\pi{star}})乘以对数校正,那么(gamma{tar})可以被估计为高概率的乘法因子。当(pi)在(d)态上是一致的时,这几乎与精确估计(gamma{star})所需的步长的下限相匹配。此外,我们还提供了第一个从链的单个有限长轨迹计算完全数据相关区间的过程,该过程将链的混合时间(t_{text{mix}})捕获到指定的置信水平。间隔不需要知道链的任何参数。这与以前的方法形成了对比,以前的方法要么只提供点估计,要么需要重置机制,要么需要额外的先验知识。区间是围绕松弛时间(t_{text{relax}}=1/\gamma{star})构造的,松弛时间与混合时间密切相关,区间宽度以1/\sqrt{n}的速率大致收敛到零,其中(n)是样本路径的长度。

MSC公司:

60J10型 马尔可夫链(离散状态空间上的离散时间马尔可夫过程)
2005年6月2日 马尔可夫过程:估计;隐马尔可夫模型
62M99型 随机过程推断
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Attchadé,Y.F.(2016)。马尔可夫链蒙特卡罗置信区间。伯努利22 1808-1838年·兹比尔1345.60074 ·文件编号:10.3150/15-BEJ712
[2] Audibert,J.-Y.、Munos,R.和Szepesvári,C.(2009年)。在多武装土匪中使用方差估计进行勘探开发权衡。理论。计算。科学410 1876-1902·Zbl 1167.68059号 ·doi:10.1016/j.tcs2009.016
[3] Batu,T.、Fortnow,L.、Rubinfeld,R.、Smith,W.D.和White,P.(2000)。测试分布是否接近。第41届计算机科学基础年度研讨会(加利福尼亚州雷东多海滩,2000年)259-269。IEEE计算。加利福尼亚州洛斯阿拉米托斯Soc.Press。
[4] Batu,T.、Fortnow,L.、Rubinfeld,R.、Smith,W.D.和White,P.(2013)。测试离散分布的贴近性。J.ACM60第4、25条·Zbl 1281.68227号 ·数字对象标识代码:10.1145/2432622.2432626
[5] Benítez,J.和Liu,X.(2012)。关于群逆的连续性。操作。矩阵6 859-868·Zbl 1262.15004号
[6] Bernstein,S.(1927)。在未定数量的情况下,时间的延伸限制了概率的计算。数学。附录97 1-59·JFM 52.0517.03号
[7] Bhatnagar,N.、Bogdanov,A.和Mossel,E.(2011年)。估计MCMC收敛时间的计算复杂性。在近似、随机化和组合优化中。计算机科学课堂讲稿6845 424-435。海德堡施普林格·Zbl 1343.68289号
[8] Bhattacharya,B.B.和Valiant,G.(2015)。用大小不等的样品测试紧密度。《神经信息处理系统进展》28(C.Cortes、N.D.Lawrence、D.D.Lee、M.Sugiyama和R.Garnett编辑)2611-2619。纽约州Red Hook市Curran Associates。
[9] Bousquet,O.、Boucheron,S.和Lugosi,G.(2004)。统计学习理论导论。人工智能课程讲稿3176 169-207·Zbl 1120.68428号
[10] Bradley,R.C.(2005年)。强混合条件的基本特性。调查和一些开放性问题。普罗巴伯。调查2 107-144。1986年原版的更新和补充·Zbl 1189.60077号 ·doi:10.1214/154957805100000104
[11] Cho,G.E.和Meyer,C.D.(2001年)。马尔可夫链平稳分布扰动界的比较。线性代数应用335 137-150·Zbl 0983.60062号 ·doi:10.1016/S0024-3795(01)00320-2
[12] Flegal,J.M.和Jones,G.L.(2011年)。实施MCMC:自信地进行评估。在《马尔可夫链蒙特卡罗手册》中。查普曼和霍尔/CRC Handb。国防部。统计方法175-197。佛罗里达州博卡拉顿CRC出版社·Zbl 1229.65012号
[13] Freedman,D.A.(1975年)。关于鞅的尾部概率。年鉴问题3 100-118·Zbl 0313.60037号 ·doi:10.1214/aop/1176996452
[14] Gamarnik,D.(2003)。将PAC框架扩展到有限和可数马尔可夫链。IEEE传输。通知。神学49 338-345·Zbl 1063.68060号 ·doi:10.1109/TIT.2002.806131
[15] Garren,S.T.和Smith,R.L.(2000)。估计马尔可夫转移矩阵的第二大特征值。伯努利6 215-242·Zbl 0976.62081号 ·doi:10.2307/3318575
[16] Gillman,D.(1998)。膨胀图上随机游动的Chernoff界。SIAM J.计算27 1203-1220·Zbl 0911.60016号 ·doi:10.1137/S0097539794268765
[17] Gyori,B.M.和Paulin,D.(2014)。MCMC在实践中的非症状置信区间。可从arXiv:1212.2016获取。
[18] Haviv,M.和Van der Heyden,L.(1984)。有限马尔可夫链平稳概率的扰动界。申请中的预付款。大约16 804-818·Zbl 0559.60055号 ·doi:10.307/1427341
[19] Hayashi,M.和Watanabe,S.(2016年)。马尔可夫链参数估计的信息几何方法。美国国家统计局44 1495-1535·Zbl 1347.62182号 ·doi:10.1214/15-AOS1420
[20] Hsu,D.、Kontorovich,A.和Szepesvári,C.(2015)。基于单样本路径的可逆马尔可夫链混合时间估计。《神经信息处理系统进展》28(C.Cortes、N.D.Lawrence、D.D.Lee、M.Sugiyama和R.Garnett编辑)。纽约州Red Hook市Curran Associates·Zbl 1466.60143号
[21] Jones,G.L.和Hobert,J.P.(2001)。通过马尔可夫链蒙特卡罗诚实地探索难处理的概率分布。统计师。科学16 312-334·Zbl 1127.60309号 ·doi:10.1214/ss/1015346317
[22] Karandikar,R.L.和Vidyasagar,M.(2002年)。混合过程经验平均值的一致收敛速度。统计师。普罗巴伯。信函58 297-307·Zbl 1016.60036号 ·doi:10.1016/S0167-7152(02)00124-4
[23] Kipnis,C.和Varadhan,S.R.S.(1986年)。可逆Markov过程可加泛函的中心极限定理及其在简单排除中的应用。公共数学。物理104 1-19·Zbl 0588.60058号 ·doi:10.1007/BF01210789
[24] Kirkland,S.J.、Neumann,M.和Shader,B.L.(1998)。Paz不等式在马尔可夫链扰动界中的应用。线性代数应用268 183-196·Zbl 0891.65147号 ·doi:10.1016/S0024-3795(97)00042-6
[25] Kontorovich,A.和Weiss,R.(2014)。马尔可夫链和相关过程的一致Chernoff和Dvoretzky-Kiefer-Wolfowitz型不等式。J.应用。大约51 1100-1113·Zbl 1320.60060号 ·doi:10.1239/jap/1421763330
[26] Kontoyiannis,I.、Lastras-Montaño,L.A.和Meyn,S.P.(2006)。MCMC和一般马尔可夫链的指数界和停止规则。在VALUETOOLS 45中。
[27] León,C.A.和Perron,F.(2004)。离散可逆马尔可夫链的最优Hoeffding界。Ann.应用。大约14 958-970·Zbl 1056.60070号 ·doi:10.1214/105051604000000170
[28] Levin,D.A.和Peres,Y.(2016)。从短轨迹估计可逆马尔可夫链的谱间隙。可在arXiv:1612.05330购买。
[29] Levin,D.A.、Peres,Y.和Wilmer,E.L.(2009年)。马尔可夫链和混合时间。阿默尔。数学。佛罗里达州普罗维登斯Soc·Zbl 1160.60001号
[30] Li,X.和Wei,Y.(2001)。群逆投影和斜投影摄动的改进。线性代数应用338 53-66·Zbl 0991.15005号 ·doi:10.1016/S0024-3795(01)00369-X
[31] Liu,J.S.(2001)。科学计算中的蒙特卡罗策略。统计学中的斯普林格系列。纽约州施普林格·Zbl 0991.65001号
[32] McDonald,D.J.、Shalizi,C.R.和Schervish,M.J.(2011年)。估算β-混合系数。在516-524国际人工智能和统计会议上·Zbl 1330.62344号 ·doi:10.1214/15-EJS1094
[33] Meyer,C.D.Jr.(1975年)。群广义逆在有限马尔可夫链理论中的作用。SIAM版本17 443-464·Zbl 0313.60044号 ·数字对象标识代码:10.1137/1017044
[34] Meyn,S.P.和Tweedie,R.L.(1993年)。马尔可夫链与随机稳定性。通信与控制工程系列。斯普林格,伦敦·Zbl 0925.60001号
[35] Mohri,M.和Rostamizadeh,A.(2008)。非iid过程的稳定性边界。神经信息处理系统进展20·Zbl 1242.68238号
[36] 黑山,R.和特塔利,P.(2006)。马尔可夫链中混合时间的数学方面。已找到。趋势理论。计算。科学1 x+121·Zbl 1193.68138号
[37] Paulin,D.(2015)。通过Marton耦合和谱方法研究Markov链的集中不等式。电子。J.Probab.20第79、32号·兹比尔1342.60121 ·doi:10.1214/EJP.v20-4039
[38] Seneta,E.(1993年)。有限马尔可夫链在扰动下的灵敏度。统计师。普罗巴伯。第17页163-168·Zbl 0777.60065号 ·doi:10.1016/0167-7152(93)90011-7
[39] Steinwart,I.和Christmann,A.(2009年)。从非身份证观察中快速学习。神经信息处理系统进展22。
[40] Steinwart,I.、Hush,D.和Scovel,C.(2009年)。从依赖性观察中学习。《多元分析杂志》100 175-194·Zbl 1158.68040号 ·doi:10.1016/j.jmva.2008.04.001
[41] Stewart,G.W.和Sun,J.G.(1990年)。矩阵摄动理论。计算机科学和科学计算。学术出版社,马萨诸塞州波士顿·Zbl 0706.65013号
[42] Sutton,R.S.和Barto,A.G.(1998年)。强化学习:导论(自适应计算和机器学习)。麻省理工学院出版社,马萨诸塞州剑桥。
[43] Tropp,J.A.(2015)。矩阵集中不等式简介。机器学习基础与趋势®8 1-230·Zbl 1391.15071号 ·doi:10.1561/22000048
[44] Wolfer,G.和Kontorovich,A.(2019a)。估计遍历马尔可夫链的混合时间。可从arXiv:1902.01224获取·Zbl 1472.62133号
[45] Wolfer,G.和Kontorovich,A.(2019b)。遍历马尔可夫链的最小极大身份测试。可从arXiv:1902.00080获取·Zbl 1472.62133号
[46] Yu,B.(1994)。平稳混合序列经验过程的收敛速度。Ann.Probab.22 94-116·兹比尔0802.60024 ·doi:10.1214/aop/1176988849
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。