尼古拉斯·坎塔斯;阿诺·杜塞特;Sumeetpal S.辛格。;马奇约夫斯基，简;尼古拉斯·肖邦 状态空间模型参数估计的粒子方法。 （英语） Zbl 1332.62096号 统计科学。 30，第3期，328-351（2015）. 摘要：非线性非高斯状态空间模型在统计学、计量经济学、信息工程和信号处理中普遍存在。粒子方法，也称为序列蒙特卡罗（SMC）方法，为相关的状态推断问题提供了可靠的数值近似。然而，在大多数应用中，感兴趣的状态空间模型也取决于需要从数据中估计的未知静态参数。在这种情况下，标准粒子方法失败了，必须依赖更复杂的算法。本文的目的是全面回顾在状态空间模型中执行静态参数估计的粒子方法。我们讨论了这些方法的优点和局限性，并说明了它们在简单模型上的性能。 引用于89文件 MSC公司： 2015年1月62日 贝叶斯推断 62米05 马尔可夫过程：估计；隐马尔可夫模型 62平方米 随机过程的推断与预测 关键词：贝叶斯推断;最大似然推理;粒子滤波;序贯蒙特卡罗;状态空间模型 软件：系统标识工具箱 PDF格式BibTeX公司 XML格式引用 \textit{N.Kantas}等人，《统计科学》。30，第3号，328--351（2015；Zbl 1332.62096） 全文： 内政部 arXiv公司 欧几里得 参考文献： [1] Alspach，D.和Sorenson，H.（1972年）。使用高斯和近似的非线性贝叶斯估计。IEEE传输。自动化。控制17 439-448·Zbl 0264.93023号 ·doi:10.10109/TAC 1972年11月34日 [2] Andrieu，C.、De Freitas，J.F.G.和Doucet，A.（1999）。贝叶斯模型选择的顺序MCMC。程序中。IEEE研讨会高阶统计130-134。IEEE，纽约。 [3] Andrieu，C.、Doucet，A.和Holenstein，R.（2010年）。粒子马尔可夫链蒙特卡罗方法。J.R.统计社会服务。B.统计方法。72 269-342. ·Zbl 1184.65001号 ·文件编号：10.1111/j.1467-9868.2009.00736.x [4] Andrieu，C.、Doucet，A.和Tadić，V.B.（2005年）。一般状态空间模型中的在线参数估计。程序中。第44届IEEE决策与控制会议332-337。IEEE，纽约。 [5] Benveniste，A.、Métiver，M.和Priouret，P.（1990年）。自适应算法和随机近似。数学应用（纽约）22。柏林施普林格·Zbl 0752.93073号 [6] Briers，M.、Doucet，A.和Maskell，S.（2010年）。状态空间模型的平滑算法。Ann.Inst.统计。数学。62 61-89. ·Zbl 1422.62297号 ·doi:10.1007/s10463-009-0236-2 [7] Briers，M.、Doucet，A.和Singh，S.S.（2005年）。序贯辅助粒子信念传播。程序中。Conf.融合。宾夕法尼亚州费城。 [8] Cappé，O.（2009）。在线序贯蒙特卡罗EM算法。程序中。第15届IEEE统计信号处理研讨会37-40。IEEE，纽约。 [9] Cappé，O.（2011）。隐马尔可夫模型的在线EM算法。J.计算。图表。统计师。20 728-749. ·doi:10.1198/jcgs.2011.09109 [10] Cappé，O.和Moulines，E.（2009年）。潜在数据模型的在线期望最大化算法。J.R.统计社会服务。B.统计方法。71 593-613. ·Zbl 1250.62015年 ·文件编号：10.1111/j.1467-9868.2009.00698.x [11] Cappé，O.，Moulines，E.和Rydén，T.（2005）。隐马尔可夫模型中的推理。纽约州施普林格·Zbl 1080.62065号 [12] Carpenter，J.、Clifford，P.和Fearnhead，P.（1999年）。非线性问题的改进粒子滤波器。IEE进展——雷达、声纳和导航146 2-7。 [13] Carvalho，C.M.、Johannes，M.S.、Lopes，H.F.和Polson，N.G.（2010年）。粒子学习和平滑。统计师。科学。25 88-106. ·兹比尔1328.62541 ·doi:10.1214/10-STS325 [14] Cérou，F.、Del Moral，P.和Guyader，A.（2011年）。非正规化Feynman-Kac粒子模型的非共态定理。安妮·安妮·亨利·彭卡雷（Ann.Inst.Henri Poincaré），B Probab。《美国联邦法律大全》第47卷第629-649页·Zbl 1233.60047号 ·doi:10.1214/10-AIHP358 [15] Chen，R.和Liu，J.S.（2000）。混合卡尔曼滤波器。J.R.统计社会服务。B.统计方法。62 493-508. ·Zbl 0953.62100号 ·doi:10.1111/1467-9868.00246 [16] 肖邦，N.（2002）。静态模型的序列粒子滤波方法。生物特征89 539-551·Zbl 1036.62062号 ·doi:10.1093/biomet/89.3.539 [17] 肖邦，N.（2004）。序列蒙特卡罗方法的中心极限定理及其在贝叶斯推理中的应用。安。统计师。32 2385-2411. ·Zbl 1079.65006号 ·doi:10.1214/009053604000000698 [18] 肖邦，N.，亚科布奇，A.，马林，J.M.，蒙格森，K.，罗伯特，C.P.，赖德，R.和施胡弗，C.（2011）。关于粒子学习。贝叶斯统计9（J.M.Bernardo、M.J.Bayarri、J.O.Berger、A.P.Dawid、D.、Heckerman A.F.M.Smith和M.West编辑）317-360。牛津大学出版社，牛津。 [19] 肖邦，N.，雅各布，P.E.和帕帕斯皮利奥普洛斯，O.（2013）\（\mathrm{SMC}^{2}）：状态空间模型序列分析的有效算法。J.R.统计社会服务。B.统计方法。75 397-426. ·文件编号：10.1111/j.1467-9868.2012.01046.x [20] Coquelin，P.A.、Deguest，R.和Munos，R.（2009年）。HMM中的灵敏度分析及其在似然最大化中的应用。程序中。第22届会议NIPS。温哥华。 [21] Dahlin，J.、Lindsten，F.和Schön，T.B.（2015）。粒子都市-黑斯廷斯使用梯度和黑森信息。统计计算。25 81-92. ·Zbl 1331.62134号 ·doi:10.1007/s11222-014-9510-0 [22] DeJong，D.N.、Liesenfeld，R.、Moura，G.V.、Richard，J.-F.和Dharmarajan，H.（2013）。状态空间表示的有效似然评估。经济收益率。螺柱。80 538-567·Zbl 1263.91036号 ·doi:10.1093/restud/rds040 [23] Del Moral，P.（2004）。费曼-卡克公式：谱系和相互作用粒子系统及其应用。纽约州施普林格·Zbl 1130.60003号 [24] Del Moral，P.、Doucet，A.和Singh，S.（2009）。使用顺序蒙特卡罗进行正向平滑。技术报告638，CUED-F-INFENG，剑桥大学预印本。网址：。arXiv:1012.5390 [25] Del Moral，P.、Doucet，A.和Singh，S.（2010年）。Feynman-Kac公式的反向粒子解释。ESAIM数学。模型。数字。分析。44 947-975. ·Zbl 1209.65009号 ·doi:10.1051/m2安/2010048 [26] Del Moral，P.、Doucet，A.和Singh，S.S.（2015）。最优滤波器导数的粒子近似的一致稳定性。SIAM J.控制优化。53 1278-1304. ·Zbl 1349.65010号 ·数字对象标识代码：10.1137/140993703 [27] Dempster，A.P.、Laird，N.M.和Rubin，D.B.（1977年）。通过EM算法从不完整数据中获得最大似然。J.罗伊。统计师。Soc.序列号。B 39 1-38·Zbl 0364.62022号 [28] Douc，R.、Garivier，A.、Moulines，E.和Olsson，J.（2011）。一般状态空间隐马尔可夫模型的序贯蒙特卡罗平滑。附录申请。普罗巴伯。21 2109-2145·Zbl 1237.60026号 ·doi:10.1214/10-AAP735 [29] Douc，R.、Moulines，E.和Ritov，Y.（2009年）。忽略一般状态空间隐马尔可夫链中滤波器的初始条件：一种耦合方法。电子。J.概率。14 27-49. ·Zbl 1189.93137号 ·doi:10.1214/EJP.v14-593 [30] Doucet，A.、De Freitas，J.F.G.和Gordon，N.J.编辑（2001年）。实践中的序贯蒙特卡罗方法。纽约州施普林格·Zbl 0967.00022号 [31] Doucet，A.、Godsill，S.J.和Andrieu，C.（2000）。贝叶斯滤波的序贯蒙特卡罗抽样方法。统计计算。10 197-208. [32] Doucet，A.和Johansen，A.M.（2011年）。粒子过滤和平滑教程：十五年后。在牛津非线性滤波手册656-704。牛津大学出版社，牛津·兹比尔1513.60043 [33] Doucet，A.、Pitt，M.K.、Deligiannidis，G.和Kohn，R.（2015）。使用无偏似然估计量时马尔可夫链蒙特卡罗的有效实现。生物特征102 295-313·Zbl 1452.62055号 ·doi:10.1093/biomet/asu075 [34] Elliott，R.J.、Aggoun，L.和Moore，J.B.（1995）。隐马尔可夫模型：估计和控制。数学应用（纽约）29。纽约州施普林格·Zbl 0819.60045号 [35] Elliott，R.J.、Ford，J.J.和Moore，J.B.（2000）。隐马尔可夫模型的在线一致性估计。技术报告，澳大利亚国立大学系统工程系，堪培拉。 [36] Fearnhead，P.（2002）。马尔可夫链蒙特卡罗、充分统计和粒子滤波器。J.计算。图表。统计师。11 848-862. ·doi:10.1198/106186002835 [37] Fearnhead，P.和Meligkotsidou，L.（2014）。颗粒MCMC的增强方案。预打印。可从获取。arXiv:1408.6980·Zbl 1356.65025号 ·doi:10.1007/s11222-015-9603-4 [38] Fearnhead，P.、Wyncoll，D.和Tawn，J.（2010年）。具有线性计算成本的顺序平滑算法。Biometrika 97 447-464·Zbl 1406.62093号 ·doi:10.1093/biomet/asq013 [39] Fernández-Villaverde，J.和Rubio-Ramírez，J.F.（2007）。估算宏观经济模型：一种似然方法。经济收益率。螺柱74 1059-1087·Zbl 1206.91064号 ·doi:10.1111/j.1467-937X.2007.00437.x [40] Flury，T.和Shephard，N.（2009年）。通过模拟学习和过滤：平滑抖动的粒子过滤器。经济学系列工作文件469。 [41] Flury，T.和Shephard，N.（2011年）。仅基于模拟似然的贝叶斯推断：动态经济模型的粒子滤波分析。计量经济学理论27 933-956·Zbl 1226.62021号 ·doi:10.1017/S0266466610000599 [42] Ford，J.J.（1998）。自适应隐马尔可夫模型估计及其应用。堪培拉澳大利亚国立大学系统工程系博士论文。可从获取。 [43] Fulop，A.和Li，J.（2013）。通过模拟实现高效学习：一种边缘化的重采样方法。《计量经济学杂志》176 146-161·Zbl 1284.62516号 ·doi:10.1016/j.jeconom.2013.05.002 [44] Gilks，W.R.和Berzuini，C.（2001年）。遵循动态贝叶斯模型的移动目标蒙特卡罗推断。J.R.统计社会服务。B.统计方法。63 127-146. ·Zbl 0976.62021号 ·doi:10.1111/1467-9868.00280 [45] Godsill，S.J.、Doucet，A.和West，M.（2004）。非线性时间序列的蒙特卡罗平滑。J.Amer。统计师。协会99 156-168·Zbl 1089.62517号 ·doi:10.1198/016214500000151 [46] Gordon，N.J.、Salmond，D.J.和Smith，A.F.M.（1993）。非线性/非高斯贝叶斯状态估计的新方法。IEE程序。F、通信、雷达、信号。程序。140 107-113. [47] Higuchi，T.（2001）。自组织时间序列模型。在序贯蒙特卡罗方法的实践中。《统计工程信息科学》。429-444年。纽约州施普林格·Zbl 1056.93579号 ·doi:10.1007/978-1-4757-3437-920 [48] Hürzeler，M.和Künsch，H.R.（1998）。一般状态空间模型的蒙特卡罗近似。J.计算。图表。统计师。7 175-193. [49] Hürzeler，M.和Künsch，H.R.（2001）。近似并最大化一般状态空间模型的可能性。在序贯蒙特卡罗方法的实践中。《统计工程信息科学》。159-175. 纽约州施普林格·Zbl 1056.93580号 ·doi:10.1007/978-14757-3437-98 [50] Ionides，E.L.、Bhadra，A.、Atchadé，Y.和King，A.（2011年）。迭代过滤。安。统计。39 1776-1802. ·兹比尔1220.62103 ·doi:10.1214/11-AOS886 [51] Ionides，E.L.、Bretó，C.和King，A.A.（2006年）。非线性动力系统的推理。程序。国家。阿卡德。科学。美国103 18438-18443。 [52] Kim，S.、Shephard，N.和Chib，S.（1998年）。随机波动性：似然推断和与ARCH模型的比较。经济收益率。螺柱65 361-393·Zbl 0910.90067号 ·doi:10.1111/1467-937X.00050 [53] Kitagawa，G.（1996年）。非高斯非线性状态空间模型的蒙特卡罗滤波器和平滑器。J.计算。图表。统计师。5 1-25. [54] Kitagawa，G.（1998年）。自组织状态空间模型。J.Amer。统计师。协会93 1203-1215。 [55] 北川，G.（2014）。顺序蒙特卡罗滤波和平滑器的计算方面。Ann.Inst.统计。数学。66 443-471. ·Zbl 1334.65025号 ·doi:10.1007/s10463-014-0446-0 [56] Kitagawa，G.和Sato，S.（2001年）。蒙特卡罗平滑和自组织状态空间模型。在序贯蒙特卡罗方法的实践中。《统计工程信息科学》。177-195. 纽约州施普林格·Zbl 1056.93581号 ·doi:10.1007/978-14757-3437-99 [57] Klaas，M.、Briers，M.，De Freitas，N.、Doucet，A.、Maskell，S.和Lang，D.（2006年）。快速粒子平滑：如果我有一百万个粒子。程序中。国际Conf.机器学习481-488。宾夕法尼亚州匹兹堡。 [58] Künsch，H.R.（2013）。颗粒过滤器。伯努利19 1391-1403·Zbl 1275.93058号 ·doi:10.3150/12-BEJSP07 [59] Lee，A.（2008）。朝向更平滑的多元粒子过滤器。卑诗省温哥华不列颠哥伦比亚大学计算机科学硕士。 [60] Lee，A.和Whiteley，N.（2014）。分布式顺序蒙特卡罗森林重采样。预打印。可从获取。arXiv:1406.6010 [61] Lee，D.S.和Chia，K.K.（2002年）。用于序列贝叶斯参数估计和模型选择的粒子算法。IEEE传输。信号处理。50 326-336。 [62] Le Corff，S.和Fort，G.（2013年）。隐马尔可夫模型中基于在线期望最大化的推理算法。电子。《美国联邦法律大全》第7卷第763-792页·Zbl 1336.62090号 ·doi:10.1214/13-EJS789 [63] Le Corff，S.和Fort，G.（2013年）。基于粒子的块在线期望最大化算法近似的收敛性。ACM事务处理。模型。计算。模拟。23第2条、第22条·Zbl 1336.62090号 ·数字对象标识代码：10.1145/2414416.241418 [64] Le Gland，F.和Mevel，M.（1997年）。隐马尔可夫模型中的递归估计。程序中。第36届IEEE Conf.Decision and Control 3468-3473。加利福尼亚州圣地亚哥。 [65] Lin，M.、Chen，R.和Liu，J.S.（2013）。序贯蒙特卡罗的前瞻策略。统计师。科学。28 69-94. ·Zbl 1332.62144号 ·doi:10.1214/12-STS401 [66] Lindsten，F.、Jordan，M.I.和Schön，T.B.（2014）。具有祖先采样的粒子吉布斯。J.马赫。学习。第15号决议2145-2184·兹伯利1319.60151 [67] Liu，J.和West，M.（2001）。在基于模拟的滤波中组合参数和状态估计。在实践中的序贯蒙特卡罗方法。纽约州施普林格·Zbl 1056.93583号 ·doi:10.1007/978-1-4757-3437-910 [68] Liu，J.S.（2001）。科学计算中的蒙特卡罗策略。纽约州施普林格·Zbl 0991.65001号 [69] Liu，J.S.和Chen，R.（1998）。动态系统的序贯蒙特卡罗方法。J.Amer。统计师。协会93 1032-1044·Zbl 1064.65500号 ·doi:10.2307/2669847 [70] Lopes，H.F.、Carvalho，C.M.、Johannes，M.S.和Polson，N.G.（2011年）。用于顺序贝叶斯计算的粒子学习。贝叶斯统计9（J.M.Bernardo、M.J.Bayarri、J.O.Berger、A.P.Dawid、D.、Heckerman A.F.M.Smith和M.West编辑）。牛津大学出版社，牛津。 [71] Lopes，H.F.和Tsay，R.S.（2011年）。金融计量经济学中的粒子滤波和贝叶斯推理。J.预测。30 168-209·Zbl 1217.91146号 ·doi:10.1002/适用于1995年11月 [72] Malik，S.和Pitt，M.K.（2011年）。用于连续可能性评估和最大化的粒子过滤器。《计量经济学杂志》165 190-209·Zbl 1441.62807号 ·doi:10.1016/j.jeconom.2011.07.006 [73] Nemeth，C.、Fearnhead，P.和Mihaylova，L.（2013）。具有线性计算成本的状态空间模型中参数估计的分数和观测信息矩阵的粒子近似。预打印。可从获取。arXiv公司：1306.0735 [74] Olsson，J.、Cappé，O.、Douc，R.和Moulines，E.（2008）。序贯蒙特卡罗平滑及其在非线性状态空间模型参数估计中的应用。伯努利14 155-179·Zbl 1155.62055号 ·doi:10.3150/07-BEJ6150 [75] Olsson，J.和Westerborn，J.（2014）。一般隐马尔可夫模型中基于粒子的高效在线平滑：PaRIS算法。预打印。可从获取。arXiv:1412.7550·Zbl 1392.62252号 [76] Oudjane，N.和Rubenthaler，S.（2005年）。非遍历信号下非线性滤波器的稳定性和一致粒子近似。斯托克。分析。申请。23 421-448. ·Zbl 1140.93485号 ·doi:10.1081/SAP-200056643 [77] Paninski，L.、Ahmadian，Y.、Ferreira，D.G.、Koyama，S.、Rad，K.R.、Vidne，M.、Vogelstein，J.和Wu，W.（2010年）。神经数据状态空间模型的新视角。J.计算。神经科学。29 107-126. ·文件编号：10.1007/s10827-009-0179-x [78] Pitt，M.K.和Shephard，N.（1999）。通过模拟过滤：辅助粒子过滤器。J.Amer。统计师。协会94 590-599·Zbl 1072.62639号 ·doi:10.2307/2670179 [79] Pitt，M.K.、Silva，R.d.S.、Giordani，P.和Kohn，R.（2012）。基于粒子滤波的马尔可夫链蒙特卡罗模拟方法的一些性质。《计量经济学杂志》171 134-151·Zbl 1443.62499号 ·doi:10.1016/j.jeconom.2012.06.004 [80] Polson，N.G.、Stroud，J.R.和Müller，P.（2008）。具有顺序参数学习的实用滤波。J.R.统计社会服务。B.统计方法。70 413-428. ·Zbl 1351.62177号 ·文件编号：10.1111/j.1467-9868.2007.00642.x [81] Poyadjis，G.、Doucet，A.和Singh，S.S.（2011年）。状态空间模型中分数和观测信息矩阵的粒子近似及其在参数估计中的应用。生物特征98 65-80·Zbl 1214.62093号 ·doi:10.1093/biomet/asq062 [82] Schön，T.B.、Wills，A.和Ninness，B.（2011年）。非线性状态空间模型的系统辨识。Automatica J.IFAC 47 39-49·Zbl 1209.93155号 ·doi:10.1016/j.automatica.2010.1013 [83] Sherlock，C.、Thiery，A.H.、Roberts，G.O.和Rosenthal，J.S.（2015）。伪边缘随机游走Metropolis算法的效率。安。统计师。43 238-275. ·Zbl 1326.65015号 ·doi:10.1214/14-AOS1278 [84] Storvik，G.（2002）。存在未知静态参数的状态空间模型中的粒子滤波器。IEEE传输。信号处理。50 281-289. [85] Taghavi，E.、Lindsten，F.、Svensson，L.和Schön，T.B.（2013）。自适应停止用于快速粒子平滑。程序中。IEEE ICASSP 6293-6297。不列颠哥伦比亚省温哥华市。 [86] Vercauteren，T.、Toledo，A.和Wang，X.（2005）。具有未知转移矩阵的隐马尔可夫模型的在线贝叶斯估计及其在IEEE 802.11网络中的应用。程序中。IEEE ICASSP，第四卷13-16。宾夕法尼亚州费城。 [87] West，M.和Harrison，J.（1997年）。贝叶斯预测和动态模型，第二版，施普林格，纽约·Zbl 0871.62026号 ·doi:10.1007/b98971 [88] Westerborn，J.和Olsson，J.（2014）。一般隐马尔可夫模型中有效的基于粒子的在线平滑。程序中。IEEE ICASSP 8003-8007。佛罗伦萨·Zbl 1392.62252号 [89] Whiteley，N.（2010年）。粒子马尔可夫链蒙特卡罗方法的讨论。皇家统计学会期刊72 306-307·文件编号：10.1111/j.1467-9868.2009.00736.x [90] Whiteley，N.（2013）。一些粒子滤波器的稳定性。附录申请。普罗巴伯。23 2500-2537. ·Zbl 1296.60098号 ·doi:10.1214/12-AAP909 [91] Whiteley，N.、Andrieu，C.和Doucet，A.（2010年）。使用离散粒子马尔可夫链蒙特卡罗方法进行状态空间模型切换的有效贝叶斯推断。预打印。可从获取。arXiv公司：1011.2437·文件编号：10.1111/j.1467-9868.2009.00736.x [92] Whiteley，N.和Lee，A.（2014）。扭曲的粒子过滤器。安。统计师。42 115-141. ·Zbl 1302.60139号 ·doi:10.1214/13-AOS1167 [93] Wilkinson，D.J.（2012）。《系统生物学随机建模》，第二版，CRC出版社，佛罗里达州博卡拉顿·Zbl 1300.92004号 [94] Yildirim，S.、Singh，S.S.和Doucet，A.（2013年）。一种用于变化点模型的在线期望最大化算法。J.计算。图表。统计师。22 906-926. ·doi:10.1080/10618600.2012.674653 [95] Yuan，Y.-x.（2008）。渐变方法的步长。在第三届中国数学家国际大会上。第1、2部分。AMS/IP高级数学研究，第42页，第1 2 785-796页。阿默尔。数学。佛罗里达州普罗维登斯Soc·Zbl 1172.90509号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。