Sequential Monte Carlo Samplers

Del Moral, Pierre; Doucet, Arnaud; Jasra, Ajay

doi:10.1111/j.1467-9868.2006.00553.x

总结

我们提出了一种方法，从定义在公共空间上的概率分布序列中进行顺序采样，每个分布已知到一个规范化常数。这些概率分布由加权随机样本云近似，这些样本通过使用顺序蒙特卡罗方法随时间传播。该方法允许我们推导简单的算法，使并行马尔可夫链蒙特卡罗算法相互作用，以执行全局优化和顺序贝叶斯估计，并计算归一化常数的比率。我们将这些算法用于贝叶斯推理上下文中产生的各种集成任务。

重要性抽样，马尔可夫链蒙特卡罗方法，归一化常数比，重新采样，序贯蒙特卡罗方法，模拟退火

1.简介

考虑一系列概率测度{π_n个}_{n个∈ 𝕋}定义在公共可测空间上的(E类，ℰ), 哪里𝕋={1,…,第页}. 为了便于介绍，我们假设π_n个（d）x个)允许密度π_n个(x个)关于σ-表示d的有限支配测度x个。我们将参考n个作为时间指标；这个变量只是一个计数器，不需要与“实时”时间有任何关系。我们还表示E类_n个，支持π_n个，即。E类_n个={x个∈E类:π_n个(x个)>0｝。在本文中，我们感兴趣的是从分布中抽样{π_n个}_{n个∈ 𝕋}按顺序，即第一次采样π₁，然后从π₂等等。

这个问题出现在许多应用中。在序贯贝叶斯推理的背景下，π_n个可能是某个参数的后验分布，给出截至时间的数据n个，例如。π_n个(x个)=第页(x个|年₁,…,年_n个). 在批处理设置中，一组固定的观察值年₁,…,年_第页如果可用，我们还可以考虑分布序列第页(x个|年₁,…,年_n个)对于n个 $⩽$ 第页出于以下两个原因。首先，对于大型数据集，诸如马尔可夫链蒙特卡罗（MCMC）方法等标准模拟方法需要完全“浏览”观测值；相反，顺序策略可以降低计算复杂性。其次，通过一次包含一个观察值，后验分布显示出有益的回火效应（肖邦，2002). 或者，我们可能希望从易于处理的（易于抽样的）分布转移π₁利益分配，π_第页通过一系列人工中间分布（Neal，2001). 在优化的背景下，以类似于模拟退火的方式，我们还可以考虑分布序列π_n个(x个)∝π(x个)^φn个对于不断增加的时间表{φ_n个}_{n个∈ 𝕋}.

统计学家青睐的从复杂分布中抽样的工具是MCMC方法（例如，请参见Robert和Casella(2004)). 采样自π_n个MCMC方法包括构建遍历马尔可夫核K（K）_n个具有不变分布π_n个使用Metropolis–Hastings（MH）步法和Gibbs步法。MCMC算法已经成功地应用于统计学中的许多问题（例如，混合建模（Richardson和Green，1997)以及变化点分析（Green，1995)). 然而，一般来说，MCMC方法有两个主要缺点。很难评估马尔可夫链何时达到其平稳状态，并且很容易陷入局部模式。此外，MCMC方法不能用于顺序贝叶斯估计上下文。

在本文中，我们提出了一种不同的方法来从{π_n个}_{n个∈ 𝕋}它基于顺序蒙特卡罗（SMC）方法（Del Moral，2004; 水龙头等。，2001; 线路接口单元，2001). 此后，产生的算法将被称为SMC采样器。更准确地说，这是对MCMC采样的一种补充方法，因为MCMC内核通常是所建议方法的组成部分。SMC方法最近被研究并广泛用于序列贝叶斯推理。在给定的时间n个，基本思想是获取大量N个加权随机样本 ${{W公司}_{n个}^{(我)} ， {X（X）}_{n个}^{(我)}} (我 = 1 ， \dots ， N个， {W公司}_{n个}^{(我)} > 0; \sum_{我 = 1}^{N个} {W公司}_{n个}^{(我)} = 1)$ ⁠)经验分布渐近收敛的命名粒子(N个→∞) 到π_n个，即针对任何π_n个-可积函数ϕ:E类→ℝ

\sum_{我 = 1}^{N个} {W公司}_{n个}^{(我)} φ ({X（X）}_{n个}^{(我)}) \to {E类}_{π_{n个}} (φ) 几乎可以肯定

哪里

{E类}_{π_{n个}} (φ) = {¦Β}_{E类} φ (x个) π_{n个} (x个) d日 x个 .

1

这些粒子是通过使用顺序重要性采样（IS）和重采样思想的组合随时间推移进行的。

文献中的标准SMC算法不适用于上述问题。这是因为这些算法处理的是这样的情况：n个，定义于S公司_n个带暗淡(S公司_n个−1)<尺寸(S公司_n个)，例如。S公司_n个=E类^n个相反，我们对以下情况感兴趣：{π_n个}_{n个∈ 𝕋}都定义在一个公共空间E类我们的方法与自适应IS方法（West，1993; 哦，伯杰，1993; 礼物和拉弗瑞，1996)，重采样–移动（RM）策略（肖邦，2002; Gilks和Berzuini，2001)退火IS（AIS）（Neal，2001)和总体蒙特卡罗方法（Cappé等。，2004)详见第节三然而，我们在这里提出的通用框架更加灵活。它允许我们定义一般动作，并可用于先前开发的方法不适用的场景（见第节5). 此外，我们可以开发新的算法，使并行MCMC运行以简单的方式进行交互，以执行全局优化或解决序列贝叶斯估计问题。作为算法的副产品，也可以估计归一化常数的比率。对于MCMC采样，这些算法的性能高度依赖于目标分布{π_n个}_{n个∈ 𝕋}以及用于探索空间的提案分发。

本文主要研究SMC采样器的算法方面。然而，值得注意的是，我们的算法可以解释为分布空间中Feynman–Kac流的交互粒子近似。对于这些近似值和SMC采样器（Del Moral，2004). 然而，这里开发的SMC采样器可以大大改进对这些一般过程渐近行为的许多已知估计。其中一些结果可以在Del Moral和Doucet中找到(2003). 本文给出了与中心极限定理有关的渐近方差的表达式。

论文的其余部分组织如下。在节中附录A.

2.序贯重要性抽样

在本节中，我们描述了从分布序列中采样的通用迭代SIS方法{π_n个}_{n个∈ 𝕋}我们对标准IS方法进行了审查；然后我们概述了它的局限性，并描述了该算法的顺序版本。

2.1、。重要性抽样

让π_n个成为目标密度E类这样的话

π_{n个} (x个) = γ_{n个} (x个) / {Z轴}_{n个}

哪里γ_n个:E类→ℝ⁺是已知的逐点和归一化常数Z轴_n个未知。让η_n个(x个)是关于d的正密度x个，称为重要性分布。IS基于身份

{E类}_{π_{n个}} (φ) = {Z轴}_{n个}^{负极 1} {¦Β}_{E类} φ (x个) {w个}_{n个} (x个) η_{n个} (x个) d日 x个 ，

2

{Z轴}_{n个} = {¦Β}_{E类} {w个}_{n个} (x个) η_{n个} (x个) d日 x个 ，

三

其中非标准化重要性权重函数等于

{w个}_{n个} (x个) = γ_{n个} (x个) / η_{n个} (x个) .

4

通过采样N个粒子 ${{X（X）}_{n个}^{(我)}}$ 从η_n个用蒙特卡罗近似代替

η_{n个}^{N个} (d日 x个) = \frac{1}{N个} \sum_{我 = 1}^{N个} δ_{{X（X）}_{n个}^{(我)}} (d日 x个)

（带有δ表示Dirac测度）将此分布转化为方程(2)和(三)，我们得到了一个近似值𝔼_πn个(ϕ)和Z轴_n个.

在统计学应用中，我们通常对估计方程感兴趣(1)用于大量测试功能ϕ。在这些情况下，我们通常会尝试选择η_n个“接近”π_n个因为方差与1+var近似成正比_ηn个{w个_n个(X（X）_n个)}（见刘(2001)，第35-36页）。不幸的是，当π_n个是一种非标准的高维分布。因此，尽管IS相对简单，但在可以应用MCMC方法时，几乎从未使用过IS。

2.2. 顺序重要性抽样

为了获得更好的重要性分布，我们提出以下顺序方法。时间n个=1，我们从目标分布开始π₁假设使用is很容易有效地近似，即。η₁可以选择使得重要性权重（4）的方差较小。在最简单的情况下，η₁=π₁。然后，在时间n个=2，我们考虑新的目标分布π₂。构建关联的IS分发η₂，我们使用时间采样的粒子n个比如说=1 ${{X（X）}_{1}^{(我)}}$ ⁠理由是，如果π₁和π₂彼此相差不大，那么应该可以移动粒子 ${{X（X）}_{1}^{(我)}}$ 在高概率密度区域π₂以合理的方式。

时间n个−1我们有N个粒子 ${{X（X）}_{n个负极 1}^{(我)}}$ 分配依据η_n个−1。我们建议使用马尔可夫核来移动这些粒子K（K）_n个:E类×ℰ→[0,1]，表示相关密度K（K）_n个(x个，x个^′). 粒子 ${{X（X）}_{n个}^{(我)}}$ 以这种方式获得的数据根据

η_{n个} ({x个}^{'}) = {¦Β}_{E类} η_{n个 负极 1} (x个) {K（K）}_{n个} (x个 ， {x个}^{'}) d日 x个 .

5

如果η_n个可以逐点计算，则可以使用标准is估计值π_n个和Z轴_n个.

2.3. 算法设置

SIS策略非常通用。有许多潜在的选择{π_n个}_{n个∈ 𝕋}导致各种集成和优化算法。

2.3.1. 分布顺序{π_n个}

（a）
在静态参数的贝叶斯推断上下文中，其中第页观察(年₁,…,年_第页)我们可以考虑
$π_{n个} (x个) = 第页 (x个 ∣ 年_{1} ， \dots ，年_{n个}) .$
6
参见萧邦(2002)用于此类应用。
（b）
考虑一个非均匀分布序列从一个易于处理的分布“平滑”地移动是很有意义的π₁=μ₁到目标分布π通过一系列中间分布。例如，我们可以选择一条几何路径（Gelman和Meng，1998; 尼尔，2001)
$π_{n个} (x个) \propto π {(x个)}^{ϕ_{n个}} μ_{1} {(x个)}^{1 负极 ϕ_{n个}}$
7
使用0 $⩽$ φ₁<…<φ_第页=1.或者，我们可以简单地考虑以下情况π_n个=π为所有人n个∈ 𝕋。这在文献中被多次提出。然而，如果π由于是一个复杂的分布，很难建立一个合理的初始重要性分布。特别是，当目标是多模式且具有分离良好的窄模式时，此类算法可能会失败。事实上，在这种情况下，在目标的所有模式下获取样本的概率非常小，并且基于这些初始粒子的重要性分布可能效率低下。因此，对于困难的情况，这种方法不太可能是稳健的。
（c）
对于全局优化，如模拟退火，我们可以选择
$π_{n个} (x个) \propto π {(x个)}^{ϕ_{n个}}$
8
其中{φ_n个}_{n个∈ 𝕋}是一个递增序列φ_第页→∞ 对于大型第页.
（d）
假设我们对估计罕见事件的概率感兴趣，一个∈ ℰ, 在概率测度下π(π(一个)≈0). 在大多数这些应用程序中，π通常很容易取样，其密度的归一化常数已知。我们可以考虑分布序列
$π_{n个} (x个) \propto π (x个) 𝕀_{{E类}_{n个}} (x个)$
哪里E类_n个∈ ℰ ∀n个∈ 𝕋, 𝕀_一个(x个)是的指示器功能一个∈ ℰ 和E类₁⊃E类₂⊃ … ⊃E类_第页−1⊃E类_第页，E类₁=E类和E类_第页=一个.估计π(一个)由标准化常数的估计值给出Z轴_第页.

2.3.2. 过渡核序列{K（K）_n个}

很容易看出，在最小化重要性权重方差的意义上，最优方案是K（K）_n个(x个，x个^′)=π_n个(x个^′). 由于这种选择是不可能的，我们必须制定合理的替代方案。

2.3.2.1. 独立提案

可以选择K（K）_n个(x个，x个^′)=K（K）_n个(x个^′)其中K（K）_n个（·）是一个标准分布（例如高斯或多项式），其参数可以通过使用基于 $η_{n个负极 1}^{N个}$ ⁠这种方法在文献中是标准的，例如West(1993). 然而，独立提案似乎过于严格，在高维空间中设计局部移动似乎是明智的。

2.3.2.2. 本地随机走动

标准替代方案包括使用K（K）_n个(x个，x个^′)一个随机遍历内核。这种想法在文献中多次出现K（K）_n个(x个，x个^′)选择为标准平滑核（例如高斯或Epanechikov），例如Givens和Raftery(1996). 然而，这种方法存在问题。首先，内核带宽的选择很困难。确定内核带宽的标准规则在这里可能确实不合适，因为我们没有尝试获得内核密度估计值 $η_{n个负极 1}^{N个} {K（K）}_{n个} ({x个}^{'})$ 属于η_n个−1(x个^′)但要设计一个近似的重要性分布π_n个(x个^′). 其次，没有关于π_n个通常用于构建K（K）_n个(x个，x个^′).

利用π_n个现在提出。

2.3.2.3. 马尔可夫链蒙特卡罗运动

设置是很自然的K（K）_n个作为不变分布的MCMC核π_n个特别是，如果有以下情况之一，则这种方法是合理的K（K）_n个快速混合和/或π_n个正在缓慢发展，因此我们可以预期η_n个合理接近目标分布。在这种情况下，生成的算法是一种is技术，它允许我们纠正以下事实：N个非齐次马尔可夫链 ${{X（X）}_{n个}^{(我)}}$ 是这样的η_n个≠π_n个这是一个很有吸引力的策略：我们可以利用大量关于设计高效MCMC算法的文献来构建“良好”的重要性分布。

2.3.2.4. 吉布斯近似移动

当无法从吉布斯不变分布核所需的全部条件分布中采样时π_n个，可以使用这些分布的近似值来构建K（K）_n个这种策略在SMC文献中非常流行，用于最优滤波，其中所谓的最优方案（Doucet等. (2000)，第199页，以及Liu(2001)，第47页）对应于Gibbs步长，但很少能实现，并且是近似值。

2.4。序贯重要性抽样的局限性

对于任何概率密度ν，我们使用符号

ν {K（K）}_{我 : j个} ({x个}_{j个}) ≜ ¦Β ν ({x个}_{我 负极 1}) \prod_{k个 = 我}^{j个} {K（K）}_{k个} ({x个}_{k个 负极 1} ， {x个}_{k个}) d日 {x个}_{我 负极 1 : j个 负极 1}

哪里x个_我:j个，我 $⩽$ j个、和X（X）_我:j个分别表示(x个_我,…,x个_j个)和(X（X）_我,…,X（X）_j个).

上面讨论的算法有一个主要缺点。在大多数情况下，不可能计算重要性分布η_n个(x个_n个)它是由

η_{n个} ({x个}_{n个}) = η_{1} {K（K）}_{2 : n个} ({x个}_{n个})

9

因此无法计算重要性权重。一个重要的例外是，当我们使用独立提案分发时，我们认为这解释了为什么文献中经常使用这种方法。然而，无论何时使用本地移动，η_n个在大多数情况下不接受封闭形式的表达式。

一个可能的解决方案是尝试近似η_n个逐点按

η_{n个 负极 1}^{N个} {K（K）}_{n个} ({x个}_{n个}) = \frac{1}{N个} \sum_{我 = 1}^{N个} {K（K）}_{n个} ({X（X）}_{n个 负极 1}^{(我)} ， {x个}_{n个}) .

文献中已将此近似用于局部随机行走。然而，这种方法存在两个主要问题。首先，结果算法的计算复杂性O（运行）(N个²)，这是禁止的。第二，不可能计算K（K）_n个(x个_n个−1，x个_n个)重要场景中的逐点分析。例如，考虑以下情况E类=ℝ,K（K）_n个是MH内核和dx个是勒贝格测度：我们通常无法解析地计算MH核的拒绝概率。

3.顺序蒙特卡罗采样器

在本节中，我们将展示如何在SIS框架中使用任何本地移动，包括MCMC移动，同时避免计算分布（9）。该算法保持了O（运行）(N个)并提供渐近一致的估计。

3.1. 方法和算法

如上所述，重要性权重可以在时间1精确计算。时间n个>1，通常无法计算η_n个(x个_n个)逐点，因为它需要与x个_1:n个−1相反，我们提出了一种辅助变量技术，并引入了人工向后（及时）马尔可夫核我_n个−1:E类×ℰ→[0,1]带密度我_n个−1(x个_n个，x个_n个−1). 然后，我们在联合重要性分布之间执行ISη_n个(x个_1:n个)以及由定义的人工联合目标分布

{\tilde{π}}_{n个} ({x个}_{1 : n个}) = {\tilde{γ}}_{n个} ({x个}_{1 : n个}) / {Z轴}_{n个}

哪里

{\tilde{γ}}_{n个} ({x个}_{1 : n个}) = γ_{n个} ({x个}_{n个}) \prod_{k个 = 1}^{n个 负极 1} 我_{k个} ({x个}_{k个 + 1} ， {x个}_{k个}) .

作为 ${\tilde{π}}_{n个} ({x个}_{1 : n个})$ 承认π_n个(x个_n个)作为构造的边际，IS提供了此分布及其归一化常数的估计。通过这样做，我们定义了一系列概率分布 ${{\tilde{π}}_{n个}}$ 其维度随着时间的推移而增加；即 ${\tilde{π}}_{n个}$ 定义于E类^n个然后，我们回到了“标准”SMC框架，例如在Del Moral中描述的框架(2004)、Doucet等。(2001)和刘(2001). 我们现在描述了一种通用的SMC算法，该算法基于SIS重采样方法从该分布序列中进行采样。

在时间n个−1，假设一组加权粒子 ${{W公司}_{n个负极 1}^{(我)} ， {X（X）}_{1 : n个负极 1}^{(我)}} (我 = 1 ， \dots ， N个)$ 近似 ${\tilde{π}}_{n个负极 1}$ 可用，

{\tilde{π}}_{n个 负极 1}^{N个} (d日 {x个}_{1 : n个 负极 1}) = \sum_{我 = 1}^{N个} {W公司}_{n个 负极 1}^{(我)} δ_{{X（X）}_{1 : n个 负极 1}^{(我)}} (d日 {x个}_{1 : n个 负极 1}) ，

10

{W公司}_{n个 负极 1}^{(我)} = {w个}_{n个 负极 1} ({X（X）}_{1 : n个 负极 1}^{(我)}) / \sum_{j个 = 1}^{N个} {w个}_{n个 负极 1} ({X（X）}_{1 : n个 负极 1}^{(j个)}) .

时间n个，我们用马尔可夫核扩展每个粒子的路径K（K）_n个(x个_n个−1，x个_n个). 然后使用IS校正采样分布之间的差异η_n个(x个_1:n个)和 ${\tilde{π}}_{n个} ({x个}_{1 : n个})$ ⁠在这种情况下，非规范化重要性权重的新表达式如下所示

\begin{array}{l} {w个}_{n个} ({x个}_{1 : n个}) = {\tilde{γ}}_{n个} ({x个}_{1 : n个}) / η_{n个} ({x个}_{1 : n个}) \\ = {w个}_{n个 负极 1} ({x个}_{1 : n个 负极 1}) {\tilde{w个}}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) \end{array}

11

其中所谓的（非标准化）增量重量 ${\tilde{w个}}_{n个} ({x个}_{n个负极 1} ， {x个}_{n个})$ 等于

{\tilde{w个}}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) = \frac{γ_{n个} ({x个}_{n个}) 我_{n个 负极 1} ({x个}_{n个} ， {x个}_{n个 负极 1})}{γ_{n个 负极 1} ({x个}_{n个 负极 1}) {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个})} .

12

作为两者之间的差异η_n个和 ${\tilde{π}}_{n个}$ 随着n个，非正规化重要性权重的方差趋于增加，导致粒子近似的潜在退化。这种简并度通常使用有效样本量（ESS）标准进行测量 ${\sum_{我 = 1}^{N个} {({W公司}_{n个}^{(我)})}^{2}}^{负极 1}$ （刘和陈，1998). ESS取1到之间的值N个如果简并度过高，即ESS低于预先指定的阈值，例如N个/2，然后是每个粒子 ${X（X）}_{1 : n个}^{(我)}$ 已复制 ${N个}_{n个}^{(我)}$ 限制条件下的时间 $\sum_{我 = 1}^{N个} {N个}_{n个}^{(我)} = N个$ ⁠，期望 ${N个}_{n个}^{(我)}$ 等于 $N个 {W公司}_{n个}^{(我)}$ 这样，具有高权重的粒子被多次复制，而具有低权重的粒子则被丢弃。最后，为所有重采样粒子指定相等的权重。执行重采样的最简单方法包括对N个加权分布中的新粒子 ${\tilde{π}}_{n个}^{N个}$ ⁠; 结果 ${{N个}_{n个}^{(我)}}$ 根据参数的多项式分布进行分布 ${{W公司}_{n个}^{(我)}}$ ⁠分层重采样（北川，1996)并且还可以使用残差重采样，并且所有这些都减少了 ${N个}_{n个}^{(我)}$ 相对于多项式方案。

下一小节将对算法进行概述。该算法的复杂性在于O（运行）(N个)而且它可以很容易地并行化。

3.1.1、。算法：顺序蒙特卡罗采样器

第1步：初始化-设置n个=1; 对于我=1,…,N个画 ${X（X）}_{1}^{(我)} \sim η_{1}$ ⁠; 评价 ${{w个}_{1} ({X（X）}_{1}^{(我)})}$ 通过使用方程(4)并将这些权重归一化，以获得 ${{W公司}_{1}^{(我)}}$ ⁠.重复步骤2和3。
第二步：重新取样-如果是ESS<T型（对于某些阈值T型)，重新对粒子采样并设置 ${W公司}_{n个}^{(我)} = 1 / N个$ ⁠.
第三步：取样-设置n个=n个+1; 如果n个=第页+1次停车；对于我=1,…,N个画 ${X（X）}_{n个}^{(我)} \sim {K（K）}_{n个} ({X（X）}_{n个负极 1}^{(我)} ， \cdot)$ ⁠; 评价 ${{\tilde{w个}}_{n个} ({X（X）}_{n个负极 1 : n个}^{(我)})}$ 通过使用方程式(12)并将权重标准化
${W公司}_{n个}^{(我)} = {W公司}_{n个负极 1}^{(我)} {\tilde{w个}}_{n个} ({X（X）}_{n个负极 1 : n个}^{(我)}) / \sum_{j个 = 1}^{N个} {W公司}_{n个负极 1}^{(j个)} {\tilde{w个}}_{n个} ({X（X）}_{n个负极 1 : n个}^{(j个)}) .$

备注1。如果重量 ${{W公司}_{n个}^{(我)}}$ 独立于 ${{X（X）}_{n个}^{(我)}}$ ⁠然后是粒子 ${{X（X）}_{n个}^{(我)}}$ 应在称重后取样 ${{W公司}_{n个}^{(我)}}$ 已计算且在粒子近似之后 ${{W公司}_{n个}^{(我)} ， {X（X）}_{n个负极 1}^{(我)}}$ 属于π_n个(x个_n个−1)可能已重新采样。此场景出现在{我_n个}由方程式给出(30)在第节中3.3.2.3.

备注2。本着皮特和谢泼德的精神，也可以推导出算法1的辅助版本(1999).

3.2. 算法说明

3.2.1. 目标分布和归一化常数的估计

时间n个，在采样步骤之后，我们获得了粒子近似 ${{W公司}_{n个}^{(我)} ， {X（X）}_{1 : n个}^{(我)}}$ 属于 ${\tilde{π}}_{n个} ({x个}_{1 : n个})$ ⁠.作为目标π_n个(x个_n个)是的边缘 ${\tilde{π}}_{n个} ({x个}_{1 : n个})$ 通过构造，它的近似值如下所示

π_{n个}^{N个} (d日 x个) = \sum_{我 = 1}^{N个} {W公司}_{n个}^{(我)} δ_{{X（X）}_{n个}^{(我)}} (d日 x个) .

13

粒子近似 ${{W公司}_{n个负极 1}^{(我)} ， {X（X）}_{n个负极 1 : n个}^{(我)}}$ 属于π_n个−1(x个_n个−1)K（K）_n个(x个_n个−1，x个_n个)在采样步骤之后获得的值也允许我们近似

\frac{{Z轴}_{n个}}{{Z轴}_{n个 负极 1}} = \frac{¦Β γ_{n个} ({x个}_{n个}) d日 {x个}_{n个}}{¦Β γ_{n个 负极 1} ({x个}_{n个 负极 1}) d日 {x个}_{n个 负极 1}}

通过

\frac{\hat{{Z轴}_{n个}}}{{Z轴}_{n个 负极 1}} = \sum_{我 = 1}^{N个} {W公司}_{n个 负极 1}^{(我)} {\tilde{w个}}_{n个} ({X（X）}_{n个 负极 1 : n个}^{(我)}) .

14

估计Z轴_n个/Z轴₁，我们可以使用形式（14）估计值的乘积k个=2至k个=n个然而，如果我们不在每次迭代时重新采样，则通过以下公式给出一个更简单的选择

\frac{\hat{{Z轴}_{n个}}}{{Z轴}_{1}} = \prod_{j个 = 1}^{{第页}_{n个 负极 1} + 1} \frac{\hat{{Z轴}_{{k个}_{j个}}}}{{Z轴}_{{k个}_{j个 负极 1}}} ，

具有

\frac{\hat{{Z轴}_{{k个}_{j个}}}}{{Z轴}_{{k个}_{j个 负极 1}}} = \sum_{我 = 1}^{N个} {W公司}_{{k个}_{j个 负极 1}}^{(我)} \prod_{米 = {k个}_{j个 负极 1} + 1}^{{k个}_{j个}} {\tilde{w个}}_{米} ({X（X）}_{米 负极 1 : 米}^{(我)})

15

哪里k个₀=1,k个_j个是j个我们重新采样的第个时间索引j个>1.1到之间的重采样步骤数n个−1表示第页_n个−1然后我们设置k个_{第页n个−1+1}=n个.

有一种基于路径抽样的标准化常数比率的潜在替代估计（Gelman和Meng，1998). 实际上，考虑分布的连续路径

π_{θ (t吨)} = γ_{θ (t吨)} / {Z轴}_{θ (t吨)}

哪里t吨∈ [0,1],θ（0）=0和θ(1)=1. 然后，在正则性假设下，我们得到了路径采样恒等式

日志 (\frac{{Z轴}_{1}}{{Z轴}_{0}}) = {¦Β}_{0}^{1} \frac{d日 θ (t吨)}{d日 t吨} ¦Β \frac{d日 [日志 {γ_{θ (t吨)} (x个)}]}{d日 t吨} π_{θ (t吨)} (d日 x个) d日 t吨 .

在SMC采样器环境中，如果我们考虑一系列第页+此处表示1个中间分布π_{θ(k个/P（P）)}，k个=0,…,第页，从移动π₀到π₁然后，可以使用梯形积分格式并替换来近似上述方程 ${\hat{π}}_{θ (k个 / P（P）)}^{N个} (d日 x个)$ 对于π_{θ(k个/P（P）)}（d）x个). Johansen详细介绍了该标识在SMC框架中的一些应用等. (2005)还有Rousset和Stoltz(2005).

3.2.2. 马尔可夫核的混合

本节中描述的算法必须解释为更复杂算法的基本元素。对于SMC采样，就像MH算法对于MCMC采样一样。对于复杂的MCMC问题，通常使用MH步骤的组合，其中J型的组件x个说(x个₁,…,x个_J型)在子块中更新。类似地，为了从高维分布中采样，一个实用的SMC采样器可以更新x个每次都可以使用via子块和过渡内核的混合物n个.

让我们假设K（K）_n个(x个_n个−1，x个_n个)形式为

{K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) = \sum_{米 = 1}^{M（M）} α_{n个 ， 米} ({x个}_{n个 负极 1}) {K（K）}_{n个 ， 米} ({x个}_{n个 负极 1} ， {x个}_{n个})

16

哪里α_n个，米(x个_n个−1) $⩾$ 0, $\sum_{米 = 1}^{M（M）} α_{n个，米} ({x个}_{n个负极 1}) = 1$ 和{K（K）_n个，米}是转换内核的集合。在这种情况下，可以通过标准公式（12）来计算增量权重。然而，如果M（M）是很大的。另一种有效的方法包括考虑形式的后向马尔可夫核

我_{n个 负极 1} ({x个}_{n个} ， {x个}_{n个 负极 1}) = \sum_{米 = 1}^{M（M）} β_{n个 负极 1 ， 米} ({x个}_{n个}) 我_{n个 负极 1 ， 米} ({x个}_{n个} ， {x个}_{n个 负极 1})

17

哪里β_n个−1,米(x个_n个) $⩾$ 0, $\sum_{米 = 1}^{M（M）} β_{n个负极 1 ，米} ({x个}_{n个}) = 1$ 和{我_n个−1,米}是向后转换内核的集合。我们现在显式地引入一个离散的潜在变量M（M）_n个取ℳ={1，…，中的值，…，M（M）}使得ℙ(M（M）_n个=米)=α_n个，米(x个_n个−1)并在扩展空间上执行ISE类×E类×ℳ. 这将产生一个增量重要性权重，该权重等于

{\tilde{w个}}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个} ， 米_{n个}) = \frac{γ_{n个} ({x个}_{n个}) β_{n个 负极 1 ， 米_{n个}} ({x个}_{n个}) 我_{n个 负极 1 ， 米_{n个}} ({x个}_{n个} ， {x个}_{n个 负极 1})}{γ_{n个 负极 1} ({x个}_{n个 负极 1}) α_{n个 ， 米_{n个}} ({x个}_{n个 负极 1}) {K（K）}_{n个 ， 米_{n个}} ({x个}_{n个 负极 1} ， {x个}_{n个})} .

18

方程的方差(18)总是优于或等于方程的方差(12).

3.3. 算法设置

3.3.1. 最优反向核

在SMC方法的标准应用中，只有提案核心{K（K）_n个}必须选择作为联合分布 ${\tilde{π}_{n个}}$ 由手头的问题给出。在这里考虑的框架中{我_n个}是任意的。然而，在实践中{我_n个}应在以下方面进行优化{K（K）_n个}以获得良好的性能。回想一下{我_n个}之所以引入，是因为不可能计算边际重要性分布{η_n个}逐点显示。

粒子的边缘分布 ${{X（X）}_{n个}^{(我)}}$ 时间n个由提供

η_{n个} ({x个}_{n个}) = η_{1} {K（K）}_{2 : n个} ({x个}_{n个})

19

如果粒子在时间之前没有重新采样n个和大约

η_{n个} ({x个}_{n个}) = π_{我} {K（K）}_{我 + 1 : n个} ({x个}_{n个})

20

如果上次对粒子重新采样的时间是我为了简化讨论，我们在这里考虑案例（19）。更一般的情况（20）也可以类似地处理。

辅助内核的引入{我_n个}意味着我们不需要计算η_n个(x个_n个). 这是以扩展集成域为代价的E类到E类^n个以及增加重要性权重的方差（如果存在的话）。下面的命题建立了最优后向马尔可夫核序列的表达式。

提议1。核的序列 ${我_{k个}^{选择}} (k个 = 1 ， \dots ， n个)$ ⁠)最小化非正规重要性权重的方差w个_n个(x个_1:n个)为任何k个和n个通过

我_{k个 负极 1}^{选择} ({x个}_{k个} ， {x个}_{k个 负极 1}) = \frac{η_{k个 负极 1} ({x个}_{k个 负极 1}) {K（K）}_{k个} ({x个}_{k个 负极 1} ， {x个}_{k个})}{η_{k个} ({x个}_{k个})}

21

在这种情况下

{w个}_{n个} ({x个}_{1 : n个}) = γ_{n个} ({x个}_{n个}) / η_{n个} ({x个}_{n个}) .

备注3。这个命题是直观的，它简单地说明了最优后向马尔可夫核将我们带回到我们对其执行is的情况E类而不是打开E类^n个。也可以通过以下马尔可夫过程的正向-反向公式直观地理解结果：

η_{1} ({x个}_{1}) \prod_{k个 = 2}^{n个} {K（K）}_{k个} ({x个}_{k个 负极 1} ， {x个}_{k个}) = η_{n个} ({x个}_{n个}) \prod_{k个 = 2}^{n个} 我_{k个 负极 1}^{选择} ({x个}_{k个} ， {x个}_{k个 负极 1}) .

22

在混合核（16）的情况下，我们可以使用命题1来确定最优后向核的形式为（17）

β_{n个 负极 1 ， 米}^{选择} ({x个}_{n个}) \propto ¦Β α_{n个 ， 米} ({x个}_{n个 负极 1}) η_{n个 负极 1} ({x个}_{n个 负极 1}) {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) d日 {x个}_{n个 负极 1} ，

23

我_{n个 负极 1 ， 米}^{选择} ({x个}_{n个} ， {x个}_{n个 负极 1}) = \frac{α_{n个 ， 米} ({x个}_{n个 负极 1}) η_{n个 负极 1} ({x个}_{n个 负极 1}) {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个})}{¦Β α_{n个 ， 米} ({x个}_{n个 负极 1}) η_{n个 负极 1} ({x个}_{n个 负极 1}) {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) d日 {x个}_{n个 负极 1}} .

24

3.3.2. 次优反向核

在实践中，通常不可能使用最优核，因为它们本身依赖于不允许任何闭合形式表达式的边际分布。然而，这表明我们应该选择{我_k个}近似方程式（表达式(21). 关键是，即使{我_k个}不同于21)，该算法仍将提供渐近一致的估计。现在讨论一些近似值。

3.3.2.1. 替换π_n个−1对于η_n个−1

循环使用的一点是该等式(12)建议合理、次优的策略包括使用我_n个它是我们替换的最优核（21）的近似值π_n个−1对于η_n个−1，即。

我_{n个 负极 1} ({x个}_{n个} ， {x个}_{n个 负极 1}) = \frac{π_{n个 负极 1} ({x个}_{n个 负极 1}) {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个})}{π_{n个 负极 1} {K（K）}_{n个} ({x个}_{n个})}

25

这就产生了

{\tilde{w个}}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) = \frac{γ_{n个} ({x个}_{n个})}{{¦Β}_{E类} γ_{n个 负极 1} ({x个}_{n个 负极 1}) {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) d日 {x个}_{n个 负极 1}} .

26

使用方程式通常更方便(26)比方程式(21)作为{γ_n个}通过分析可知，而{η_n个}不是。如果粒子已在某个时间重新采样n个−1，然后η_n个−1实际上大约等于π_n个−1因此方程(21)等于等式(25).

3.3.2.2. Gibbs-type更新

考虑以下情况x个=(x个₁,…,x个_J型)我们只想更新k个第个(k个∈ {1,…,J型})组件x个_k个属于x个，表示x个_n个，k个，时间n个。很容易确定建议分布最小化方程方差(26)有条件的x个_n个−1是Gibbs更新，即。

{K（K）}_{n个} ({x个}_{n个 负极 1} ， d日 {x个}_{n个}) = δ_{{x个}_{n个 负极 1 ， 负极 k个}} (d日 {x个}_{n个 ， 负极 k个}) π_{n个} (d日 {x个}_{n个 ， k个} ∣ {x个}_{n个 ， 负极 k个})

27

哪里x个_{n个，−k个}=(x个_n个,1,…,x个_{n个，k个−1}，x个_{n个，k个+1},…,x个_n个，J型). 在这种情况下，方程式(25)和(26)由提供

我_{n个 负极 1} ({x个}_{n个} ， d日 {x个}_{n个 负极 1}) = δ_{{x个}_{n个 ， 负极 k个}} (d日 {x个}_{n个 负极 1 ， 负极 k个}) π_{n个 负极 1} (d日 {x个}_{n个 负极 1 ， k个} ∣ {x个}_{n个 负极 1 ， 负极 k个}) ，

{\tilde{w个}}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) = \frac{γ_{n个} ({x个}_{n个 负极 1 ， 负极 k个} ， {x个}_{n个 ， k个})}{γ_{n个 负极 1} ({x个}_{n个 负极 1 ， 负极 k个}) π_{n个} ({x个}_{n个 ， k个} ∣ {x个}_{n个 负极 1 ， 负极 k个})} .

当无法从π_n个(x个_n个，k个|x个_{n个−1,−k个})和/或计算

γ_{n个 负极 1} ({x个}_{n个 负极 1 ， 负极 k个}) = ¦Β γ_{n个 负极 1} ({x个}_{n个 负极 1}) d日 {x个}_{n个 负极 1 ， k个}

从分析上看，这建议使用近似值 ${\hat{π}}_{n个} ({x个}_{n个， k个} | {x个}_{n个负极 1} ，负极 k个)$ 到π_n个(x个_n个，k个|x个_{n个−1,−k个})采样粒子和另一个近似值 ${\hat{π}}_{n个负极 1} ({x个}_{n个负极 1 ， k个} | {x个}_{n个负极 1} ，负极 k个)$ 到π_n个−1(x个_{n个−1,k个}|x个_{n个−1,−k个})以获得

我_{n个 负极 1} ({x个}_{n个} ， d日 {x个}_{n个 负极 1}) = δ_{{x个}_{n个 ， 负极 k个}} (d日 {x个}_{n个 负极 1 ， 负极 k个}) {\hat{π}}_{n个 负极 1} (d日 {x个}_{n个 负极 1 ， k个} ∣ {x个}_{n个 负极 1 ， 负极 k个}) ，

28

{\tilde{w个}}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) = \frac{γ_{n个} ({x个}_{n个 负极 1 ， 负极 k个} ， {x个}_{n个 ， k个}) {\hat{π}}_{n个 负极 1} ({x个}_{n个 负极 1 ， k个} ∣ {x个}_{n个 负极 1 ， 负极 k个})}{γ_{n个 负极 1} ({x个}_{n个 负极 1}) {\hat{π}}_{n个} ({x个}_{n个 ， k个} ∣ {x个}_{n个 负极 1 ， 负极 k个})} .

29

3.3.2.3. 马尔可夫链蒙特卡罗核

方程的通用替代近似(25)也可以在以下情况下进行K（K）_n个是不变分布的MCMC核π_n个。由给出

我_{n个 负极 1} ({x个}_{n个} ， {x个}_{n个 负极 1}) = \frac{π_{n个} ({x个}_{n个 负极 1}) {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个})}{π_{n个} ({x个}_{n个})}

30

如果π_n个−1≈π_n个; 注意这个等式(30)是与K（K）_n个在这种情况下，我们有非正常的增量重量

{\tilde{w个}}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) = γ_{n个} ({x个}_{n个 负极 1}) / γ_{n个 负极 1} ({x个}_{n个 负极 1}) .

31

与等式相反(25)，此方法不适用于以下情况E类_n个−1⊂E类_n个和E类_n个∈ ℰ ∀n个∈ 𝕋 如第节所述5的确，在这种情况下

我_{n个 负极 1} ({x个}_{n个} ， {x个}_{n个 负极 1}) = \frac{π_{n个} ({x个}_{n个 负极 1}) {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个})}{{¦Β}_{{E类}_{n个 负极 1}} π_{n个} ({x个}_{n个 负极 1}) {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) d日 {x个}_{n个 负极 1}}

32

但这个表达式的分母不同于π_n个(x个_n个)当整合结束时E类_n个−1而不是结束E类_n个.

3.3.2.4. 谷物混合物

实际上，我们通常无法计算方程（表达式(23)和(24)以闭合形式，因此近似也是必要的。如前所述，一个次优选择包括替换η_n个−1具有π_n个−1在表达式中(23)和(24)或使用进一步的近似值，如30).

3.3.3. 总结备注

在本小节结束时，我们强调选择{我_n个}尽可能接近 ${我_{n个}^{选择}}$ 对于这种方法的有效性至关重要。这可能是一个诱人的选择{我_n个}以不同的方式。例如，如果我们选择我_n个−1=K（K）_n个然后，增加的重要性权重看起来像MH比率。然而，这种“美学”选择在大多数情况下效率低下，导致重要性权重具有非常大或无限的方差。

3.4. 收敛结果

使用方程式(13)，SMC算法通过

{E类}_{π_{n个}^{N个}} (φ) = {¦Β}_{E类} φ (x个) π_{n个}^{N个} (d日 x个) .

33

使用方程式(14)，我们还可以获得对数的估计值(Z轴_n个/Z轴₁):

日志 (\frac{\hat{{Z轴}_{n个}}}{{Z轴}_{1}}) = \sum_{k个 = 2}^{n个} 日志 (\frac{\hat{{Z轴}_{k个}}}{{Z轴}_{k个 负极 1}}) .

34

我们现在提出一个中心极限定理，在两种“极端”情况下给出了这些估计的渐近方差：当我们从不重采样时和当我们在每次迭代时重采样时。为了简单起见，我们只考虑了使用多项式重采样的情况（参见肖邦(2004年a)使用剩余重采样和Künsch进行分析(2005)用于筛选上下文中的结果）。渐近方差表达式(33)和(34)对于一般的SMC算法，以前在文献中已经建立。然而，我们在这里提出了一种新的表示法，它澄清了核的影响{我_n个}。

在下面的命题中，我们表示为𝒩(μ，σ²)具有平均值的正态分布μ和方差σ²，按'分布收敛⇒’, $¦Β {\tilde{π}}_{n个} ({x个}_{1 : n个}) d日 {x个}_{1 : k个负极 1} d日 {x个}_{k个 + 1 : n个}$ 通过 ${\tilde{π}}_{n个} ({x个}_{k个})$ 和 $¦Β {\tilde{π}}_{n个} ({x个}_{1 : n个}) d日 {x个}_{1 : k个负极 1} d日 {x个}_{k个 + 1 : n个负极 1} / {\tilde{π}}_{n个} ({x个}_{k个})$ 通过 ${\tilde{π}}_{n个} ({x个}_{n个} | {x个}_{k个})$ ⁠.

提议2。在肖邦给出的弱可积条件下(2004年a)定理1或Del Moral(2004)，第节9.4，第300–306页，我们得到了以下结果。当不进行重采样时

{N个}^{1 / 2} {{E类}_{π_{n个}^{N个}} (φ) 负极 {E类}_{π_{n个}} (φ)} \Rightarrow N个 {0 ， σ_{是 ， n个}^{2} (φ)}

具有

σ_{是 ， n个}^{2} (φ) = ¦Β \frac{{\tilde{π}}_{n个} {({x个}_{1 : n个})}^{2}}{η_{n个} ({x个}_{1 : n个})} {φ ({x个}_{n个}) 负极 {E类}_{π_{n个}} (φ)}^{2} d日 {x个}_{1 : n个}

35

其中，联合重要性分布η_n个由提供

η_{n个} ({x个}_{1 : n个}) = η_{1} ({x个}_{1}) \prod_{k个 = 2}^{n个} {K（K）}_{k个} ({x个}_{k个 负极 1} ， {x个}_{k个}) .

我们也有

{N个}^{1 / 2} {日志 (\frac{\hat{{Z轴}_{n个}}}{{Z轴}_{1}}) 负极 日志 (\frac{{Z轴}_{n个}}{{Z轴}_{1}})} \Rightarrow N个 (0 ， σ_{是 ， n个}^{2})

具有

σ_{是 ， n个}^{2} = ¦Β \frac{{\tilde{π}}_{n个} {({x个}_{1 : n个})}^{2}}{η_{n个} ({x个}_{1 : n个})} d日 {x个}_{1 : n个} 负极 1

36

在每次迭代中使用多项式重采样时，我们有

{N个}^{1 / 2} {{E类}_{π_{n个}^{N个}} (φ) 负极 {E类}_{π_{n个}} (φ)} \Rightarrow N个 {0 ， σ_{SMC公司 ， n个}^{2} (φ)}

其中，对于n个 $⩾$ 2,

\begin{matrix} σ_{SMC公司 ， n个}^{2} (φ) & = ¦Β \frac{{\tilde{π}}_{n个} {({x个}_{1})}^{2}}{η_{1} ({x个}_{1})} {¦Β φ ({x个}_{n个}) {\tilde{π}}_{n个} ({x个}_{n个} ∣ {x个}_{1}) d日 {x个}_{n个} 负极 {E类}_{π_{n个}} (φ)}^{2} d日 {x个}_{1} \\ + \sum_{k个 = 2}^{n个 负极 1} ¦Β \frac{{{\tilde{π}}_{n个} ({x个}_{k个}) 我_{k个 负极 1} ({x个}_{k个} ， {x个}_{k个 负极 1})}^{2}}{π_{k个 负极 1} ({x个}_{k个 负极 1}) {K（K）}_{k个} ({x个}_{k个 负极 1} ， {x个}_{k个})} {¦Β φ ({x个}_{n个}) {\tilde{π}}_{n个} ({x个}_{n个} ∣ {x个}_{k个}) d日 {x个}_{n个} 负极 {E类}_{π_{n个}} (φ)}^{2} d日 {x个}_{k个 负极 1 : k个} \\ + ¦Β \frac{{π_{n个} ({x个}_{n个}) 我_{n个 负极 1} ({x个}_{n个} ， {x个}_{n个 负极 1})}^{2}}{π_{n个 负极 1} ({x个}_{n个 负极 1}) {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个})} {φ ({x个}_{n个}) 负极 {E类}_{π_{n个}} (φ)}^{2} d日 {x个}_{n个 负极 1 : n个} \end{matrix}

37

和

{N个}^{1 / 2} {日志 (\frac{\hat{{Z轴}_{n个}}}{{Z轴}_{1}}) 负极 日志 (\frac{{Z轴}_{n个}}{{Z轴}_{1}})} \Rightarrow N个 (0 ， σ_{SMC公司 ， n个}^{2})

哪里

\begin{array}{l} σ_{SMC公司 ， n个}^{2} = ¦Β \frac{{\tilde{π}}_{n个} {({x个}_{1})}^{2}}{η_{1} ({x个}_{1})} d日 {x个}_{1} 负极 1 + \sum_{k个 = 2}^{n个 负极 1} [¦Β \frac{{{\tilde{π}}_{n个} ({x个}_{k个}) 我_{k个 负极 1} ({x个}_{k个} ， {x个}_{k个 负极 1})}^{2}}{π_{k个 负极 1} ({x个}_{k个 负极 1}) {K（K）}_{k个} ({x个}_{k个 负极 1} ， {x个}_{k个})} d日 {x个}_{k个 负极 1 : k个} 负极 1] \\ + ¦Β \frac{{π_{n个} ({x个}_{n个}) 我_{n个 负极 1} ({x个}_{n个} ， {x个}_{n个 负极 1})}^{2}}{π_{n个 负极 1} ({x个}_{n个 负极 1}) {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个})} d日 {x个}_{n个 负极 1 : n个} 负极 1 \end{array}

38

备注4。在一般情况下，我们不能声称 $σ_{SMC中， n个}^{2} (φ) < σ_{是， n个}^{2} (φ)$ 或 $σ_{SMC、， n个}^{2} < σ_{是， n个}^{2}$ ⁠这是因为，如果重要性权重没有很大的方差，重采样通常是浪费的，因为任何重采样方案都会引入一些方差。然而，在连续分布可能发生显著变化的情况下，重新采样是有益的。这在肖邦的滤波案例中得到了理论上的证实(2004年a)定理5：在混合假设下，经重采样，方差在时间上一致上界，在没有重采样的情况下，方差达到∞。该证明可适用于此处所考虑的一类问题，并且可以证明对于表达式（方程(8)-在混合假设下{K（K）_n个}和使用25)或(30)的{我_n个}-方差 $σ_{SMC、， n个}^{2} (φ)$ 对数计划的时间一致上界{φ_n个}然而 $σ_{SMC、， n个}^{2} (φ)$ 转到∞n个。残差重采样也有类似结果。最后，我们注意到，尽管重采样步骤在离散时间中看起来有些人为，但在这些算法的连续时间版本中它自然出现（Del Moral，2004; 罗塞特和斯托尔茨，2005).

3.5. 与其他工作的联系

为了说明与其他已发表作品的联系和区别，让我们考虑一下我们的示例{π_n个}使用MCMC内核{K（K）_n个}其中K（K）_n个是π_n个不变量。

假设当时n个−1，我们有粒子近似 ${{W公司}_{n个负极 1}^{(我)} ， {X（X）}_{n个负极 1}^{(我)}}$ 属于π_n个−1一些最近的算法是基于对向后内核（30）的隐式或显式使用。在这里讨论的情况中，所有目标分布都定义在同一个空间中，例如肖邦就使用了它(2002)、贾津斯基(1997)和Neal(2001). 在目标分布的维数随时间增加的情况下，Gilks和Berzuini使用了它(2001)和MacEachern等. (1999).

对于上面列出的算法，相关的后向核会导致权重增加

{\tilde{w个}}_{n个} ({X（X）}_{n个 负极 1}^{(我)} ， {X（X）}_{n个}^{(我)}) \propto π_{n个} ({X（X）}_{n个 负极 1}^{(我)}) / π_{n个 负极 1} ({X（X）}_{n个 负极 1}^{(我)}) .

39

表达式的潜在问题(39)这些重量与 ${{X（X）}_{n个}^{(我)}}$ 哪里 ${X（X）}_{n个}^{(我)} \sim {K（K）}_{n个} ({X（X）}_{n个负极 1}^{(我)} ， \cdot)$ ⁠。特别是表达式的方差(39)如果π_n个−1和π_n个即使内核很大K（K）_n个混合得很好。这个结果与事实相反。在AIS（Neal，2001)其中第页目标分布（7）应满足π_n个−1≈π_n个，这不是问题。然而，如果连续分布发生显著变化，如序列贝叶斯估计，这可能会成为一个重大问题。例如，在限制情况下K（K）_n个(x个_n个−1，x个_n个)=π_n个(x个_n个)，我们将以粒子近似结束 ${{W公司}_{n个}^{(我)} ， {X（X）}_{n个}^{(我)}}$ 属于π_n个其中重量 ${{W公司}_{n个}^{(我)}}$ 方差较大，而 ${{X（X）}_{n个}^{(我)}}$ 是独立且相同分布的样本π_n个; 这显然是次优的。

为了解决这个问题，肖邦（以及其他人）使用了RM策略(2002)Gilks和Berzuini(2001). RM对应于第节中描述的SMC算法三使用向后内核（30）。RM对粒子近似重新采样 ${{W公司}_{n个}^{(我)} ， {X（X）}_{n个负极 1}^{(我)}}$ 属于 ${\tilde{π}}_{n个} ({x个}_{n个负极 1})$ 如果方差（通过ESS近似测量）很高，只有这样我们才能进行采样 ${{X（X）}_{n个}^{(我)}}$ 获得粒子近似 ${{N个}^{负极 1} ， {X（X）}_{n个}^{(我)}}$ 属于π_n个也就是说，所有粒子的重量都相等。如果连续目标和内核之间存在显著差异，则与不重新采样相比，这有望有所改善{K（K）_n个}合理搅拌；我们在第节中对此进行了演示4.

命题1建议更好的选择（比等式(30))后向核的个数由方程给出(25)其增量权重由下式给出

{\tilde{w个}}_{n个} ({X（X）}_{n个 负极 1}^{(我)} ， {X（X）}_{n个}^{(我)}) \propto \frac{π_{n个} ({X（X）}_{n个}^{(我)})}{π_{n个 负极 1} {K（K）}_{n个} ({X（X）}_{n个}^{(我)})} .

40

表达式(40)比表达更直观(39). 这取决于K（K）_n个因此，权重（40）的表达式反映了内核的混合特性K（K）_n个特别是表达式的方差(40)随着内核混合特性的增加而降低。

使用表达式说明SMC采样之间的差异(40)而不是表达式(39)，考虑以下情况x个=(x个₁,…,x个_J型)我们使用Gibbs内核（27）更新组件x个_k个所以这个表达式(40)由提供

{\tilde{w个}}_{n个} ({X（X）}_{n个 负极 1}^{(我)} ， {X（X）}_{n个}^{(我)}) \propto π_{n个} ({X（X）}_{n个 负极 1 ， 负极 k个}^{(我)}) / π_{n个 负极 1} ({X（X）}_{n个 负极 1 ， 负极 k个}^{(我)}) .

41

通过简单的Rao–Blackwell论证，表达式的方差(41)总是小于表达式的方差(39). 在保证金π_n个−1(x个_负极k个)和π_n个(x个_负极k个)彼此接近，但完全条件分布π_n个(x个_k个|x个_负极k个)和π_n个−1(x个_k个|x个_负极k个)差异显著。在这种情况下，使用表达式进行SMC采样(39)与使用表达式的SMC采样相比，重采样次数更多(41). 例如，如第节所述，在顺序贝叶斯推断中出现了此类场景5其中，每个新的观察结果只会显著修改变量子集的分布。

不幸的是，并不总是可以使用等式（表达式(25)而不是方程式(30)当积分出现在40). 然而，如果π_n个−1和π_n个可以用解析近似，也可以用方程(28)和(29)而不是。

卡佩最近的工作等. (2004)是框架提出的另一个特例。他们考虑了同质情况，其中π_n个=π和我_n个(x个，x个^′)=π(x个^′). 他们的算法对应于以下情况K（K）_n个(x个，x个^′)=K（K）_n个(x个^′)和参数K（K）_n个(x个^′)是通过在时间上使用整个粒子群的统计数据来确定的n个−1.Celeux中介绍了针对缺失数据问题的这项工作的扩展等. (2006).

最后是梁(2002)提出了一个相关的算法，其中π_n个=π和K（K）_n个(x个，x个^′)=我_n个(x个，x个^′)=K（K）(x个，x个^′).

4.从马尔可夫链蒙特卡罗到序贯蒙特卡罗采样器

4.1. 方法

我们现在总结了如何获得SMC算法以从固定目标分布中采样π使用MCMC内核或近似吉布斯步长在空间中移动粒子。程序如下

（a）
构建分布序列{π_n个},n个=1,…,第页，因此π₁易于抽样或近似π_第页=π，
（b）
构建MCMC转换内核序列{K（K）_n个}使得K（K）_n个是π_n个不变量或K（K）_n个是不变分布的近似吉布斯运动π_n个，
（c）
基于{π_n个}和{K（K）_n个}，构建一系列人工后向马尔可夫核{我_n个}近似 ${我_{n个}^{选择}}$ （两个通用选择是方程式（方程式(25)和(30); 对于近似吉布斯移动，我们可以使用28))以及
（d）
使用上一节中描述的SMC算法来近似{π_n个}并进行估算{Z轴_n个}。

4.2. 有限混合分布的贝叶斯分析

在下面的示例中，我们考虑一个混合建模问题。我们的目标是说明SMC方法中重新采样的潜在好处。

4.2.1. 模型

混合模型通常用于对异质数据建模，或作为密度估计的简单方法；见理查森和格林(1997)以及其中的参考文献，以供概述。混合数据的贝叶斯分析是最近才出现的，从这种模型的后验分布进行模拟通常有很大困难；参见Jasra等. (2005年b)例如。

我们使用理查德森和格林的模型(1997)，具体如下：；数据年₁,…,年_c（c）独立且同分布

年_{我} ∣ θ_{第页} ~ \sum_{j个 = 1}^{第页} ω_{j个} N个 (μ_{j个} ， λ_{j个}^{负极 1})

哪里θ_第页=(μ_1:第页，λ_1:第页，ω_1:第页), 2 $⩽$ 第页<∞和第页已知。参数空间为E类=ℝ^第页×(ℝ⁺)^第页×𝒮_第页对于第页-成分混合物模型，其中 ${S公司}_{第页} = {ω_{1 : 第页} : 0 ⩽ ω_{j个} ⩽ 1 \cap \sum_{j个 = 1}^{第页} ω_{j个} = 1}$ ⁠.每个组件的优先级相同j个=1,…,第页，被视为μ_j个∼𝒩(ξ，κ⁻¹),λ_j个～镓(ν，χ),ω_1:第页−1∼𝒟(ρ)，其中𝒟(ρ)是带参数的狄利克雷分布ρ和Ga(ν，χ)是具有形状的伽马分布ν和规模χ.我们以与理查森和格林相同的方式设置优先权(1997)，使用χ-参数设置为他们指定该参数的超验函数的平均值。

该模型的一个特殊方面是标签切换的特性，这使得它成为一个合适的测试示例。如上所述，每个分量上的先验值是可交换的，因此，在后验值中μ₁与相同μ₂，即边际后验对于每个成分的特定量是等效的。这为我们提供了一个诊断，以确定仿真程序的有效性。如需更多讨论，请参阅Jasra等. (2005年b). 需要注意的是，MCMC采样器的长时间定位π_第页无法探索此分布的所有模式，并且无法生成正确的估计值（参见Jasra等. (2005年b)).

4.2.2. 顺序蒙特卡罗采样器

我们将考虑AIS和SMC取样器。这两种算法使用相同的MCMC内核K（K）_n个具有不变分布π_n个和相同的反向核（30）。MCMC内核由以下更新步骤组成。

（a）
更新μ_1:第页通过一个MH内核和一个附加的正常随机遍历建议。
（b）
更新λ_1:第页通过具有乘法对数正态随机遍历建议的MH内核。
（c）
更新ω_1:第页通过一个MH内核，在logit尺度上添加一个正常随机遍历建议。

对于算法的某些运行，我们将允许每个时间步长对上述马尔可夫核进行多次迭代。最后，密度顺序为

π_{n个} (θ_{第页}) \propto 我 {(年_{1 : c（c）}; θ_{第页})}^{ϕ_{n个}} （f） (θ_{第页})

其中0 $⩽$ φ₁<…<φ_第页=1是回火参数，我们将先验密度表示为（f）和似然函数我.

4.2.3. 插图

4.2.3.1. 数据和模拟参数

为了进行比较，我们使用了Jasra的模拟数据等. (2005年b)：从四个（即。第页=4）正常密度，平均值为（−3,0,3,6），标准偏差为0.55。我们使用具有不变分布的MCMC内核运行SMC采样器和AISπ_n个对于50、100、200、500和1000个时间步长，每个时间步长有1次和10次MCMC迭代。MH步骤的建议偏差在两个程序中都是相同的，并且动态下降，以产生平均接受率（0.15,0.6）。最初的重要性分布是优先的。C类⁺⁺代码和数据可在网址：http://www.cs.ubc.ca/~arnaud/smcsamplers.html.

我们用N个=1000个粒子，我们在类似的中央处理器单位时间内运行AIS。由于没有重采样步骤，AIS可以比SMC采样多运行几次。我们将每个采样器运行10次（即，对于每个时间规范和迭代次数，每次使用1000个粒子）。对于此演示，重采样阈值为500个粒子。我们使用系统重采样。剩余重采样的结果非常相似。

我们选择了分段线性冷却计划{φ_n个}. 超过1000个时间步长，序列从前200个时间点的0均匀增加到15/100，然后从15/100增加到下400个时间点中的40/100，最后从40/100增加至最后400个时间点中的1。其他时间规格具有与回火参数设置相同的时间比例。所做的选择是允许密度最初缓慢演变，然后允许更复杂的密度以更快的速度出现。我们注意到，可能会实施其他冷却计划（例如对数或二次），但我们没有发现此类方法有显著改进。

4.2.3.2. 结果

表1给出了粒子在时间点的（非标准化）对数后验值的平均值第页（10次运行的平均值）、SMC采样的重采样平均次数以及对数正态化常数（或对数边缘似然）的平均估计值。

表1

SMC取样和AIS混合比结果†

采样器详细信息	每个时间步长的以下迭代的结果：
采样器详细信息	1	10
SMC（50个时间步长）
平均对数后验	−155.22	−152.03
平均重采样次数	7.70	10.90
平均对数规范化常数	−245.86	−240.90
AIS（50个时间步长）
平均对数后验	−191.07	−166.73
平均对数归一化常数	−249.04磅	−242.07
SMC（100时间步长）
平均对数后验	−153.08	−152.97
平均重采样次数	8.20	5.10
平均对数规范化常数	−245.43	−244.18磅
AIS（100时间步长）
平均对数后验	−180.76	−162.37
平均对数规范化常数	−250.22	−244.17
SMC（200个时间步长）
平均对数后验	−152.62	−152.99
平均重采样次数	8.30	4.20
平均对数规范化常数	−246.22	−245.84
AIS（200时间步长）
平均对数后验	−174.40	−160.00
平均对数规范化常数	−247.45	−245.92
SMC（500时间步长）
平均对数后验	−152.31	−151.90
平均重采样次数	7	3
平均对数归一化常数	−247.08	−247.01
AIS（500时间步长）
平均对数后验	−167.67	−157.06
平均对数规范化常数	−247.30	−247.94
SMC（1000时间步长）
平均对数后验	−152.12	−151.94
平均重采样次数	5.70	2
平均对数规范化常数	−247.40	−247.40
AIS（1000时间步长）
平均对数后验	−163.14	−155.31
平均对数规范化常数	−247.50	−247.36

采样器详细信息	每个时间步长的以下迭代的结果：
采样器详细信息	1	10
SMC（50个时间步长）
平均对数后验	−155.22	−152.03
平均重采样次数	7.70	10.90
平均对数规范化常数	−245.86	−240.90
AIS（50个时间步长）
平均对数后验	−191.07年	−166.73
平均对数规范化常数	−249.04	−242.07
SMC（100时间步长）
平均对数后验	−153.08	−152.97
重新采样的平均次数	8.20	5.10
平均对数规范化常数	−245.43	−244.18
AIS（100时间步长）
平均对数后验	−180.76	−162.37
平均对数规范化常数	−250.22	−244.17
SMC（200个时间步长）
平均对数后验	−152.62	−152.99
平均重采样次数	8.30	4.20
平均对数规范化常数	−246.22	−245.84
AIS（200时间步长）
平均对数后验	−174.40	−160.00
平均对数规范化常数	−247.45	−245.92
SMC（500时间步长）
平均对数后验	−152.31	−151.90
平均重采样次数	7	3
平均对数规范化常数	−247.08	−247.01
AIS（500时间步长）
平均对数后验	−167.67	−157.06美元
平均对数规范化常数	−247.30	−247.94
SMC（1000时间步长）
平均对数后验	−152.12	−151.94
平均重采样次数	5.70	2
平均对数规范化常数	−247.40	−247.40
AIS（1000时间步长）
平均对数后验	−163.14	−155.31
平均对数规范化常数	−247.50	−247.36

†

我们用1000个粒子对每个采样器进行了10次采样。对于AIS，时间步数略高于规定值，因为它对应于与SMC采样器相同的中央处理器单元时间。

新标签中打开

表1

SMC取样和AIS混合比结果†

采样器详细信息	每个时间步长的以下迭代的结果：
采样器详细信息	1	10
SMC（50个时间步长）
平均对数后验	−155.22	−152.03
重新采样的平均次数	7.70	10.90
平均对数规范化常数	−245.86	−240.90
AIS（50个时间步长）
平均对数后验	−191.07	−166.73
平均对数规范化常数	−249.04磅	−242.07
SMC（100时间步长）
平均对数后验	−153.08	−152.97
平均重采样次数	8.20	5.10
平均对数规范化常数	−245.43	−244.18
AIS（100时间步长）
平均对数后验	−180.76	−162.37
平均对数规范化常数	−250.22	−244.17
SMC（200个时间步长）
平均对数后验	−152.62	−152.99
平均重采样次数	8.30	4.20
平均对数规范化常数	−246.22	−245.84
AIS（200时间步长）
平均对数后验	−174.40	−160.00美元
平均对数归一化常数	−247.45	−245.92
SMC（500时间步长）
平均对数后验	−152.31	−151.90
平均重采样次数	7	3
平均对数归一化常数	−247.08	−247.01
AIS（500时间步长）
平均对数后验	−167.67	−157.06
平均对数规范化常数	−247.30	−247.94
SMC（1000时间步长）
平均对数后验	−152.12	−151.94
平均重采样次数	5.70	2
平均对数规范化常数	−247.40	−247.40
AIS（1000时间步长）
平均对数后验	−163.14	−155.31
平均对数规范化常数	−247.50	−247.36

采样器详细信息	每个时间步长的以下迭代的结果：
采样器详细信息	1	10
SMC（50个时间步长）
平均对数后验	−155.22毫米	−152.03
平均重采样次数	7.70	10.90
平均对数规范化常数	−245.86	−240.90
AIS（50个时间步长）
平均对数后验	−191.07年	−166.73
平均对数规范化常数	−249.04	−242.07
SMC（100时间步长）
平均对数后验	−153.08	−152.97
平均重采样次数	8.20	5.10
平均对数规范化常数	−245.43	−244.18
AIS（100时间步长）
平均对数后验	−180.76	−162.37
平均对数规范化常数	−250.22	−244.17
SMC（200个时间步长）
平均对数后验	−152.62	−152.99
平均重采样次数	8.30	4.20
平均对数规范化常数	−246.22	−245.84
AIS（200个时间步长）
平均对数后验	−174.40	−160.00
平均对数规范化常数	−247.45	−245.92
SMC（500时间步长）
平均对数后验	−152.31	−151.90
平均重采样次数	7	3
平均对数规范化常数	−247.08	−247.01
AIS（500时间步长）
平均对数后验	−167.67	−157.06
平均对数规范化常数	−247.30	−247.94
SMC（1000时间步长）
平均对数后验	−152.12	−151.94
平均重采样次数	5.70	2
平均对数规范化常数	−247.40	−247.40
AIS（1000时间步长）
平均对数后验	−163.14	−155.31
平均对数规范化常数	−247.50	−247.36

†

我们用1000个粒子对每个采样器进行了10次采样。对于AIS，时间步长略高于规定，因为它对应于与SMC采样器相同的中央处理器单位时间。

新标签中打开

表1显示如下：SMC采样器产生的颗粒平均具有更高的对数后验值。这些值的标准偏差（此处未给出）也明显小于AIS的标准偏差。然而，与AIS相比，通过SMC抽样获得的归一化常数估计值没有改进。对于较少的时间步长第页，这两种算法的估计值都特别差，改善程度与第页增加。因此，如果我们对估计规范化常数感兴趣，似乎最好只使用一次内核迭代和多个时间步长。此外，正如预期的那样，当第页增加。这是因为连续密度之间的差异下降，这导致重量退化减少。随着每个时间步长的迭代次数的增加，这进一步减少了重采样步骤的数量，我们将其归因于内核混合得更快，从而使我们能够更好地覆盖空间。

我们现在转向桌子2它显示了对{μ_第页}对于这两种算法。由于混合物成分的不可识别性，我们预计（每个成分的）估计平均值都相等，约为1.5。在这种情况下，SMC抽样提供了比AIS更准确的这些数量估计。这在以下情况下尤为重要第页是适度的(第页=100和第页=200），当内核混合得相当好时（即迭代次数为10）。这强调了重采样步骤可以大大改进采样器，而无需额外的编码工作。这与第节中的讨论一致3.5.

表2

SMC抽样和AIS混合比较的平均值估计†

采样器详细信息	以下组成部分的估计数：
采样器详细信息	1	2	三	4
SMC（50个步骤，1次迭代）	0.38	0.83	1.76	2.69
AIS（50步，1次迭代）	0.03	0.75	1.68	2.28
SMC（50个步骤，10次迭代）	1.06	1.39	1.62	1.70
AIS（50步，10次迭代）	0.26	0.96	1.61	2.85
SMC（100个步骤，1次迭代）	0.68	0.91	2.02	2.14
AIS（100步，1次迭代）	0.61	0.75	1.46	2.72
SMC（100步，10次迭代）	1.34	1.44	1.44	1.54
AIS（100步，10次迭代）	0.88	1.06	1.59	2.25
SMC（200个步骤，1次迭代）	1.11	1.29	1.39	1.98
AIS（200步，1次迭代）	0.89	1.23	1.72	1.96
SMC（200个步骤，10次迭代）	1.34	1.37	1.53	1.53
AIS（200步，10次迭代）	1.26	1.34	1.45	1.74
SMC（500步，1次迭代）	0.98	1.38	1.54	1.87
AIS（500步，1次迭代）	0.87	1.31	1.47	2.12
SMC（500步，10次迭代）	1.40	1.44	1.42	1.50
AIS（500步，10次迭代）	1.36	1.38	1.48	1.57
SMC（1000个步骤，1次迭代）	1.10	1.48	1.50	1.69
AIS（1000步，1次迭代）	1.17	1.36	1.57	1.60
SMC（1000个步骤，10次迭代）	1.39	1.39	1.41	1.51
AIS（1000步，10次迭代）	1.39	1.41	1.41	1.53

采样器详细信息	以下组成部分的估计数：
采样器详细信息	1	2	三	4
SMC（50个步骤，1次迭代）	0.38	0.83	1.76	2.69
AIS（50步，1次迭代）	0.03	0.75	1.68	2.28
SMC（50个步骤，10次迭代）	1.06	1.39	1.62	1.70
AIS（50步，10次迭代）	0.26	0.96	1.61	2.85
SMC（100个步骤，1次迭代）	0.68	0.91	2.02	2.14
AIS（100步，1次迭代）	0.61	0.75	1.46	2.72
SMC（100个步骤，10次迭代）	1.34	1.44	1.44	1.54
AIS（100步，10次迭代）	0.88	1.06	1.59	2.25
SMC（200个步骤，1次迭代）	1.11	1.29	1.39	1.98
AIS（200步，1次迭代）	0.89	1.23	1.72	1.96
SMC（200个步骤，10次迭代）	1.34	1.37	1.53	1.53
AIS（200步，10次迭代）	1.26	1.34	1.45	1.74
SMC（500步，1次迭代）	0.98	1.38	1.54	1.87
AIS（500步，1次迭代）	0.87	1.31	1.47	2.12
SMC（500步，10次迭代）	1.40	1.44	1.42	1.50
AIS（500步，10次迭代）	1.36	1.38	1.48	1.57
SMC（1000步，1次迭代）	1.10	1.48	1.50	1.69
AIS（1000步，1次迭代）	1.17	1.36	1.57	1.60
SMC（1000个步骤，10次迭代）	1.39	1.39	1.41	1.51
AIS（1000步，10次迭代）	1.39	1.41	1.41	1.53

†

我们用1000个粒子对每个采样器进行了10次采样。对于AIS，时间步数略高于规定值，因为它对应于与SMC采样器相同的中央处理器单元时间。为清晰起见，估计值按递增顺序列出。

新标签中打开

表2

SMC抽样和AIS混合比较的平均值估计†

采样器详细信息	以下组成部分的估计数：
采样器详细信息	1	2	三	4
SMC（50个步骤，1次迭代）	0.38	0.83	1.76	2.69
AIS（50步，1次迭代）	0.03	0.75	1.68	2.28
SMC（50个步骤，10次迭代）	1.06	1.39	1.62	1.70
AIS（50步，10次迭代）	0.26	0.96	1.61	2.85
SMC（100步，1次迭代）	0.68	0.91	2.02	2.14
AIS（100步，1次迭代）	0.61	0.75	1.46	2.72
SMC（100个步骤，10次迭代）	1.34	1.44	1.44	1.54
AIS（100步，10次迭代）	0.88	1.06	1.59	2.25
SMC（200个步骤，1次迭代）	1.11	1.29	1.39	1.98
AIS（200步，1次迭代）	0.89	1.23	1.72	1.96
SMC（200个步骤，10次迭代）	1.34	1.37	1.53	1.53
AIS（200步，10次迭代）	1.26	1.34	1.45	1.74
SMC（500步，1次迭代）	0.98	1.38	1.54	1.87
AIS（500步，1次迭代）	0.87	1.31	1.47	2.12
SMC（500步，10次迭代）	1.40	1.44	1.42	1.50
AIS（500步，10次迭代）	1.36	1.38	1.48	1.57
SMC（1000个步骤，1次迭代）	1.10	1.48	1.50	1.69
AIS（1000步，1次迭代）	1.17	1.36	1.57	1.60
SMC（1000步，10次迭代）	1.39	1.39	1.41	1.51
AIS（1000步，10次迭代）	1.39	1.41	1.41	1.53

采样器详细信息	以下组成部分的估计数：
采样器详细信息	1	2	三	4
SMC（50个步骤，1次迭代）	0.38	0.83	1.76	2.69
AIS（50步，1次迭代）	0.03	0.75	1.68	2.28
SMC（50个步骤，10次迭代）	1.06	1.39	1.62	1.70
AIS（50步，10次迭代）	0.26	0.96	1.61	2.85
SMC（100个步骤，1次迭代）	0.68	0.91	2.02	2.14
AIS（100步，1次迭代）	0.61	0.75	1.46	2.72
SMC（100个步骤，10次迭代）	1.34	1.44	1.44	1.54
AIS（100步，10次迭代）	0.88	1.06	1.59	2.25
SMC（200个步骤，1次迭代）	1.11	1.29	1.39	1.98
AIS（200步，1次迭代）	0.89	1.23	1.72	1.96
SMC（200个步骤，10次迭代）	1.34	1.37	1.53	1.53
AIS（200步，10次迭代）	1.26	1.34	1.45	1.74
SMC（500步，1次迭代）	0.98	1.38	1.54	1.87
AIS（500步，1次迭代）	0.87	1.31	1.47	2.12
SMC（500步，10次迭代）	1.40	1.44	1.42	1.50
AIS（500步，10次迭代）	1.36	1.38	1.48	1.57
SMC（1000个步骤，1次迭代）	1.10	1.48	1.50	1.69
AIS（1000步，1次迭代）	1.17	1.36	1.57	1.60
SMC（1000个步骤，10次迭代）	1.39	1.39	1.41	1.51
AIS（1000步，10次迭代）	1.39	1.41	1.41	1.53

†

我们用1000个粒子对每个采样器进行了10次采样。对于AIS，时间步数略高于规定值，因为它对应于与SMC采样器相同的中央处理器单元时间。为清晰起见，估计值按递增顺序列出。

新标签中打开

这些实验结果也可以通过渐近方差（38）和（37）的表达式进行部分解释。（我们在实验中不使用多项式重采样，也不在每次迭代时重采样，但对于更复杂的重采样方案，方差表达式的行为类似）。对于归一化常数的估计，当核完全混合时（即。K（K）_k个(x个_k个−1，x个_k个)=π_k个(x个_k个))方差表达式中出现的术语的形式如下

¦Β \frac{{{\tilde{π}}_{n个} ({x个}_{k个}) 我_{k个 负极 1} ({x个}_{k个} ， {x个}_{k个 负极 1})}^{2}}{π_{k个 负极 1} ({x个}_{k个 负极 1}) {K（K）}_{k个} ({x个}_{k个 负极 1} ， {x个}_{k个})} d日 {x个}_{k个 负极 1 : k个} 负极 1 = ¦Β \frac{{π_{k个} ({x个}_{k个 负极 1}) π_{k个 + 1} ({x个}_{k个})}^{2}}{π_{k个 负极 1} ({x个}_{k个 负极 1}) π_{k个} ({x个}_{k个})} d日 {x个}_{k个 负极 1 : k个} 负极 1

什么时候我_k个−1由方程式给出(30). 如果连续目标分布之间的差异较大，这些项将保持较高水平。对于条件期望的估计，方差表达式中出现的项的形式如下

¦Β \frac{{{\tilde{π}}_{n个} ({x个}_{k个}) 我_{k个 负极 1} ({x个}_{k个} ， {x个}_{k个 负极 1})}^{2}}{π_{k个 负极 1} ({x个}_{k个 负极 1}) {K（K）}_{k个} ({x个}_{k个 负极 1} ， {x个}_{k个})} {¦Β φ ({x个}_{n个}) {\tilde{π}}_{n个} ({x个}_{n个} ∣ {x个}_{k个}) d日 {x个}_{n个} 负极 {E类}_{π_{n个}} (φ)}^{2} d日 {x个}_{k个 负极 1 : k个} .

这些项的混合特性为0K（K）_k个在这种情况下改善 ${\tilde{π}}_{n个} ({x个}_{n个} | {x个}_{k个}) \approx π_{n个} ({x个}_{n个})$ ⁠.

4.2.4. 总结备注

在本例中，我们对SMC采样和AIS进行了比较。对于归一化常数，SMC采样似乎不能改善AIS的估计。然而，对于后验预期，当第页口感适中，果仁混合均匀。这在更复杂的应用中非常重要。例如，在许多现代统计问题中（例如Jasra的人口遗传学示例等. (2005年a))应用MCMC内核多次迭代的计算成本（因此AIS具有良好的性能）令人望而却步，因此使用重采样步骤可以提高算法的性能。

在谷物快速混合的情况下第页较小（即SMC采样在相同情况下优于AISN个)我们可以通过减少N个并不断增加第页以获得类似的计算成本和性能。这种方法的缺点是，通常需要大量的调查才能确定两者之间的适当权衡N个和第页为了获得令人满意的结果，即SMC采样通常比AIS更容易校准（以指定模拟参数）。

对于更复杂的问题，如果第页 $⩾$ 5，SMC抽样不太可能探索所有第页! 合理数量粒子的模式。然而，在这种情况下，该方法可以很好地指示目标密度的特性，并可用作一种探索性技术。

5.序贯贝叶斯估计

在下面的示例中，我们将介绍SMC采样器在序列、跨维推理问题中的应用。特别是，我们在目标分布的支持是嵌套的情况下演示了我们的方法，即。E类_n个−1⊂E类_n个这种情况也出现在理论计算机科学中的许多计数问题中，例如Jerrum和Sinclair(1996).

5.1。模型

我们考虑非均匀泊松过程速率的贝叶斯估计，按时间顺序。在静态情况下，在Green中解决了类似的问题(1995). 在随后的案例中，肖邦讨论了相关问题(2004年b)费恩黑德和克利福德(2003)戈德斯基和维尔马克(2005)和马斯凯尔(2004).

我们假设我们记录数据年₁,…,年_c（c）n个直到一段时间t吨_n个具有相关的可能性

我_{n个} [年_{1 : {c（c）}_{n个}} ∣ {λ (u个)}_{u个 ⩽ {t吨}_{n个}}] \propto {\prod_{j个 = 1}^{{c（c）}_{n个}} λ (年_{j个})} 经验 {负极 {¦Β}_{0}^{{t吨}_{n个}} λ (u个) d日 u个} .

为了对强度函数建模，我们遵循Green(1995)并采用分段常量函数，定义为u个 $⩽$ t吨_n个:

λ (u个) = \sum_{j个 = 0}^{k个} λ_{j个} 𝕀_{[τ_{j个} ， τ_{j个 + 1})} (u个)

哪里τ₀=0,τ_k个+1=t吨_n个和变化点（或节）τ_1:k个回归函数遵循强度的泊松过程ν而对于任何k个>0

（f） (λ_{0 : k个}) = （f） (λ_{0}) \prod_{j个 = 1}^{k个} （f） (λ_{j个} ∣ λ_{j个 负极 1})

具有λ₀～镓(μ，υ)和 $λ_{j个} | λ_{j个负极 1} \sim {镓（λ}_{j个负极 1}^{2} / X（X）， λ_{j个负极 1} / X（X）)$ ⁠.

时间t吨_n个我们仅限于估计λ(u个)间隔[0，t吨_n个). 在此间隔内k个的变化点遵循参数的泊松分布νt吨_n个，

{（f）}_{n个} (k个) = 经验 (负极 ν {t吨}_{n个}) \frac{{(ν {t吨}_{n个})}^{k个}}{k个!} ，

并且，有条件地k个，我们有

{（f）}_{n个} (τ_{1 : k个}) = \frac{k个!}{{t吨}_{n个}^{k个}} 𝕀_{Θ_{n个 ， k个}} (τ_{1} ， \dots ， τ_{k个})

哪里Θ_n个，k个={τ_1:k个:0<τ₁<<τ_k个<t吨_n个}. 因此，当时t吨_n个我们有密度

π_{n个} (λ_{0 : k个} ， τ_{1 : k个} ， k个) \propto 我_{n个} [年_{1 : {c（c）}_{n个}} ∣ {λ (u个)}_{u个 ⩽ {t吨}_{n个}}] （f） (λ_{0}) {\prod_{j个 = 1}^{k个} （f） (λ_{j个} ∣ λ_{j个 负极 1})} {（f）}_{n个} (τ_{1 : k个}) {（f）}_{n个} (k个) .

5.2. 顺序蒙特卡罗采样器

我们将考虑一系列严格递增的时间{t吨_n个}. 对于上面考虑的问题，我们定义了空间上的分布序列：

{E类}_{n个} = \underset{k个 \in ℕ_{0}}{\cup} [{k个} \times {(ℝ^{+})}^{k个 + 1} \times Θ_{n个 ， k个}] ，

即，我们的密度定义为嵌套的超维空间，E类_n个−1⊂E类_n个如第节所述3.3.2之前开发的方法（如AIS和RM）无法应用于此类场景。此外，我们必须小心，如绿色(1995)，以构建增量权重，其确实是定义明确的Radon–Nikodym导数。

如跨维MCMC和SMC文献中所述（例如Green(2003)、木匠等. (1999)、Doucet等. (2000)还有皮特和谢泼德(1999))和第节3.3.2，在新维空间中生成建议的一个潜在好方法是使用完整的条件密度。我们将使用类似的想法来生成新的变更点。

5.2.1. 延伸移动

在扩展过程中，我们修改了最后一个变化点的位置，即我们使用马尔可夫核

{K（K）}_{n个} (x个 ， d日 {x个}^{'}) = δ_{τ_{1 : k个 负极 1} ， λ_{0 : k个} ， k个} {d日 (τ_{1 : k个 负极 1}^{'} ， λ_{0 : k个}^{'} ， {k个}^{'})} π_{n个} (d日 τ_{k个}^{'} ∣ τ_{1 : k个 负极 1} ， λ_{0 : k个} ， k个) .

使用反向内核（25）。

在本问题的背景下，完整的条件密度由下式给出

π_{n个} (τ_{k个}^{'} ∣ τ_{1 : k个 负极 1} ， λ_{0 : k个} ， k个) \propto λ_{k个 负极 1}^{{n个}_{[τ_{k个 负极 1}} ， τ_{k个}^{'})} λ_{k个}^{{n个}_{[τ_{k个}^{'} ， {t吨}_{n个})}} 经验 {负极 τ_{k个}^{'} (λ_{k个 负极 1} 负极 λ_{k个})} 𝕀_{[τ_{k个 负极 1} ， {t吨}_{n个})} (τ_{k个}^{'})

哪里 ${n个}_{[一， b条)} = \sum_{j个 = 1}^{{c（c）}_{n个}} 𝕀_{[一， b条)} (年_{j个})$ ⁠。可以通过成分从该分布中准确取样。也可以以闭合形式计算其归一化常数，这是增量重量（26）所需的。

5.2.2. 出生动作

我们还采用了如下模拟的出生移动。我们生成了一个新的变化点 ${T型}^{'}_{k个 + 1}$ 从均匀分布[τ_k个，t吨_n个)并在此基础上根据其全部条件生成新的强度：

π_{n个} (λ_{k个 + 1}^{'} ∣ τ_{k个 + 1}^{'} ， λ_{k个}) \propto λ_{k个 + 1}^{'} {n个}_{[τ_{k个 + 1}^{'} ， {t吨}_{n个})} + λ_{k个}^{2} / χ 负极 1 经验 {负极 λ_{k个 + 1}^{'} ({t吨}_{n个} 负极 τ_{k个 + 1}^{'}) + λ_{k个} / χ} .

所有其他参数保持不变。这导致重量增加

\frac{π_{n个} (k个 + 1 ， τ_{1 : k个 + 1}^{'} ， λ_{0 : k个 + 1}^{'}) ({t吨}_{n个} 负极 τ_{k个})}{π_{n个 负极 1} (k个 ， τ_{1 : k个 + 1} ， λ_{0 : k个 + 1}) π_{n个} (λ_{k个 + 1}^{'} ∣ τ_{k个 + 1}^{'} ， λ_{k个})} .

5.2.3。取样器

因此，我们采用了以下SMC采样器。

（a）
时间n个在扩展移动（以概率选择）之间进行随机选择α_n个(x个))或出生迁移。显然，如果k个=0.
（b）
执行选定的移动。
（c）
选择是否重新采样并执行此操作。
（d）
对绿色中描述的动作进行MCMC扫描(1995)也就是说，由于MCMC核的不变性，我们保持相同的目标密度，因此增量权重为1。

5.3. 插图

为了说明上述方法，我们使用了在《绿色》（Green）中分析的受欢迎的煤炭开采灾害数据集(1995). 这些数据包括1851年至1962年间英国发生煤矿事故的次数。我们假设每年都会对推断感兴趣，因此我们定义了112个密度（即n个密度随时间变化t吨_n个=n个). 为了进行说明，我们将之前的参数作为μ=4.5,υ=1.5,χ=0.1和ν=20/112. 在这个例子中，延伸移动比出生移动执行得更好；因此我们让α_n个(x个)等于1，如果k个 $⩾$ 否则为1和0。后向概率等于α_n个(x个)何时k个 $⩾$ 1（因为这是对其进行评估的唯一状态）。

我们使用系统重采样方法，使用10000个粒子运行SMC采样器，重采样阈值为3000个粒子。初始（重要性）分布优先。C类⁺⁺代码和数据可在网址：http://www.cs.ubc.ca/~arnaud/smcsamplers.html.

图。1（a）演示了我们的算法在权重退化方面的性能。这里我们看到，在采样器初始困难之后（由于之前的初始化，以及目标的动态特性，我们发现使用更多MCMC扫描并没有提高性能），ESS从未低于其之前值的25%。此外，我们平均每8.33个时间步长重新采样一次。在使用重采样时，这些语句并非毫无意义。这是因为我们发现，对于效率较低的正向和反向内核，如果连续密度在支持的不同区域具有高概率质量区域，则ESS将降至1或2。因此，该图表明我们确实可以有效地扩展空间。

图1

（a），（b）有效样本量图和（c），（d）煤炭开采灾害数据的强度函数（我们对112个密度的10000个粒子进行了分析，并对3000个粒子的重采样阈值（在（a）和（b）中）进行了分析；在（c）和（d）中，--，给定整个数据的估计强度，×，每次过滤的密度，+，平滑估计（滞后10）：（a），（c）MCMC步骤在整个状态空间上操作时的结果；（b），（d）当MCMC步骤仅在最后五个或更少的节点上运行时的结果

新标签中打开下载幻灯片

（a），（b）煤矿灾害数据的有效样本量图和（c），（d）强度函数（我们运行了10000个粒子，密度为112，重采样阈值为（a）和（b）中的）3000个粒子；在（c）和（d）中，--，给定整个数据的估计强度，×，每次过滤的密度，+，平滑估计（滞后10）：（a），（c）MCMC步骤在整个状态空间上操作时的结果；（b），（d）当MCMC步骤仅在最后五个或更少的节点上运行时的结果

图。1（c）显示序列中最终密度（全曲线）的强度函数，每个时间点的过滤密度（即。𝔼{λ(t吨_n个)|年_{1:c（c）n个}}和平滑估计，直到滞后10(𝔼{λ(t吨_n个)|年_{1:c（c）n个+10}}，加号）。我们可以看到，正如预期的那样，平滑后的强度接近最终密度，而过滤后的强度显示出更多的可变性。我们发现最终价格与格林的完全相同(1995)目标密度的跨维MCMC取样器。

图1（b）和1（d）说明了当我们只允许MCMC步骤在最后五个节点上操作时的性能。这将减少中央处理器用于粒子采样的单位时间，并允许我们考虑真正现实的在线实现。这对大型数据集很有意义。这里，我们看到（在图。1（b））与图中相同数量的重采样步骤。1（a）。在图中。1（d），我们观察到强度函数的估计值受到影响（稍有影响），后期结构更为细长（与图。1（c）），反映出我们无法根据新数据更新早期节点的值。

5.4. 总结备注

在这个例子中，我们展示了SMC采样器在贝叶斯统计中跨维顺序推理问题中的应用。我们成功地将我们的方法应用于煤炭开采灾害数据集。

一个有趣的问题是，如果我们不能在扩展步骤中为可选的似然函数使用后向核（25），那么算法的性能。我们发现不进行积分和在方程中使用近似思想(28)和(29)仍然可以带来良好的表现；这种思想对于其他问题也很有用，例如非线性、非高斯状态空间模型的最优滤波（Doucet等.,2006).

6.结论

SMC算法是一类从分布中抽样并估计其归一化常数的灵活通用方法。仿真表明，这套方法具有潜在的强大功能。然而，这些方法的性能在很大程度上取决于目标的序列{π_n个}，正向内核{K（K）_n个}和反向内核{我_n个}。

在我们希望使用SMC方法从固定目标中采样的情况下π，这将是有趣的精神路径采样（盖尔曼和孟，1998)-获得从易抽样分布转移到样本分布的最佳路径（在最小化归一化常数比估计值方差的意义上）π₁到π_第页=π这是一个非常困难的问题。给定参数化族{π_θ(t吨)}_{t吨∈ (0,1)}这样的话π_θ(0)易于取样π_θ(1)=π更实用的方法包括监控ESS在路径上自适应移动θ(t吨); 请参阅Johansen等. (2005)了解详细信息。

最后，我们在这里仅限于马尔可夫核{K（K）_n个}对粒子进行采样。然而，正如Crisan和Doucet所建议的那样，设计参数是整个当前粒子集函数的核是可能的(2000)，卡佩等. (2004)，肖邦(2002)或West(1993). 这允许算法自动缩放提案分发。这个想法是在贾斯拉发展起来的等. (2005年a).

致谢

作者感谢他们的同事和审稿人的评论，他们的评论使我们能够显著改进本文。第二位作者感谢日本东京工程与物理科学研究委员会和统计数学研究所的支持。第三位作者感谢Dave Stephens和Chris Holmes为本文提供的资金和建议。

参考文献

卡佩

，

O。

，

吉兰

，

答：。

，

马林

，

J·M·。

和

罗伯特

，

C.P.公司。

(

2004

)

人口蒙特卡洛

.

J.计算图表。统计师。

，

13

，

907

–

930

.

谷歌学者

交叉参考

书目数据库

木匠

，

J。

，

克利福德

，

第页。

和

羽毛头

，

第页。

(

1999

)

非线性问题的改进粒子滤波

.

IEE程序。雷达声纳导航

，

146

，

2

–

7

.

谷歌学者

交叉参考

书目数据库

塞勒

，

G.公司。

，

马林

，

J·M·。

和

罗伯特

，

C.P.公司。

(

2006

)

缺失数据问题中的迭代重要性抽样

。待发布。

肖邦

，

N。

(

2002

)

静态模型的序列粒子滤波

.

生物特征

，

89

，

539

–

551

.

谷歌学者

交叉参考

书目数据库

萧邦

，

N。

(

2004年a

)

序列蒙特卡罗方法的中心极限定理及其在贝叶斯推理中的应用

.

安。统计师。

，

32

，

2385

–

2411

.

谷歌学者

交叉参考

书目数据库

肖邦

，

N。

(

2004年b

)长时间序列中变化点的动态检测。

技术报告

.

布里斯托尔大学

，

布里斯托尔

.

克里桑

，

D。

和

水龙头

，

答：。

(

2000

)序贯蒙特卡罗方法的收敛性。

技术报告CUED/F-INFENG/TR381

.

剑桥大学

，

剑桥

.

德尔莫拉尔

，

第页。

(

2004

)

Feynman-Kac公式：谱系和相互作用粒子系统及其应用

.

纽约

:

施普林格

.

德尔莫拉尔

，

第页。

和

水龙头

，

答：。

(

2003

)关于一类家谱和相互作用的大都市模型。在

概率标准

，第37卷（eds）

J。

阿泽马

，

M。

金刚砂

，

M。

勒杜（Ledoux）

和

M。

年

)，第页。

415

–

446

.柏林：

施普林格

.

水龙头

，

答：。

，

布里尔斯

，

M。

和

塞纳卡尔

，

美国。

(

2006

)

序列蒙特卡罗的高效块抽样策略

.

J.计算图表。统计师。

，待发布。

水龙头

，

答：。

，

De Freitas公司

，

J·F·G。

和

戈登

，

新泽西州。

（编辑）(

2001

)

序贯蒙特卡罗方法在实践中的应用

.

纽约

:

施普林格

.

水龙头

，

答：。

，

戈德斯基

，

S.J.公司。

和

安德烈厄

，

C。

(

2000

)

贝叶斯滤波的序贯蒙特卡罗抽样方法

.

统计人员。计算。

，

10

，

197

–

208

.

谷歌学者

交叉参考

书目数据库

羽毛头

，

第页。

和

克利福德

，

第页。

(

2003

)

基于粒子滤波的隐马尔可夫模型在线推理

.

J.R.统计。Soc.B公司

，

65

，

887

–

899

.

谷歌学者

交叉参考

书目数据库

盖尔曼

，

答：。

和

孟

，

十、L。

(

1998

)

模拟归一化常数：从重要性采样到桥接采样再到路径采样

.

统计人员。科学。

，

13

，

163

–

185

.

谷歌学者

交叉参考

书目数据库

吉尔克斯

，

W.R.公司。

和

贝尔祖伊尼

，

C。

(

2001

)

动态贝叶斯模型的跟踪运动目标蒙特卡罗推断

.

J.R.统计。Soc.B公司

，

63

，

127

–

146

.

谷歌学者

交叉参考

书目数据库

礼物

，

G.H.公司。

和

拉夫特里

，

答：E。

(

1996

)

强非线性关系多元密度的局部自适应重要抽样

.

《美国统计杂志》。助理。

，

91

，

132

–

141

.

谷歌学者

交叉参考

书目数据库

戈德斯基

，

S.J.公司。

和

维尔马克

，

J。

(

2005

)用于跟踪应用的变速率粒子过滤器。在

程序。Wrkshp统计与信号处理

.

绿色

，

P.J.公司。

(

1995

)

可逆跳马尔可夫链蒙特卡罗计算和贝叶斯模型确定

.

生物特征

，

82

，

711

–

732

.

谷歌学者

交叉参考

书目数据库

绿色

，

P.J.公司。

(

2003

)跨维马尔可夫链蒙特卡罗。在

高结构随机系统

（编辑

P.J.公司。

绿色

，

不适用。

霍尔特

和

美国。

理查森

)，第页。

179

–

196

.

牛津

:

牛津大学出版社

.

贾津斯基

，

C。

(

1997

)

自由能差的非平衡等式

.

物理学。修订稿。

，

78

，

2690

–

2693

.

谷歌学者

交叉参考

书目数据库

贾斯拉

，

答：。

，

水龙头

，

答：。

，

斯蒂芬斯

，

D.A.博士。

和

福尔摩斯

，

C.摄氏度。

(

2005年a

)用于跨维模拟的交互式序贯蒙特卡罗采样器。

技术报告

.

伦敦帝国理工学院

，伦敦。

贾斯拉

，

答：。

，

福尔摩斯

，

C.C.公司。

和

斯蒂芬斯

，

D.A.博士。

(

2005年b

)

马尔可夫链蒙特卡罗方法与贝叶斯混合建模中的标签切换问题

.

统计人员。科学。

，

20

，

50

–

67

.

谷歌学者

交叉参考

书目数据库

杰鲁姆

，

M。

和

辛克莱

，

答：。

(

1996

)马尔可夫链蒙特卡罗方法：一种近似计数和积分的方法。在

NP难问题的近似算法

（编辑）。

D.S.公司。

霍施鲍姆

)，第页。

482

–

520

.

波士顿

:

PWS公司

.

约翰森

，

答：。

，

德尔莫拉尔

，

第页。

和

水龙头

，

答：。

(

2005

)用于罕见事件估计的连续蒙特卡罗采样器。

技术报告CUED/F-INFENG/543

.

剑桥大学

，

剑桥

.

北川

，

G.公司。

(

1996

)

非高斯、非线性状态空间模型的蒙特卡罗滤波器和平滑器

.

J.计算图表。统计师。

，

5

，

1

–

25

.

谷歌学者

OpenURL占位符文本

书目数据库

昆施

，

H.R.公司。

(

2005

)

递归蒙特卡罗滤波器：算法和理论分析

.

安。统计师。

，

33

，

1983

–

2021

.

谷歌学者

交叉参考

书目数据库

梁

，

F、。

(

2002

)

蒙特卡罗计算中的动态加权重要性抽样

.

《美国统计杂志》。助理。

，

97

，

807

–

821

.

谷歌学者

交叉参考

书目数据库

线路接口单元

，

J.S.公司。

(

2001

)

科学计算中的蒙特卡罗策略

.

纽约

:

施普林格

.

线路接口单元

，

J。

和

陈

，

R。

(

1998

)

动态系统的序贯蒙特卡罗

.

《美国统计杂志》。助理。

，

93

，

1032

–

1044

.

谷歌学者

交叉参考

书目数据库

MacEachern公司

，

序号。

，

克莱德

，

M。

和

线路接口单元

，

J.S.公司。

(

1999

)

非参数贝叶斯的序贯重要性抽样：下一代

.

可以。J.统计。

，

27

，

251

–

267

.

谷歌学者

交叉参考

书目数据库

马斯凯尔

，

美国。

(

2004

)

机动目标的联合跟踪及其机动性分类

.

J.应用。信号处理

，

15

，

2239

–

2350

.

谷歌学者

OpenURL占位符文本

书目数据库

尼尔

，

R。

(

2001

)

退火重要性抽样

.

统计人员。计算。

，

11

，

125

–

139

.

谷歌学者

交叉参考

书目数据库

哦

，

医学硕士。

和

伯杰

，

J。

(

1993

)

用蒙特卡罗重要性抽样法积分多峰函数

.

《美国统计杂志》。助理。

，

88

，

450

–

456

.

谷歌学者

交叉参考

书目数据库

皮特

，

M.K.博士。

和

谢泼德

，

N。

(

1999

)

通过模拟过滤：辅助粒子过滤器

.

《美国统计杂志》。助理。

，

94

，

590

–

599

.

谷歌学者

交叉参考

书目数据库

理查森

，

美国。

和

绿色

，

P.J.公司。

(

1997

)

关于成分数目未知的混合物的贝叶斯分析（附讨论）

.

J.R.统计。Soc.B公司

，

59

，

731

–

792

; 修正，60(1998), 661.

谷歌学者

交叉参考

书目数据库

罗伯特

，

C.P.公司。

和

卡塞拉

，

G.公司。

(

2004

)

蒙特卡罗统计方法

，第2版。

纽约

:

施普林格

.

罗塞特

，

M。

和

斯托尔兹

，

G.公司。

(

2005

)非平衡动力学的平衡采样。

技术报告

.

尼斯索菲亚·安蒂波利斯大学

，

不错

.

西部

，

M。

(

1993

)

用混合函数逼近后验分布

.

J.R.统计。Soc.B公司

，

55

，

409

–

422

.

谷歌学者

OpenURL占位符文本

书目数据库

附录A

A.1、。命题1的证明

结果很容易从方差分解公式中得出

无功功率，无功功率 {{w个}_{n个} ({X（X）}_{1 : n个})} = E类 [无功功率，无功功率 {{w个}_{n个} ({X（X）}_{1 : n个}) ∣ {X（X）}_{n个}}] + 无功功率，无功功率 [E类 {{w个}_{n个} ({X（X）}_{1 : n个}) ∣ {X（X）}_{n个}}] .

42

等式右侧的第二项(42)与后向马尔可夫核无关{我_k个}作为

E类 {{w个}_{n个} ({X（X）}_{1 : n个}) ∣ {X（X）}_{n个}} = γ_{n个} ({X（X）}_{n个}) / η_{n个} ({X（X）}_{n个})

而var{w个(X（X）_1:n个)|X（X）_n个}如果我们使用等式，则等于0(21).

A.2。命题2的证明

表达式(35)遵循delta方法。表达式(37)根据Del Moral中建立的方差表达式的方便重写(2004)第302页第9.4.2条；另见萧邦(2004年a)，定理1，用于替代推导。方差由下式给出

σ_{SMC公司 ， n个}^{2} (φ) = {E类}_{η_{1}} [{\bar{w个}}_{1}^{2} 问_{2 : n个} {φ 负极 {E类}_{π_{n个}} (φ)}^{2}] + \sum_{k个 = 2}^{n个} {E类}_{π_{k个 负极 1} {K（K）}_{k个}} [{\bar{w个}}_{k个}^{2} 问_{k个 + 1 : n个} {φ 负极 {E类}_{π_{n个}} (φ)}^{2}]

43

其中半群问定义为问_n个+1:n个(ϕ)=ϕ，

问_{k个 + 1 : n个} (φ) = 问_{k个 + 1} ° \dots ° 问_{n个} (φ)

和

问_{n个} (φ) ({x个}_{n个 负极 1}) = {E类}_{{K（K）}_{n个} ({x个}_{n个 负极 1} ， \cdot}) {{\bar{w个}}_{n个} ({x个}_{n个 负极 1} ， {X（X）}_{n个}) φ ({X（X）}_{n个})}

哪里

\begin{matrix} {\bar{w个}}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) & = \frac{π_{n个} ({x个}_{n个}) 我_{n个 负极 1} ({x个}_{n个} ， {x个}_{n个 负极 1})}{π_{n个 负极 1} ({x个}_{n个 负极 1}) {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个})} \\ = \frac{{Z轴}_{n个 负极 1}}{{Z轴}_{n个}} {\tilde{w个}}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) . \end{matrix}

表达式(43)很难解释。这里很方便重新安排。关键是要注意

\begin{matrix} 问_{n个} (φ) ({x个}_{n个 负极 1}) & = {E类}_{{K（K）}_{n个} ({x个}_{n个 负极 1} ，)} {{\bar{w个}}_{n个} ({x个}_{n个 负极 1} ， {X（X）}_{n个}) φ ({X（X）}_{n个})} \\ = ¦Β {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个}) \frac{π_{n个} ({x个}_{n个}) 我_{n个 负极 1} ({x个}_{n个} ， {x个}_{n个 负极 1})}{π_{n个 负极 1} ({x个}_{n个 负极 1}) {K（K）}_{n个} ({x个}_{n个 负极 1} ， {x个}_{n个})} φ ({x个}_{n个}) d日 {x个}_{n个} \\ = \frac{1}{π_{n个 负极 1} ({x个}_{n个 负极 1})} ¦Β φ ({x个}_{n个}) π_{n个} ({x个}_{n个}) 我_{n个 负极 1} ({x个}_{n个} ， {x个}_{n个 负极 1}) d日 {x个}_{n个} \\ = \frac{{\tilde{π}}_{n个} ({x个}_{n个 负极 1})}{π_{n个 负极 1} ({x个}_{n个 负极 1})} ¦Β φ ({x个}_{n个}) {\tilde{π}}_{n个} ({x个}_{n个} ∣ {x个}_{n个 负极 1}) d日 {x个}_{n个} . \end{matrix}

同样，我们得到

\begin{matrix} 问_{n个 负极 1 : n个} (φ) & = 问_{n个 负极 1} {问_{n个} (φ)} ({x个}_{n个 负极 1}) \\ = {E类}_{{K（K）}_{n个 负极 1} ({x个}_{n个 负极 2} ， \cdot)} {{w个}_{n个 负极 1} ({x个}_{n个 负极 2 : n个 负极 1}) 问_{n个} (φ) ({x个}_{n个 负极 1})} \\ = \frac{1}{π_{n个 负极 2} ({x个}_{n个 负极 2})} ¦Β {\frac{1}{π_{n个 负极 1} ({x个}_{n个 负极 1})} ¦Β φ ({x个}_{n个}) π_{n个} ({x个}_{n个}) 我_{n个 负极 1} ({x个}_{n个} ， {x个}_{n个 负极 1}) d日 {x个}_{n个}} π_{n个 负极 1} ({x个}_{n个 负极 1}) 我_{n个 负极 2} ({x个}_{n个 负极 1} ， {x个}_{n个 负极 2}) d日 {x个}_{n个 负极 1} \\ = \frac{1}{π_{n个 负极 2} ({x个}_{n个 负极 2})} ¦Β {¦Β φ ({x个}_{n个}) {\tilde{π}}_{n个} ({x个}_{n个 负极 1 : n个} ∣ {x个}_{n个 负极 2}) d日 {x个}_{n个 负极 1 : n个}} {\tilde{π}}_{n个 负极 2} ({x个}_{n个 负极 2}) d日 {x个}_{n个 负极 1} \\ = \frac{{\tilde{π}}_{n个 负极 1} ({x个}_{n个 负极 2})}{π_{n个 负极 2} ({x个}_{n个 负极 2})} ¦Β φ ({x个}_{n个}) {\tilde{π}}_{n个} ({x个}_{n个} ∣ {x个}_{n个 负极 2}) d日 {x个}_{n个} \end{matrix}

通过归纳，我们得到

\begin{array}{l} 问_{k个 + 1 : n个} (φ) = \frac{1}{π_{k个} ({x个}_{k个})} ¦Β \cdot ¦Β φ ({x个}_{n个}) π_{n个} ({x个}_{n个}) \prod_{我 = k个}^{n个 负极 1} 我_{我} ({x个}_{我} ， {x个}_{我 负极 1}) d日 {x个}_{k个 + 1 : n个} \\ = \frac{{\tilde{π}}_{n个} ({x个}_{k个})}{π_{k个} ({x个}_{k个})} ¦Β φ ({x个}_{n个}) {\tilde{π}}_{n个} ({x个}_{n个} ∣ {x个}_{k个}) d日 {x个}_{n个} . \end{array}

44

的表达式 $σ_{SMC、， n个}^{2} (φ)$ 在方程式（方程式）中给出(37)现在直接从方程式开始(44)和(43). 同样，我们可以重写Del Moral中建立的方差表达式(2004)，命题9.4.1，第301页，并使用delta方法建立38).

本文根据牛津大学出版社标准期刊出版模式的条款出版和发行(https://academic.oup.com/journals/pages/open_access/funder_policies/chorus/standard_publication_model)

下载所有幻灯片

月份：	总浏览次数：
2023年4月	81
2023年5月	56
2023年6月	68
2023年7月	88
2023年8月	106
2023年9月	86
2023年10月	97
2023年11月	149
2023年12月	127
2024年1月	178
2024年2月	113
2024年3月	99
2024年4月	125
2024年5月	66

文章内容

顺序蒙特卡罗采样器

总结

1.简介

2.序贯重要性抽样

2.1、。重要性抽样

2.2. 顺序重要性抽样

2.3. 算法设置

2.3.1. 分布顺序{πn个}

2.3.2. 过渡核序列{K（K）n个}

2.3.2.1. 独立提案

2.3.2.2. 本地随机走动

2.3.2.3. 马尔可夫链蒙特卡罗运动

2.3.2.4. 吉布斯近似移动

2.4。序贯重要性抽样的局限性

3.顺序蒙特卡罗采样器

3.1. 方法和算法

3.1.1、。算法：顺序蒙特卡罗采样器

3.2. 算法说明

3.2.1. 目标分布和归一化常数的估计

3.2.2. 马尔可夫核的混合

3.3. 算法设置

3.3.1. 最优反向核

3.3.2. 次优反向核

3.3.2.1. 替换πn个−1对于ηn个−1

3.3.2.2. Gibbs-type更新

3.3.2.3. 马尔可夫链蒙特卡罗核

3.3.2.4. 谷物混合物

3.3.3. 总结备注

3.4. 收敛结果

3.5. 与其他工作的联系

4.从马尔可夫链蒙特卡罗到序贯蒙特卡罗采样器

4.1. 方法

4.2. 有限混合分布的贝叶斯分析

4.2.1. 模型

4.2.2. 顺序蒙特卡罗采样器

4.2.3. 插图

4.2.3.1. 数据和模拟参数

4.2.3.2. 结果

4.2.4. 总结备注

5.序贯贝叶斯估计

5.1。模型

5.2. 顺序蒙特卡罗采样器

5.2.1. 延伸移动

5.2.2. 出生动作

5.2.3。取样器

5.3. 插图

5.4. 总结备注

6.结论

致谢

参考文献

附录A

A.1、。命题1的证明

A.2。命题2的证明

引文

意见

海拔高度

电子邮件警报

通过引用文章

最新的

阅读次数最多

被引用次数最多

此功能仅对订阅服务器可用

2.3.1. 分布顺序{π_n个}

2.3.2. 过渡核序列{K（K）_n个}

3.3.2.1. 替换π_n个−1对于η_n个−1