A parameter estimation method using linear response statistics: Numerical scheme

Zhang, He; Li, Xiantao; Harlim, John

doi:10.1063/1.5081744

本文提出了一种利用作者最近提出的响应统计量实现参数估计方法的数值方法。该方法将漂移扩散的参数估计问题表述为非线性最小二乘问题。为了避免在使用迭代方案求解所产生的最小二乘问题时重复求解模型，在适当的响应统计上使用多项式代理模型，并平滑地依赖于参数。在基本统计量作为参数函数的适当正则性假设下，建立了收敛于真最小二乘问题解的近似多项式最小二乘问题的极小元的存在性。该方法的数值实现是在两个属于具有广泛应用的模型类的原型示例上进行的，包括朗之万动力学和随机强迫梯度流。讨论了几个重要的实际问题，如选择适当的响应算子以确保参数的可识别性和参数空间的缩减。从数值实验中发现，与使用平衡统计确定参数的传统方法相比，该方法具有更好的性能。

在许多动力学系统中，一些模型参数可能无法从其平衡统计中识别。对于可以从两点统计中识别参数的问题，本文提供了一种数值估计这些参数的方法。在数学上，我们将逆问题表示为一个适定的动态约束非线性最小二乘问题，该问题在小外部扰动下符合一组线性响应统计。由于直接求解这个问题在计算上是不可行的，我们考虑用多项式代理模型来近似这个最小二乘问题。在适当的正则性假设下，建立了近似问题解与原始非线性最小二乘解的收敛性。给出了具有广泛应用的两类模型的数值例子，即朗之万动力学和随机强迫梯度流。

I.简介

参数估计在自然界建模中普遍存在。这个反问题的目标是从观测数据中推断出足够准确的参数，从而使得到的模型成为有用的预测工具。现有的参数估计技术通常属于以下两类方法之一，即最大似然估计¹贝叶斯推理，如马尔可夫链蒙特卡罗（MCMC），²取决于有关参数的先前信息的可用性。由于模型参数通常不直接测量，任何推理方法的成功与否都关键取决于给定观测值中参数的可识别性。当观测值对参数的依赖性是隐含的，即通过模型进行敏感性分析（例如，参见综述文章^三)通常是确定参数可识别性的有用实用工具。

本文考虑布朗噪声驱动的遍历随机微分方程的参数估计。当动力系统的相应不变测度显式依赖于参数时，通常可以从适当的平衡统计矩推断出这些参数。利用这种思想的一种流行方法是反向蒙特卡罗方法⁴在化学中发展起来的。特别地，它通过匹配一些预选观测值的平衡平均值，建立了一个合适的非线性最小二乘积分方程组。随后，使用牛顿迭代法估计参数。在每个迭代步骤中，为Monte-Carlo估计生成当前参数估计的样本，以近似最小二乘积分方程和相应的雅可比矩阵。在实际中，由于重复采样过程，此方法可能会很慢。这种方法的一个严重局限性是，它限制了对平衡密度参数的推断。

通过拟合适当的两点统计数据，可以克服这一限制。如我们之前的工作所示，⁵我们提出了一个基于线性响应统计的参数估计问题，该问题是在外力的作用下，使系统失去平衡。波动分配理论（FDT）是非平衡统计物理的一个标志，它认为在小扰动下可观测平均值的变化可以用适当的两点统计来近似，称为FDT响应算子。⁶关键点是，这些FDT响应算子可以使用平衡的可用样本进行估计未受干扰的只要我们知道动力学不变量测度的精确形式，我们就会假设这是一大类问题的情况，例如朗之万动力学和随机梯度流。我们应该指出，所提出的方法依赖于FDT响应统计量的有效性，该统计量已在本文中针对包括随机微分方程（SDE）设置的一大类随机系统进行了严格研究。⁷例如，对于确定性动力学，可以使用参考文献。8验证FDT线性响应的有效性。遵循参考文献。9–11，我们使用参考文献。5。参考文献中的方法。9–11涉及到最小化依赖于均值和方差响应算子的信息理论泛函，我们的方法适用于有限数量的量，称为基本统计数据，这将允许我们近似适当可观测值的FDT响应操作符（超出平均值和方差）。

在我们之前的工作中，⁵我们通过三个例子证明了该公式的合理性，即在无限抽样下，适当选择基本统计量将确保模型参数的可辨识性。在其中一个例子中，湍流的简化模型，¹²这是一个具有高斯不变测度的SDE非线性系统，我们能够明确地确定可观测值和外部作用力的选择（这反过来决定了FDT响应算子），从而能够唯一地识别所有模型参数。在这种情况下，可以通过求解包含这些基本统计信息的方程组来直接估计参数。虽然这一结果表明，可观测值和外力的选择与问题有关，但FDT理论为选择合适的两点统计量进行合理的参数估计提供了指导。在另一个例子中，朗之万动力学（将在第。四、)，而参数可以通过参考文献。5公式表明，必须包括涉及FDT响应算子的高阶导数的基本统计数据。这可能会有问题，因为除非可用数据是高阶SDE解算器的解，否则这些高阶统计在实践中很少可用。考虑到这个实际问题，我们建议只拟合包含FDT响应算子的零阶和一阶导数的基本统计（如果可能，只使用零阶导数信息）。仅限制低阶基本统计信息所付出的代价是，通过动力学模型的解，基本统计对某些模型参数的依赖性变得隐含，并且这些参数的可识别性变得可疑。

本文设计了一种具体的数值方法，通过求解含有这些低阶本质统计量的积分方程的动态约束最小二乘问题来估计参数。可以想象，这种方法的实施将面临几个挑战。首先，就像逆向蒙特卡罗方法一样，要想用迭代方法来解决这个动态约束最小二乘问题，需要反复求解模型。为了避免在最小化步骤中重复求解模型，我们采用多项式代理模型方法^13,14关于涉及基本统计的最小二乘成本函数。这种方法的动机是成本函数（或有效的基本统计）受到抽样误差的影响，并且基本统计对参数具有平滑依赖性，假设基础动力学的福克-普朗克算子对参数具有光滑依赖性。在本质统计的适当正则性假设下，我们将为收敛于真最小二乘问题解的近似多项式最小二乘问题的极小元的存在性提供理论保证。如上所述，第二个相关问题是，某些（低阶）基本统计数据可能对某些参数不够敏感，这将导致不准确的估计。为了确保参数的实际可识别性，我们使用了一个经验先验的基于构建多项式代理模型所用训练数据的敏感性分析后部局部灵敏度分析，以确保先前灵敏度分析的有效性。

虽然所提出的技术可用于推断所有模型参数，但在实践中，应使用多项式近似来推断无法直接估计的参数，以避免维数灾难。此问题是使用多项式展开来近似最小二乘问题的结果，其中构建代理模型所需的训练数据集随着参数维的函数呈指数增长。在下面的数值示例中，我们将应用近似最小二乘问题来估计无法从匹配平衡和/或涉及FDT响应算子一阶导数的两点统计直接估计的参数。

论文的其余部分组织如下。在第。二，我们简要回顾了基本统计的概念和使用参考文献。5.秒。三，我们提出了基于多项式代理模型的数值算法，并讨论了其收敛性（在附录A– C类). 以秒为单位。四、和V（V），我们分别在两个非线性示例上显示了应用，即Langevin模型和具有三重势的随机梯度系统。在第。六最后，我们对本文进行了总结和讨论。

二、。基本统计学综述

我们首先回顾了我们在前一篇论文中介绍的参数估计公式。⁵考虑一个 $n个$ -维扩散

d日 X（X） = b条 (X（X）; θ) d日 t吨 + σ (X（X）; θ) d日 {W公司}_{t吨},

(1)

其中向量场 $b条 (X（X）; θ)$ 表示漂移和 $σ (X（X）; θ)$ 是扩散张量。假设两个系数都是平滑函数 $X（X）$ 和 $θ$ ⁠; ${W公司}_{t吨}$ 表示标准Wiener过程，变量 $θ \in 天$ 包含模型参数，其中 $天 \subset {R（右）}^{N个}$ 是参数域。在本文中，我们只考虑以下情况 $天$ 是有界的，为了简单起见，我们假设 $天 = {[- 1, 1]}^{N个}$ ⁠。在本文中，我们将底层的真参数值表示为 $θ^{†}$ 相应的估算为 $\hat{θ}$ ⁠.我们假设等式。(1)遍历（参见参考。15精确条件下）具有平衡密度 ${第页}_{e（电子） q个} (x个; θ)$ 为所有人 $θ \in 天$ ⁠、和 ${第页}_{e（电子） q个} (x个; θ)$ 能否顺利取决于这两者 $x个$ 和 $θ$ ⁠.何时 $θ = θ^{†}$ ⁠，我们假设我们可以访问 ${第页}_{e（电子） q个} (x个; θ^{†})$ 作为的函数 $x个$ 仅，缩写为 ${第页}_{e（电子） q个}^{†} (x个)$ ⁠正如我们将在许多应用中看到的那样， ${第页}_{e（电子） q个} (x个; θ)$ 仅取决于参数的子集 $θ$ ⁠.

参考文献中介绍的参数估计公式的主要思想。5是从与涨落耗散理论（FDT）相关的线性响应算子中推断参数。回想一下，在FDT设置中，我们对订单感兴趣- $δ$ (⁠ $0 < δ ≪ 1$ ⁠)形式的外部扰动 $（f） (x个, t吨) = c（c） (x个) δ （f） (t吨)$ ⁠，这样摄动动力学的解

d日 {X（X）}^{δ} = [b条 ({X（X）}^{δ}, θ) + c（c） ({X（X）}^{δ}) δ （f） (t吨)] d日 t吨 + σ ({X（X）}^{δ}, θ) d日 {W公司}_{t吨},

否则将保持在未扰动动力学的平衡状态(1)可以用扰动密度来表征 ${第页}^{δ} (x个, t吨; θ)$ ⁠在初始条件下，密度函数由相应的福克-普朗克方程控制 ${第页}^{δ} (x个, 0; θ) = {第页}_{e（电子） q个} (x个; θ)$ ⁠.

通过标准扰动技术，例如参考。1，任何可积函数的扰动统计和未扰动统计之间的差异 $A类 (x个)$ 可以通过卷积积分来估计，即，

\begin{aligned} Δ E类 [A类] (t吨) & := {E类}_{{第页}^{δ}} [A类 (X（X）)] (t吨) - {E类}_{{第页}_{e（电子） q个}} [A类 (X（X）)] \\ = \int_{0}^{t吨} {k个}_{A类} (t吨 - 秒) δ （f） (秒) d日 秒 + O（运行） (δ^{2}) . \end{aligned}

(2)

在(2)，术语 ${k个}_{A类} (t吨)$ 称为线性响应算子。FDT将线性响应算符公式化为以下两点统计：

\begin{aligned} {k个}_{A类} (t吨; θ) & := {E类}_{{第页}_{e（电子） q个}} {A类 [X（X） (t吨)] \otimes B类 [X（X） (0); θ]} 具有 \\ {B类}_{我} (X（X）; θ) & := - \frac{\partial_{{X（X）}_{我}} [{c（c）}_{我} (X（X）) {第页}_{e（电子） q个} (X（X）; θ)]}{{第页}_{e（电子） q个} (X（X）; θ)}, \end{aligned}

(3)

哪里 ${B类}_{我}$ 和 ${c（c）}_{我}$ 表示 $我第个$ 的组件 $B类$ 和 $c（c）$ ⁠分别是。我们应该指出，FDT的有效性已经在温和的条件下进行了严格的研究。⁷更明确的形式如下所示

{k个}_{A类} (t吨; θ) = \int_{{R（右）}^{n个}} \int_{{R（右）}^{n个}} A类 (x个) \otimes B类 (年) ρ (x个, t吨 | 年, 0) {第页}_{e（电子） q个} (年; θ) d日 x个 d日 年,

(4)

哪里 $ρ$ 是福克-普朗克方程的解

\frac{\partial}{\partial t吨} ρ = {L（左）}^{*} ρ, ρ (x个, 0 | 年, 0) = δ (x个 - 年) .

(5)

在这里， $L（左）$ 表示未扰动动态的发生器(1)和 ${L（左）}^{*}$ 是它的伴随运算符 ${L（左）}^{2} ({R（右）}^{n个})$ ⁠.

备注2.1

参考中的结果。16说明如果线性抛物线偏微分方程的系数为 ${C类}^{k个}$ 作为的功能 $θ,$ 那么弱解也是 $k个$ -关于时间可微分 $θ$ ⁠在我们的情况下 $,$ 如果 $b条, σ \in {C类}^{k个} ({[- 1, 1]}^{N个}),$ 然后是线性响应算子 ${k个}_{A类} (t吨; θ)$ (4)也是 ${C类}^{k个}$ 关于参数 $θ$ 在温和的假设下 ${第页}_{e（电子） q个} (x个; θ)$ 在以下方面是平滑的 $θ$ ⁠第节。III B类，我们将对提出的参数估计方法进行收敛性分析，以确定 $k个,$ 线性响应算子作为函数的光滑性 $θ$ ⁠.

请注意 ${B类}^{†} (X（X）) := B类 (X（X）; θ^{†})$ 可以根据我们假设知道的显式公式解析地确定 ${第页}_{e（电子） q个}^{†}$ ⁠.给定 $t吨$ ⁠，的值 ${k个}_{A类} (t吨; θ^{†})$ 可以使用基于未扰动系统时间序列的蒙特卡罗和进行计算， $X（X）$ ⁠，于 ${第页}_{e（电子） q个}^{†} (x个)$ ⁠因此，可以在不知道以下未扰动系统的情况下估计线性响应算子(1)只要时间序列 $X（X）$ 在 ${第页}_{e（电子） q个}^{†} (x个)$ 并且这个平衡密度的显式公式是已知的。

FDT以及核函数的表达式(3)，已实施到预测可观察到的预期的变化 $A类$ ⁠.^17–22其优点是响应算子是根据平衡分布定义的，这不涉及扰动密度的先验知识 ${第页}^{δ}$ ⁠在统计物理中，FDT是推导输运系数的关键公式，例如电子电导率、粘度、扩散系数等。⁶然而，在当前的论文中，我们建议使用响应统计推断底层的真实参数值 $θ^{†}$ ⁠.

由于该线性响应算子在原则上是无限维的，因此有必要引入有限维近似。响应算子的以下参数形式是由拉普拉斯变换的有理逼近引起的。²³为了解释这个想法，请考虑 ${k个}_{A类} (t吨; θ)$ 记为 $K (秒; θ)$ ⁠，可以用有理函数近似如下：

\begin{aligned} K (秒; θ) \approx {(我 - 秒^{- 1} β_{1} - \cdot - 秒^{- 米} β_{米})}^{- 1} (秒^{- 1} α_{1} + \cdot + 秒^{- 米} α_{米}), \\ α_{我}, β_{我} \in {R（右）}^{n个 \times n个} . \end{aligned}

在时域中， ${k个}_{A类} (t吨; θ)$ 可以显式编写为

\begin{aligned} {k个}_{A类} (t吨; θ) & \approx 克_{米} (t吨; θ) := (\begin{matrix} 我 & 0 & \cdot & 0 \end{matrix}) {e（电子）}^{t吨 G公司} (\begin{matrix} α_{1} \\ α_{2} \\ ⋮ \\ α_{米} \end{matrix}), 具有 \\ G公司 & = (\begin{matrix} β_{1} & 我 \\ β_{2} & 0 & ⋱ \\ ⋮ & ⋱ & 我 \\ β_{米} & 0 \end{matrix}), \end{aligned}

（6）

哪里 $我$ 表示 $n个$ -由- $n个$ 单位矩阵。这里， $米$ 表示有理逼近的阶数。参考文献。23有理逼近中的系数是根据一定的插值条件确定的，并且这种有理逼近已被证明是时间相关函数的良好逼近。对于当前的问题， $克_{米}$ 将使用如下定义的有限多个基本统计数据来确定。

定义2.2

价值观 ${{k个}_{A类}^{(j个)} ({t吨}_{我}; θ^{†})}_{我 = 1, 2, \dots, K}$ 被称为基本统计数据如果它们足以近似响应运算符 ${k个}_{A类} (t吨; θ^{†})$ 符合订单要求- $米$ 使用（6），用于 $j个 = 0, \dots, 2 米 - 1$ 和 ${t吨}_{1} < {t吨}_{2} \cdot < {t吨}_{K},$ 哪里 $j个$ 表示导数的顺序。

备注2.3

参考文献。5，我们考虑了 ${k个}_{A类}$ 在 $t吨 = 0$ 对于朗之万动力学模型 $,$ 并找到了涉及模型参数的显式公式。理论上 $,$ 所有参数都可以从 ${{k个}_{A类}^{(j个)} (0^{+}; θ^{†})},$ 这在一定程度上显示了一致性。然而 $,$ 在实践中 $,$ 我们只使用不大于1的阶导数 $,$ 自估计高阶导数 ${k个}_{A类} (t吨, θ^{†})$ 需要时间序列 $X（X） ({t吨}_{我})$ 具有足够的准确性 $,$ 不一定可用。通过使用与低阶导数相对应的基本统计数据 ${t吨}_{我}$ 非零 $,$ 我们给出了关于参数的高阶统计量的显式表达式。这促使我们用最小二乘法来解决这个问题。此外 $,$ 它需要其他更实用的方法 $,$ 比如敏感性分析测试 $,$ 从这些统计数据中确定参数的可识别性。

图1显示了这种离散表示的性能，其中线性响应算子来自受到恒定外力作用的Langevin模型(25)，将在第。四、通过这种离散表示，我们减少了从无限维推断的问题 ${k个}_{A类} (t吨; θ^{†})$ 到有限数量的基本统计数据。导出一个包含这两者的方程组 $θ$ 以及这些重要的统计数据，我们将介绍

{\hat{k个}}_{A类} (t吨; θ) := {E类}_{{第页}_{e（电子） q个} (θ)} {A类 [X（X） (t吨)] \otimes {B类}^{†} [X（X） (0)]} .

(7)

我们还定义了 $j个 = 0, 1$ ⁠,

{M（M）}_{j个} ({t吨}_{我}) := {k个}_{A类}^{(j个)} ({t吨}_{我}; θ^{†}) = \frac{{d日}^{j个}}{d日 {t吨}^{j个}} {E类}_{{第页}_{e（电子） q个}^{†}} {A类 [X（X） ({t吨}_{我})] \otimes {B类}^{†} [X（X） (0)]} .

我们应该强调这一点(7)不是FDT响应，因为 ${B类}^{†} (x个)$ 在里面(7)定义与 ${第页}_{e（电子） q个}^{†}$ ⁠参考文献中的关键思想。5是估计真实的参数值 $θ^{†}$ 通过求解

{M（M）}_{j个} ({t吨}_{我}) = {\hat{k个}}_{A类}^{(j个)} ({t吨}_{我}; θ), j个 \in {0, 1}, 我 = 1, 2, \dots, K .

(8)

这里，左侧的术语是根据以下可用样本估计的 ${第页}_{e（电子） q个}^{†}$ ⁠，右侧的项将根据求解生成的时间序列计算(1)对于给定的 $θ \in 天$ ⁠.

图1。

查看大型下载幻灯片

响应函数（实线）及其四阶近似值（虚线）。

备注2.4

自 ${第页}_{e（电子） q个}^{†}$ 通常取决于真实参数值的子集 $θ^{†},$ 知道的显式形式的假设 ${第页}_{e（电子） q个}^{†}$ 作为的函数 $x个$ 只是太强大了。一般来说 $,$ 我们甚至无法计算(8)自任期以来 ${B类}^{†},$ 这可能取决于未知的真值 $θ^{†},$ 不可用。我们将在Secs中的两个示例中讨论如何解决此类问题。四、和V（V），其中每个模型都属于一类具有广泛应用的模型。

为了确保可解性，我们假设(8)总是大于未知参数的维数 $θ$ ⁠。对于这种过于确定的情况，我们建议解决(8)在最小二乘法意义上，解决参考文献。5当显式解不可用时。求解非线性最小二乘问题的主要困难来自评估 ${\hat{k个}}_{A类}^{(j个)} ({t吨}_{我}; θ)$ ⁠，这通常需要求解模型(1)重复。以秒为单位。三，我们将提出一种有效的数值方法来解决这个问题。

三、一种有效的参数估计算法

以秒为单位。二，我们将参数估计方法表述为求解非线性系统的问题(8)在中受动态约束(1).在紧凑形式中，我们表示系统(8)作为

{（f）}_{我} (θ) := {M（M）}_{0} ({t吨}_{我}) - {\hat{k个}}_{A类} ({t吨}_{我}; θ) = 0, 我 = 1, \dots, K,

(9)

哪里 $θ \in {[- 1, 1]}^{N个}$ ⁠, $K > N个$ ⁠注意，我们忽略了(8)虽然如下所示的类似算法和收敛结果也适用于最小二乘程序中包含一阶导数约束的情况，但我们将只数值求解零阶导数约束下的最小二乘问题，如(9)我们将在秒中看到。四、和V（V），我们将使用导数约束直接估计一些参数。

我们的目标是解决(9)在最小二乘意义下，即，

\underset{θ \in {[- 1, 1]}^{N个}}{最小值} \sum_{我 = 1}^{K} {（f）}_{我}^{2} (θ) .

(10)

然而，正如我们在第。二，我们不一定有 ${（f）}_{我} (θ)$ 和评估 ${（f）}_{我}$ 对于的某些值 $θ$ 需要求解真实模型(1)近似积分 ${（f）}_{我} (θ)$ 蒙特卡洛总和。例如，如果我们应用Gauss-Newton方法来解决非线性最小二乘问题(10)，由于我们必须求解模型，因此整体计算将变得非常昂贵(1)重复。作为补救，我们应用了参考文献中介绍的基于多项式的代理模型的思想。13和14用于解决贝叶斯推理问题，以减轻这部分计算量。我们的方法与参考文献的主要区别。13和14他们使用正交多项式来扩展动力学模型， $X（X） (t吨, θ)$ ⁠，而在这里，我们将使用正交多项式展开 ${（f）}_{我} (θ)$ ⁠而贝叶斯推理问题的近似后验密度估计的收敛性在参考文献。14，我们将通过分析近似最小二乘问题的收敛性来结束本节。

A.基于多项式的代理模型

我们方法的核心思想是近似 ${（f）}_{我} (θ)$ 通过多项式函数 ${（f）}_{我}^{M（M）} (θ)$ ⁠这是因为在计算基本统计值时无法避免抽样误差，也就是说(8)因此，更合理的做法是考虑(10)作为具有一定分布的随机变量 $μ$ 结束 ${[- 1, 1]}^{N个}$ ⁠此外，由于 ${{（f）}_{我} (θ)}$ 是 ${C类}^{k个}$ 关于 $θ$ （备注2.1)无论何时 $b条$ 和 $σ$ 在里面(1)是 ${C类}^{k个}$ 关于 $θ$ ⁠，多项式混沌展开提供了 ${（f）}_{我}^{M（M）} (θ)$ 基于关于 $μ$ ⁠.

例如，如果我们考虑 $μ \sim 单位 [- 1, 1]$ ⁠，即均匀分布，则相应的正交多项式为勒让德多项式 ${{第页}_{n个}}$ ⁠。它们由提供 ${第页}_{0} = 1$ ⁠, ${第页}_{1} = x个$ ⁠，以及递归公式

(n个 + 1) {第页}_{n个 + 1} (x个) = (2 n个 + 1) x个 {第页}_{n个} (x个) - n个 {第页}_{n个 - 1} (x个),

它们构成了 ${L（左）}^{2} ([- 1, 1], μ)$ ⁠.的正交性 ${{第页}_{n个}}$ 结束 ${L（左）}^{2} ([- 1, 1], μ)$ 由描述

\int_{- 1}^{1} {第页}_{米} (x个) {第页}_{n个} (x个) d日 μ (x个) = \frac{2}{2 n个 + 1} δ_{米 n个} .

可以正常化 ${第页}_{n个}$ 通过引入 ${P（P）}_{n个} := {第页}_{n个} \sqrt{n个 + \frac{1}{2}}$ ⁠.

对于多维情况，可以定义 ${P（P）}_{\vec{k个}} (θ) := π_{j个 = 1}^{N个} {P（P）}_{{k个}_{j个}} (θ_{j个})$ (⁠ $N个$ 表示的尺寸 $θ$ ⁠)，其中 $\vec{k个} \geq \vec{0}$ 是具有的多索引 $\vec{k个} = ({k个}_{1}, \dots, {k个}_{N个}) \in {0, 1, 2, \dots}^{N个}$ 和 $θ = (θ_{1}, \dots, θ_{N个}) \in {[- 1, 1]}^{N个}$ ⁠.我们可以考虑订购- $M（M）$ 近似值 ${（f）}_{我} (θ)$

{（f）}_{我} (θ_{1}, \dots, θ_{N个}) \approx \sum_{∥ \vec{k个} ∥_{\infty} \leq M（M）} α_{\vec{k个}}^{(我)} {P（P）}_{\vec{k个}} (θ) =: {（f）}_{我}^{M（M）} (θ) .

(11)

实际上，有两种方法可以确定系数 $α_{\vec{k个}}^{(我)}$ ⁠第一种方法是Galerkin方法，它要求近似中的误差(11)与有限维子空间正交 ${L（左）}^{2} ([- 1, 1], μ)$ 由生成 ${{P（P）}_{\vec{k个}} (θ)}_{∥ \vec{k个} ∥_{\infty} \leq M（M）}$ ⁠在收敛性分析中，我们将根据通过Galerkin（或最小二乘）拟合获得的系数推导误差估计。或者，可以确定系数 $α_{\vec{k个}}^{(我)}$ 通过配置方法，即匹配 ${（f）}_{我}$ 在…的某些点 $θ$ 在里面 $天$ ⁠，表示为 $Θ$ ⁠，得出以下线性方程：

{（f）}_{我} (θ) = \sum_{∥ \vec{k个} ∥_{\infty} \leq M（M）} α_{\vec{k个}}^{(我)} {P（P）}_{\vec{k个}} (θ), θ \in Θ .

（12）

自（12）相当于多项式插值，通常选择 $Θ$ 是订单的产品空间- ${M（M）}_{C类}$ 切比雪夫节点，其中 ${M（M）}_{C类} \geq M（M） + 1$ [何时 ${M（M）}_{C类} > M（M） + 1$ ⁠,（12）变成线性最小二乘问题]。在本文的数值例子中，我们将使用配置法来确定系数。

更换 ${（f）}_{我} (θ)$ 在里面(10)通过 ${（f）}_{我}^{M（M）} (θ)$ ⁠，我们得到了订单的一个新的最小二乘问题- $M（M）$ 基于多项式的代理模型

\underset{θ \in {[- 1, 1]}^{N个}}{最小值} \sum_{我 = 1}^{K} {({（f）}_{我}^{M（M）})}^{2} (θ) .

(13)

为了更简单地表示，让我们使用 ${（f）}^{M（M）} (θ)$ 和 $J^{M（M）} (θ)$ 表示向量值函数， ${[{（f）}_{1}^{M（M）} (θ), \dots, {（f）}_{N个}^{M（M）} (θ)]}^{⊤}$ ⁠，及其雅可比矩阵。

总之，我们有基于Gauss-Newton方法的算法1。

算法1。

参数估计：基于多项式的代理模型

让

Θ

是中的一组搭配节点

{[- 1, 1]}^{N个}

⁠.

1.对于每个

θ \in Θ

⁠，解决.

2.估算

{（f）}_{我} (θ)

使用Monte-Carlo和

我 = 1, \dots, K

⁠.

3.计算系数

α_{\vec{k个}}^{(我)}

通过求解线性系统并获得近似值

{（f）}_{我}^{M（M）} (θ)

对于

我 = 1, \dots, K .

4.对于初步猜测

θ^{0} \in {[- 1, 1]}^{N个}

和阈值

δ > 0

⁠.计算

θ^{k个} = θ^{k个 - 1} - {{[J^{M（M）} (θ^{k个 - 1})]}^{⊤} J^{M（M）} (θ^{k个 - 1})}^{- 1} {[J^{M（M）} (θ^{k个 - 1})]}^{⊤} {（f）}^{M（M）} (θ^{k个 - 1}) .

（14）

虽然步长

∥ θ^{k个} - θ^{k个 - 1} ∥ \geq δ

做

重复.

结束while

返回

θ^{k个}

计算上，最昂贵的步骤是求解(1)关于搭配节点 $Θ$ ⁠，可以并行完成。

B.近似解的收敛性

在本节中，我们将在中提供近似最小二乘问题解的收敛性分析(13)中真最小二乘问题的求解(10)作为 $M（M） \to \infty$ ⁠，在适当的条件下。我们表示(13)通过 $θ_{M（M）}^{*}$ ⁠也就是说，

θ_{M（M）}^{*} := 参数 \underset{θ \in {[- 1, 1]}^{N个}}{最小值} \sum_{我 = 1}^{K} {({（f）}_{我}^{M（M）})}^{2} (θ) .

自每个 ${（f）}_{我}^{M（M）}$ 是多元多项式，最小值(13)可以在 ${[- 1, 1]}^{N个}$ ⁠; 但是这样 $θ_{M（M）}^{*}$ 可能不是唯一的。对于以下情况 $K = N个$ 并且足够光滑 ${（f）}_{我}$ ⁠，假设参数值为真 $θ^{†} \in {(- 1, 1)}^{N个}$ 是真最小二乘问题的唯一解(10)，我们可以证明近似问题存在一系列极小值(13) ${θ_{M（M）}^{*}}$ 这样的话 $θ_{M（M）}^{*} \to θ^{†}$ 作为 $M（M） \to + \infty$ ⁠更准确地说，

在我们应用数值方法解决问题之前，一个基本问题是：假设 $θ^{†} \in {(- 1, 1)}^{N个}$ ⁠，真正的参数值，是(10)我们能找到近似问题的极小值序列吗(13) ${θ_{M（M）}^{*}}$ 这样的话 $θ_{M（M）}^{*} \to θ^{†}$ 作为 $M（M） \to + \infty$ ? 我们能够证明以下定理，它部分地回答了这个问题。

定理3.1

考虑一下

N个

-多维非线性最小二乘问题及其代理模型特别是

,

我们让

K = N个

并假设

${（f）}_{我} \in {C类}^{ℓ} ({[- 1, 1]}^{N个}),$ $ℓ = ⌈ \frac{三}{2} N个 ⌉ + 2$ ⁠, $我 = 1, 2, \dots, N个,$
让 $θ^{†}$ 是…的解决方案(10)这样的话 ${（f）}_{我} (θ^{†}) = 0,$ $我 = 1, 2, \dots, N个,$
雅可比矩阵 $（f） := {({（f）}_{1}, {（f）}_{2}, \dots, {（f）}_{N个})}^{⊤}$ 在 $θ^{†},$ 记为 $\nabla \vec{（f）} (θ^{†}),$ 是可逆的。

然后，存在一系列最小化

{θ_{M（M）}^{*}}

这样的话

θ_{M（M）}^{*} = \underset{θ \in {[- 1, 1]}^{N个}}{argmin（最小值）} \sum_{我 = 1}^{N个} {({（f）}_{我}^{M（M）})}^{2} (θ)

和

θ_{M（M）}^{*} \to θ^{†}

作为

M（M） \to + \infty

⁠.此外

,

剩余误差

{（f）}^{M（M）} (θ_{M（M）}^{*})

收敛到

0

作为

M（M） \to + \infty

⁠.

备注3.2

我们设置了 $N个 = K$ 因为极小值的存在依赖于引理中的技术假设3.6第二和第三个假设提供了原始非线性最小二乘问题的良好性(10)。因为我们讨论了完美模型设置下的参数估计问题 $,$ 第二种假设自然成立。

定理的证明3.1可以在中找到附录A这里，我们将给出一维情况的证明(⁠ $K = N个 = 1$ ⁠)来说明主要思想。注意，在一维情况下(11)减少到

{（f）}^{M（M）} (θ) := \sum_{k个 = 0}^{M（M）} α_{k个} {P（P）}_{k个} (θ),

(15)

哪里 ${{P（P）}_{n个}}$ 是规范化的勒让德多项式。我们从两个引理开始，这两个引理与 ${（f）}^{M（M）}$ ⁠证明见参考文献。24.

引理3.3

让

（f） \in {C类}^{ℓ} ([- 1, 1]),

则相应的最小二乘近似由满足

\underset{k个 \to + \infty}{林} α_{k个} {k个}^{ℓ} = 0

引理3.3连接平滑度 $（f）$ 和广义傅里叶系数的衰减率 $α_{k个}$ ⁠.以下引理是引理的直接结果3.3.

引理3.4

让

（f） \in {C类}^{2} ([- 1, 1])

和

{（f）}^{M（M）}

是以下公式给出的相应最小二乘近似值，那么对于任何

ϵ > 0,

存在

N个 > 0

这样的话

\forall M（M） > N个

我们有

∥ （f） - {（f）}^{M（M）} ∥_{\infty} \leq \frac{ϵ}{\sqrt{M（M）}} .

因此

,

我们有

{（f）}^{M（M）} \to （f）

逐点打开

[- 1, 1]

⁠.

在这里， $∥ \cdot ∥_{\infty}$ 表示 ${L（左）}^{\infty}$ -规范 ${C类}^{2} [- 1, 1]$ ⁠.在命题证明中3.7，我们还需要 $∥ {({（f）}^{M（M）})}^{'} - {（f）}^{'} ∥_{\infty} \to 0$ 作为 $M（M） \to + \infty$ ⁠为了获得这种收敛性，需要更高的正则性 $（f）$ ⁠特别是，我们有

引理3.5

让 $（f） \in {C类}^{4} ([- 1, 1])$ 和 ${（f）}^{M（M）}$ 是以下公式给出的相应最小二乘近似值(15).我们有 $∥ {（f）}^{'} - {({（f）}^{M（M）})}^{'} ∥_{\infty} \to 0$ 作为 $M（M） \to + \infty$ ⁠.

证明。

遵循引理证明中的相同思想3.4,²⁴我们将展示这一点

{{({（f）}^{M（M）})}^{'}}

是Cauchy序列

{L（左）}^{\infty}

-规范。通知

米 > n个

⁠,

∥ {({（f）}^{米} - {（f）}^{n个})}^{'} ∥_{\infty} = {∥ \sum_{k个 = n个 + 1}^{米} α_{k个} {P（P）}_{k个}^{'} ∥}_{\infty} \leq \sum_{k个 = n个 + 1}^{米} | α_{k个} | ∥ {P（P）}_{k个}^{'} ∥_{\infty},

这表明我们需要找到一个

{L（左）}^{\infty}

绑定到

{P（P）}_{k个}^{'}

⁠.使用递归关系

{第页}_{n个 + 1}^{'} - {第页}_{n个 - 1} = (2 n个 + 1) {第页}_{n个}

和

∥ {第页}_{n个} ∥_{\infty} = 1

⁠，我们有

∥ {P（P）}_{n个}^{'} ∥_{\infty} = \sqrt{n个 + \frac{1}{2}} ∥ {第页}_{n个}^{'} ∥_{\infty} \leq \frac{1}{2} n个 (n个 + 1) \sqrt{n个 + \frac{1}{2}} .

(16)

因此，

∥ {({（f）}^{米} - {（f）}^{n个})}^{'} ∥_{\infty} \leq \frac{1}{2} \sum_{k个 = n个 + 1}^{米} | α_{k个} | k个 (k个 + 1) \sqrt{k个 + \frac{1}{2}} .

从引理3.3，我们知道

（f） \in {C类}^{4} ([- 1, 1])

足以确保

{{({（f）}^{M（M）})}^{'}}

是柯西。让

{({（f）}^{M（M）})}^{'} \to φ^{'} \in {C类}^{0} ([- 1, 1])

在里面

{L（左）}^{\infty}

感觉。剩下的问题是

φ^{'} = {（f）}^{'}

⁠.这很简单，因为通过引理3.4我们知道

{（f）}^{M（M）} \to （f）

有针对性地。此外，

\begin{aligned} {（f）}^{M（M）} (θ) - {（f）}^{M（M）} (- 1) & = \int_{- 1}^{θ} {({（f）}^{M（M）})}^{'} (t吨) d日 t吨, \\ \underset{M（M） \to + \infty}{林} \int_{- 1}^{θ} {({（f）}^{M（M）})}^{'} (t吨) d日 t吨 & = \int_{- 1}^{θ} φ^{'} (t吨) d日 t吨, \forall θ \in [- 1, 1], \end{aligned}

收敛性相对于

x个

⁠因此，

\forall x个 \in [- 1, 1]

⁠,

\underset{M（M） \to + \infty}{林} {（f）}^{M（M）} (θ) - {（f）}^{M（M）} (- 1) = （f） (θ) - （f） (- 1) = \int_{- 1}^{θ} φ^{'} (t吨) d日 t吨,

也就是说，

{（f）}^{'} = φ^{'}

⁠.

到目前为止，我们已经证明了 $（f）$ ⁠，我们有两者的一致收敛性 ${（f）}^{M（M）} \to （f）$ 和 ${({（f）}^{M（M）})}^{'} \to {（f）}^{'}$ 在 $[- 1, 1]$ ⁠.显示附近极小值的存在 $θ^{†}$ ⁠，以下引理至关重要。

引理3.6

让 $如果 : 天 \subset {R（右）}^{n个} \to R（右）$ 在域中连续可微 $天$ 假设有一个开着的球 $B类 ({x个}^{0}, 第页) \subset 天$ 和一个积极的 $γ$ 这样的话 $∥ \nabla 如果 {(x个)}^{- 1} ∥ \leq γ \forall x个 \in B类 ({x个}^{0}, 第页)$ 和 $第页 > γ ∥ 如果 ({x个}^{0}) ∥$ ⁠然后， $如果 (x个) = 0$ 在中有解决方案 $B类 ({x个}^{0}, 第页)$ ⁠.

证据见参考文献。25.在一维情况下，引理3.6基本上说，如果 ${C类}^{1}$ 功能 $（f）$ 以最小速度变化(⁠ $| {（f）}^{'} | > γ^{- 1}$ ⁠)关于区间 $({x个}^{0} - 第页, {x个}^{0} + 第页)$ 和函数值 ${x个}^{0}$ 足够小了[ $（f） ({x个}^{0}) \leq \frac{第页}{γ}$ ]，则函数必须在此间隔内达到零。带引理3.4–3.6，我们能够证明以下结果，这是定理的一维类比3.1.

提议3.7

考虑以下一维非线性最小二乘问题：

\underset{θ \in [- 1, 1]}{最小值} {（f）}^{2} (θ),

带解决方案

θ^{†}

⁠.如果

（f）

近似值为

{（f）}^{M（M）}

由提供我们假设

$（f） \in {C类}^{4} ([- 1, 1]),$
$（f） (θ^{†}) = 0,$
$| {（f）}^{'} (θ^{†}) | \neq 0,$

那么存在一个极小值序列

{θ_{M（M）}^{*}}

这样的话

{({（f）}^{M（M）})}^{2} (θ_{M（M）}^{*}) = \underset{θ \in [- 1, 1]}{最小值} {({（f）}^{M（M）})}^{2} (θ) =: {e（电子）}_{M（M）}^{2}

和

\underset{M（M） \to + \infty}{林} θ_{M（M）}^{*} = θ^{†}, \underset{M（M） \to + \infty}{林} | {（f）}^{M（M）} (θ_{M（M）}^{*}) | = 0

证明。

从引理3.4和3.5，我们知道第一个假设提供了

\underset{n个 \to + \infty}{林} ∥ （f） - {（f）}^{M（M）} ∥_{\infty} = 0, \underset{n个 \to + \infty}{林} ∥ {（f）}^{'} - {({（f）}^{M（M）})}^{'} ∥_{\infty} = 0

让

{如果}^{M（M）} (θ) := {（f）}^{M（M）} (θ) - {e（电子）}_{M（M）}

⁠，我们将应用引理3.6到

{如果}^{M（M）}

在

θ^{†}

⁠.自

{（f）}^{'} (θ^{†}) \neq 0

⁠通过连续性，我们知道存在正常数

γ

和

第页

这样的话

| {（f）}^{'} (θ) |^{- 1} \leq \frac{γ}{2}, \forall θ \in (θ^{†} - 第页, θ^{†} + 第页) \subset (- 1, 1) .

(17)

进一步注意

{({如果}^{M（M）})}^{'} = {({（f）}^{M（M）})}^{'}

和

∥ {（f）}^{'} - {({（f）}^{M（M）})}^{'} ∥_{\infty} \to 0

⁠。这意味着存在一个正常数

{L（左）}_{1}

这样的话

\forall M（M） > {L（左）}_{1}

| {({如果}^{M（M）})}^{'} {(θ)}^{- 1} | \leq γ, \forall θ \in (θ^{†} - 第页, θ^{†} + 第页) \subset (- 1, 1) .

(18)

在

θ = θ^{†}

⁠，我们有

| {如果}^{M（M）} (θ^{†}) | = | {（f）}^{M（M）} (θ^{†}) - {e（电子）}_{M（M）} | \leq | {（f）}^{M（M）} (θ^{†}) | + {e（电子）}_{M（M）} \leq 2 | {（f）}^{M（M）} (θ^{†}) |,

我们利用事实

{e（电子）}_{M（M）} \leq | {（f）}^{M（M）} (θ^{†}) |

⁠，自

{e（电子）}_{M（M）}^{2}

是的最小值

{({（f）}^{M（M）})}^{2}

在

[- 1, 1]

⁠。因此，

\underset{M（M） \to + \infty}{林} | {如果}^{M（M）} (θ^{†}) | \leq \underset{M（M） \to + \infty}{林} 2 | {（f）}^{M（M）} (θ^{†}) | = 2 | （f） (θ^{†}) | = 0

因此，我们可以选择

{L（左）}_{2} > 0

这样的话

\forall M（M） > {L（左）}_{2}

| {如果}^{M（M）} (θ^{†}) | < \frac{第页}{γ} .

（19）

既然我们都有和

\forall M（M） > 最大值 {{L（左）}_{1}, {L（左）}_{2}} =: L（左）

⁠，涂抹Lemma3.6到

{如果}^{M（M）}

在

θ^{†}

⁠，我们得出结论

{如果}^{M（M）} (θ) = 0

在中有解决方案

(θ^{†} - 第页, θ^{†} + 第页)

⁠.表示如下解决方案

θ_{M（M）}^{*}

⁠，这是近似最小二乘问题的极小值，即，

{({（f）}^{M（M）})}^{2} (θ_{M（M）}^{*}) = {e（电子）}_{M（M）}^{2} = \underset{θ \in [- 1, 1]}{最小值} {({（f）}^{M（M）})}^{2} (θ), \forall M（M） > L（左） .

将中值定理应用于

（f） (θ_{M（M）}^{*}) - （f） (θ^{†})

对于

M（M） > L（左）

⁠，我们有

| θ^{†} - θ_{M（M）}^{*} | \leq | {（f）}^{'} (ξ_{M（M）}) |^{- 1} | （f） (θ^{†}) - （f） (θ_{M（M）}^{*}) | = | {（f）}^{'} (ξ_{M（M）}) |^{- 1} | （f） (θ_{M（M）}^{*}) |,

对一些人来说

ξ_{M（M）} \in (θ^{†} - 第页, θ^{†} + 第页)

⁠因此导致

\begin{aligned} | θ^{†} - θ_{M（M）}^{*} | & \leq \frac{γ}{2} | （f） (θ_{M（M）}^{*}) | \leq \frac{γ}{2} [| （f） (θ_{M（M）}^{*}) - {（f）}^{M（M）} (θ_{M（M）}^{*}) | + | {（f）}^{M（M）} (θ_{M（M）}^{*}) |] \\ \leq \frac{γ}{2} [∥ （f） - {（f）}^{M（M）} ∥_{\infty} + | {（f）}^{M（M）} (θ^{†}) |] \leq \frac{γ ϵ}{\sqrt{M（M）}} \to 0, \end{aligned}

作为

M（M） \to \infty

以及任何

ϵ > 0

⁠在这里，我们使用了引理3.4限定第一项和剩余误差

| {（f）}^{M（M）} (θ_{M（M）}^{*}) | \leq | {（f）}^{M（M）} (θ^{†}) | = | {（f）}^{M（M）} (θ^{†}) - （f） (θ^{†}) | \leq \frac{ϵ}{\sqrt{M（M）}} .

这个结果保证了近似多项式最小二乘问题在相当强的条件下收敛于真最小二乘问题的解的极小值的存在，即：， $（f）$ 足够平滑。在实践中（参见第。四、)，即使基本统计数据不像理论估计所要求的那样规则，我们也会看到相当准确的估计。

C.算法的收敛性

在算法1中，我们正在解决一个最小二乘问题(13)对于Gauss-Newton方法，雅可比矩阵满秩假设下的标准局部收敛结果是众所周知的（例如，参见参考文献第2章。26详细信息）。为了在我们的数值算法中实现这种局部收敛，我们现在将验证多项式混沌设置中的满秩条件。

对于我们的问题，雅可比矩阵 $J^{M（M）} (θ) \in {R（右）}^{K \times N个}$ 由提供

{(J^{M（M）})}_{我 j个} = \frac{\partial {（f）}_{我}^{M（M）}}{\partial θ_{j个}}, 我 = 1, \dots, K, j个 = 1, \dots N个,

哪里 ${（f）}_{我}^{M（M）}$ 是有限维多项式空间的元素 $Γ_{N个}^{M（M）}$ 由定义

Γ_{N个}^{M（M）} := 跨度 {θ_{1}^{{k个}_{1}} θ_{2}^{{k个}_{2}} \cdot θ_{N个}^{{k个}_{N个}} | {k个}_{我} = 0, 1, \dots, M（M）} .

在函数空间上使用线性独立性 $Γ_{N个}^{M（M）}$ 以及代数中的一些基本结果，我们可以证明以下定理。

定理3.8

如果

如果 := {{（f）}_{我}}_{我 = 1}^{K} \subset Γ_{N个}^{M（M）}

线性独立，且

K > 最大值 {N个, {(M（M） + 1)}^{N个 - 1}},

然后是相应雅可比矩阵的列空间

J (θ)

在中排名满

{(Γ_{N个}^{M（M）})}^{K}

⁠.此外

,

成套设备

N个 (J)

由定义

N个 (J) := {θ \in {R（右）}^{N个} | 等级 [J (θ)] \leq N个 - 1}

没有密集的地方

{R（右）}^{N个}

⁠.

证明。

请参见附录B.

备注3.9

在这里， $N个 (J)$ 是一组 $θ$ 为此 $J (θ)$ 不是矩阵意义上的满秩。在我们的应用程序中 $,$ $N个$ 是参数的尺寸 $θ,$ $K$ 是中方程式的总数(9)、和 $M（M）$ 是中使用的近似顺序(11)在实践中，由于正交多项式涉及(11)形成基础 $Γ_{N个}^{M（M）}$ ⁠，检查系数矩阵的秩就足够了 ${A类}^{M（M）}$ ⁠，其中 $我第个$ 列由系数组成 $α_{\vec{k个}}^{(我)}$ 在里面(11)尽一切可能 $\vec{k个}$ ⁠线性独立性假设在实践中确实是明智的，因为我们希望避免解决未确定的最小二乘问题。

四、示例I：LANGEVIN模型

对于第一个例子，我们考虑统计力学中的一个经典模型：保守力、阻尼力和随机力驱动的粒子动力学。特别是，我们根据莫尔斯势选择保守力

单位 (x个) = {单位}_{0} [一 (x个 - {x个}_{0})], {单位}_{0} (x个) = ϵ ({e（电子）}^{- 2 x个} - 2 {e（电子）}^{- x个} + 0.01 {x个}^{2}),

(20)

其中最后一个二次项 ${单位}_{0}$ 起到保持电位（也称为限制电位）的作用，防止粒子移动到无穷远。对于这个一维模型，我们将质量重新调整为单位 $米 = 1$ 并将动力学编写如下：

{\begin{cases} \dot{x个} = v（v）, \\ \dot{v（v）} = - {单位}^{'} (x个) - γ v（v） + \sqrt{2 γ {k个}_{B类} T型} \dot{W公司}, \end{cases}

(21)

哪里 $\dot{W公司}$ 是白噪音。系统的发电机(21)，表示为 $L（左）$ ⁠，由给出

L（左） = v（v） \frac{\partial}{\partial x个} + [- {单位}^{'} (x个) - γ v（v）] \frac{\partial}{\partial v（v）} + γ {k个}_{B类} T型 \frac{\partial^{2}}{\partial {v（v）}^{2}} .

(22)

平滑保持潜力 $单位 (x个)$ 保证了朗之万系统的遍历性(21)（请参见附录C详细信息）。也就是说，存在一个平衡分布（吉布斯测度） ${第页}_{e（电子） q个} (x个, v（v）)$ ⁠，由提供

{第页}_{e（电子） q个} \propto 经验 {- \frac{1}{{k个}_{B类} T型} [单位 (x个) + \frac{1}{2} {v（v）}^{2}]},

(23)

独立于 $γ$ ⁠特别是，我们有 $v（v） \sim N个 (0, {k个}_{B类} T型)$ 处于平衡状态。对于这个朗之万模型，共有五个未知参数 $θ := (γ, T型, ϵ, 一, {x个}_{0})$ 具有真值 $θ^{†} := (γ^{†}, {T型}^{†}, ϵ^{†}, 一^{†}, {x个}_{0}^{†})$ ⁠.

对于这个特定的问题，请注意除 $γ$ 出现在平衡密度函数中。直觉上，这表明可以估计四个参数， ${T型, ϵ, 一, {x个}_{0}}$ ⁠，来自平衡统计和 $γ$ 分别来自两点统计。为了便于诊断，我们将根据本指南提出一种传统的估计方法。特别是，参数 $γ$ 将根据如第。四、A随后，通过一点统计获得其余四个参数，如所示(27)和第。IV B 1类.

对于提议的方法，我们将考虑以最有效的方式使用基本统计数据估计所有参数。首先是两个参数， ${γ, T型}$ ⁠，将使用(27)然后，通过第。IV乙2，我们将显示该参数 ${x个}_{0}$ 独立于基本统计数据。因此，我们提出了一个最小二乘问题来估计 $θ = (ϵ, 一)$ 并使用平衡统计来估计 ${x个}_{0}$ ⁠.

A.参数空间的缩减

在我们之前的工作中，⁵我们建议了一种估算方法 ${T型}^{†}$ 和 $γ^{†}$ 直接来自基本统计数据。为了构造这样的基本统计数据，我们考虑一个恒定的外力 $δ （f）$ 具有 $δ ≪ 1$ ⁠相应的扰动系统由下式给出

{\begin{cases} \dot{x个} = v（v）, \\ \dot{v（v）} = - {单位}^{'} (x个) - γ v（v） + δ （f） + \sqrt{2 γ {k个}_{B类} T型} \dot{W公司}, \end{cases}

（24）

也就是说， $c（c） (x个) = (0, 1)$ 在FDT公式中(3).通过选择可观察到的 $A类 = {(0, v（v）)}^{⊤}$ ⁠，我们与 $(2, 2)$ 由给定的响应运算符的条目

\begin{aligned} {k个}_{A类} (t吨; θ^{†}) & = \frac{1}{{k个}_{B类} {T型}^{†}} {E类}_{{第页}_{e（电子） q个}^{†}} [v（v） (t吨) v（v） (0)] \\ = \frac{1}{{k个}_{B类} {T型}^{†}} \int_{{R（右）}^{2}} \int_{{R（右）}^{2}} v（v） {v（v）}_{0} ρ (x个, v（v）, t吨 | {x个}_{0}, {v（v）}_{0}, 0) \\ \times {第页}_{e（电子） q个}^{†} ({x个}_{0}, {v（v）}_{0}) d日 x个 d日 v（v） d日 {x个}_{0} d日 {v（v）}_{0}, \end{aligned}

(25)

哪里 $ρ$ 是对应的福克-普朗克方程的解(5)与朗之万动力学有关。求时间导数 ${E类}_{{第页}_{e（电子） q个}^{†}} [v（v） (t吨) v（v） (0)]$ 对于 $t吨 > 0$ ⁠，我们获得

\begin{aligned} \frac{\partial}{\partial t吨} {E类}_{{第页}_{e（电子） q个}^{†}} [v（v） (t吨) v（v） (0)] \\ = \int_{{R（右）}^{2}} \int_{{R（右）}^{2}} v（v） {v（v）}_{0} {L（左）}^{*} ρ (x个, v（v）, t吨 | {x个}_{0}, {v（v）}_{0}, 0) {第页}_{e（电子） q个}^{†} ({x个}_{0}, {v（v）}_{0}) d日 x个 d日 v（v） d日 {x个}_{0} d日 {v（v）}_{0} \\ = \int_{{R（右）}^{2}} \int_{{R（右）}^{2}} L（左） v（v） {v（v）}_{0} ρ (x个, v（v）, t吨 | {x个}_{0}, {v（v）}_{0}, 0) {第页}_{e（电子） q个}^{†} ({x个}_{0}, {v（v）}_{0}) d日 x个 d日 v（v） d日 {x个}_{0} d日 {v（v）}_{0} \\ = \int_{{R（右）}^{2}} \int_{{R（右）}^{2}} [- {单位}^{'} (x个) - γ v（v）] {v（v）}_{0} ρ (x个, v（v）, t吨 | {x个}_{0}, {v（v）}_{0}, 0) \\ \times {第页}_{e（电子） q个}^{†} ({x个}_{0}, {v（v）}_{0}) d日 x个 d日 v（v） d日 {x个}_{0} d日 {v（v）}_{0} \\ = {E类}_{{第页}_{e（电子） q个}^{†}} ({- {单位}^{'} [x个 (t吨)] - γ^{†} v（v） (t吨)} v（v） (0)) . \end{aligned}

(26)

让 $t吨 \to 0^{+}$ 在里面(26)回忆一下 $v（v） \sim N个 (0, {k个}_{B类} T型)$ 在平衡状态下，我们有

\begin{aligned} \begin{aligned} {E类}_{{第页}_{e（电子） q个}^{†}} [v（v） (t吨) v（v） (0)] |_{t吨 = 0} & = {k个}_{B类} {T型}^{†}, \\ \frac{\partial}{\partial t吨} {E类}_{{第页}_{e（电子） q个}^{†}} [v（v） (t吨) v（v） (0)] |_{t吨 = 0^{+}} & = - γ^{†} {k个}_{B类} {T型}^{†}, \end{aligned} \end{aligned}

(27)

其中左手边都可以从样本中计算出来。因此，(27)提供以下方面的直接估计 ${T型}^{†}$ 和 $γ^{†}$ ⁠因此，原始参数估计问题可以简化为估计 $(ϵ^{†}, 一^{†}, {x个}_{0}^{†})$ 在势函数中 $单位$ ⁠，这是一项非常重要的任务，因为 ${第页}_{e（电子） q个}$ 关于这些参数是相当复杂的。根据这些估计， ${B类}^{†}$ 变得可用，因为它只依赖于 ${k个}_{B类} {T型}^{†}$ ⁠，允许计算 ${M（M）}_{j个} ({t吨}_{我})$ 在里面(8)并避免备注中指出的问题2.4.

B.参数估计方法

在本小节中，我们将重点讨论三维参数估计问题 $θ := (ϵ, 一, {x个}_{0})$ ⁠首先，我们回顾了传统方法，该方法与 $x个$ ⁠然后，我们使用基本统计学讨论了所提出的新方法。特别是，我们进行了敏感性分析，以确定基本统计数据中参数的可识别性。最后，我们给出了数值结果，包括传统方法和新方法之间的比较。

1.常规方法

我们首先看一下从平衡统计中可以学到什么。由于 $x个$ 处于平衡状态时与 $经验 [- 单位 (x个; θ) / {k个}_{B类} T型]$ ⁠，一个自然的想法是匹配 $x个$ 关于这个平衡密度。特别是，可以引入以下三个方程：

{E类}_{{第页}_{e（电子） q个}^{†}} [{x个}^{我}] = {E类}_{{第页}_{e（电子） q个}} [{x个}^{我}; ϵ, 一, {x个}_{0}], 我 = 1, 2, 三,

（28）

其中，左手侧是根据给定数据计算的，而右手侧则被视为 $(ϵ, 一, {x个}_{0})$ ⁠，通过求解模型获得（24）以下预计算简化了公式。（28）变成一维问题。

首先，我们定义了概率密度函数

\begin{aligned} {第页}_{e（电子） q个}^{一, {x个}_{0}} (x个) & := \frac{1}{N个} 经验 {- \frac{1}{{k个}_{B类} T型} {单位}_{0} [一 (x个 - {x个}_{0})]}, \\ {第页}_{e（电子） q个}^{1, 0} (x个) & := \frac{1}{{N个}_{0}} 经验 [- \frac{1}{{k个}_{B类} T型} {单位}_{0} (x个)], \end{aligned}

依据 $单位$ 和 ${单位}_{0}$ ⁠分别是。随着变量的变化 $年 := 一 (x个 - {x个}_{0})$ ⁠，归一化常数 $N个$ 和 ${N个}_{0}$ 满足

\begin{aligned} N个 & = \int_{R（右）} 经验 {- \frac{1}{{k个}_{B类} T型} {单位}_{0} [一 (x个 - {x个}_{0})]} d日 x个 \\ = \frac{1}{一} \int_{R（右）} 经验 [- \frac{1}{{k个}_{B类} T型} {单位}_{0} (年)] d日 年 = \frac{1}{一} {N个}_{0} . \end{aligned}

因此（28）可以写入

\begin{aligned} {E类}_{{第页}_{e（电子） q个}^{†}} [x个] & = {E类}_{{第页}_{e（电子） q个}}^{一, {x个}_{0}} [x个] = \frac{1}{一} {E类}_{{第页}_{e（电子） q个}}^{1, 0} [x个] + {x个}_{0}, \\ {E类}_{{第页}_{e（电子） q个}^{†}} [{x个}^{2}] & = {E类}_{{第页}_{e（电子） q个}}^{一, {x个}_{0}} [{x个}^{2}] = \frac{1}{一^{2}} {E类}_{{第页}_{e（电子） q个}}^{1, 0} [{x个}^{2}] + \frac{2 {x个}_{0}}{一} {E类}_{{第页}_{e（电子） q个}}^{1, 0} [x个] + {x个}_{0}^{2}, \end{aligned}

具有独特的解决方案

一 = \sqrt{\frac{{变量}_{{第页}_{e（电子） q个}}^{1, 0} [x个]}{{变量}_{{第页}_{e（电子） q个}^{†}} [x个]}}, {x个}_{0} = {E类}_{{第页}_{e（电子） q个}^{†}} [x个] - {E类}_{{第页}_{e（电子） q个}}^{1, 0} [x个] \sqrt{\frac{{变量}_{{第页}_{e（电子） q个}^{†}} [x个]}{{变量}_{{第页}_{e（电子） q个}}^{1, 0} [x个]}},

(29)

哪里 ${变量}_{{第页}_{e（电子） q个}}^{1, 0} [x个]$ 代表的方差 $x个$ 相对于重标度平衡密度 ${第页}_{e（电子） q个}^{1, 0}$ ⁠在实践中，两者都是 ${E类}_{{第页}_{e（电子） q个}^{†}} [x个]$ 和 ${变量}_{{第页}_{e（电子） q个}^{†}} [x个]$ 可以直接根据可用数据进行经验估计，而 ${变量}_{{第页}_{e（电子） q个}}^{1, 0} [x个]$ 是的函数 $ϵ$ 只有。因此，(29)可以表示为

一 = 一 (ϵ); {x个}_{0} = {x个}_{0} (ϵ),

和（28）被简化为一维问题 $ϵ$ ⁠,

\begin{aligned} {E类}_{{第页}_{e（电子） q个}^{†}} [{x个}^{三}] & = {E类}_{{第页}_{e（电子） q个}} [{x个}^{三}; ϵ, 一, {x个}_{0}] [= \int_{R（右）} {x个}^{三} {第页}_{e（电子） q个} (x个; ϵ, 一, {x个}_{0}) d日 x个], \\ 科学技术。 一 & = 一 (ϵ), {x个}_{0} = {x个}_{0} (ϵ) . \end{aligned}

(30)

请注意(30)将通过未扰动数据的Monte-Carlo平均值进行估计，而右侧积分将使用数值求积进行近似。

2.基本统计的敏感性分析

为了确保成功的参数估计，收集一些先验的从提出的基本统计中了解参数可识别性。这一点很重要，尤其是因为有非唯一的基本统计选择是合适的，我们希望确保我们能够从适当的基本统计中识别参数：回想一下，基本统计是基于外部强迫和可观察的选择来定义的。

而局部敏感性分析，如参考文献。27是可取的，它需要了解我们无法获得的真实参数。本质上，路径导数方法是计算 ${\bar{年}}_{θ} := E类 [Y（Y） (t吨, ω)]$ ⁠，其中 $Y（Y） (t吨, ω) := 天_{θ} X（X） (t吨, θ)$ 并且期望是相对于Itô扩散的密度来定义的（以积分形式书写）

X（X） (t吨, θ) = {X（X）}_{0} (θ) + \int_{0}^{t吨} b条 [X（X） (秒, θ), θ] d日 秒 + \int_{0}^{t吨} σ [X（X） (秒, θ), θ] d日 {W公司}_{秒} .

(31)

因为我们没有密度的显式解 $ρ (x个, t吨; θ)$ ⁠，一种近似方法 ${\bar{年}}_{θ}$ 使用以下方程解的集合平均值：

\begin{aligned} Y（Y） (t吨, θ) & = {Y（Y）}_{0} (θ) + \int_{0}^{t吨} {{b条}_{X（X）} [X（X） (秒, θ), θ] Y（Y） (秒, θ) + {b条}_{θ} [X（X） (秒, θ), θ]} d日 秒 \\ + \int_{0}^{t吨} {σ_{X（X）} [X（X） (秒, θ), θ] Y（Y） (秒, θ) + σ_{θ} [X（X） (秒, θ), θ]} d日 {W公司}_{秒} . \end{aligned}

(32)

注意，这个方程取决于(31)和未知参数， $θ$ ⁠.对 $θ$ 意味着不能将此方法用于先验的敏感性分析。然而，它可以用于后部敏感性分析，在估算时进行评估，以验证特定参数状态的困难。

作为一种经验方法先验的敏感性分析，我们只需检查 $\hat{k个} (t吨, θ)$ 作为训练搭配节点的函数， $θ \in Θ$ ⁠，可从算法1的步骤2中获得。当然，还有一种更精细的全球敏感性分析技术，如Sobol指数²⁸也可以表演，但我们不会在这里继续。根据这个经验先验的敏感性分析，我们发现相应的基本统计， ${E类}_{{第页}_{e（电子） q个}} [v（v） (t吨) v（v） (0)]$ 对…不敏感 ${x个}_{0}$ ⁠然而，它对 $一$ 并且对 $ϵ$ ⁠此外，低阻尼情况的灵敏度(⁠ $γ = 0.5$ ⁠)比高阻尼外壳更强(⁠ $γ = 0$ ⁠). 为了验证该经验方法的有效性，我们计算了局部敏感性分析指数 ${\bar{年}}_{θ} := E类 [Y（Y） (t吨, ω)]$ ⁠，其中 $Y（Y） (t吨, ω)$ 解决(32)使用真实参数（同样，这在实践中是不可行的，因为真实参数不可用）。

对于我们的朗之万模型，我们有相应的漂移系数和扩散系数

b条 = {[v（v）, - {单位}^{'} (x个) - γ v（v）]}^{⊤}, σ = {(0, \sqrt{2 γ {k个}_{B类} T型})}^{⊤} .

假设我们对参数的依赖性感兴趣 ${x个}_{0}$ ⁠.介绍符号 ${x个}_{{x个}_{0}} := \frac{\partial}{\partial {x个}_{0}} x个 (t吨, {x个}_{0})$ 和 ${v（v）}_{{x个}_{0}} := \frac{\partial}{\partial {x个}_{0}} v（v） (t吨, {x个}_{0})$ ⁠，联合系统(31)和(32)（以微分形式书写）如下所示：

{\begin{cases} \dot{x个} = v（v）, \\ \dot{v（v）} = - {单位}^{'} (x个; {x个}_{0}) - γ v（v） + \sqrt{2 γ {k个}_{B类} T型} \dot{W公司}, \\ {\dot{x个}}_{{x个}_{0}} = {v（v）}_{{x个}_{0}}, \\ {\dot{v（v）}}_{{x个}_{0}} = - {单位}^{″} (x个; {x个}_{0}) {x个}_{{x个}_{0}} - γ {v（v）}_{{x个}_{0}} - \frac{\partial}{\partial {x个}_{0}} {单位}^{'} (x个; {x个}_{0}) . \end{cases}

(33)

最后一个方程中没有随机项，因为朗之万模型中的噪声是可加性的，系数独立于 ${x个}_{0}$ ⁠。请注意 $({x个}_{{x个}_{0}}, {v（v）}_{{x个}_{0}}) \equiv (1, 0)$ 是中最后两个方程的不动点(33)因为

\begin{aligned} \frac{\partial}{\partial {x个}_{0}} {单位}^{'} (x个; {x个}_{0}) & = 一 \frac{\partial}{\partial {x个}_{0}} {单位}_{0}^{'} [一 (x个 - {x个}_{0})] \\ = - 一^{2} {单位}_{0}^{″} [一 (x个 - {x个}_{0})] = - \frac{\partial}{\partial x个} {单位}^{'} (x个; {x个}_{0}) . \end{aligned}

因此，通过选择初始条件 $[x个 (0), v（v） (0)] = ({x个}_{0}, c（c）)$ 对于任意常数 $c（c）$ ⁠，可以声称解决方案 $v（v） (t吨)$ 朗之万模型(21)独立于 ${x个}_{0}$ ⁠因此，在这种情况下， ${E类}_{{第页}_{e（电子） q个}^{†}} [v（v） (t吨) v（v） (0)]$ 独立于 ${x个}_{0}^{†}$ ⁠，证实了我们的实证结论先验的敏感性分析。

虽然这种参数不敏感似乎令人沮丧，但我们可以利用它来简化问题。也就是说，我们可以为 ${x个}_{0}$ 在应用算法1时，只考虑估计 $θ = (一, ϵ)$ ⁠。一旦估计了这两个参数，我们可以在(29)估计 ${x个}_{0}$ ⁠.

我们还使用这种局部敏感性分析来验证先验的关于以下方面的敏感性分析 $ϵ$ 和 $一$ ⁠由于难以如上所述分析显式行为，对于给定的Langevin模型实现，我们使用四阶Runge-Kutta方法求解剩余的ODE。图2显示了的数值结果 ${\bar{v（v）}}_{一}$ 和 ${\bar{v（v）}}_{ϵ}$ ⁠其中，平均值估计超过3000个朗之万模型变现。根据 ${\bar{v（v）}}_{一}$ 和 ${\bar{v（v）}}_{ϵ}$ 在里面图2，我们确认了两点统计灵敏度的有效性 ${E类}_{{第页}_{e（电子） q个}^{†}} [v（v） (t吨) v（v） (0)]$ 这是经验性的发现。也就是说 $ϵ$ 比 $一$ 以及低阻尼情况的可识别性(⁠ $γ = 0.5$ ⁠)比高阻尼外壳更强(⁠ $γ = 5$ ⁠).

图2。

查看大型下载幻灯片

的绝对值 ${\bar{v（v）}}_{一}$ 和 ${\bar{v（v）}}_{ϵ}$ 对于两者 $γ = 0.5$ 和 $γ = 5$ ⁠.

C.数值结果

我们现在给出几个数值结果。基于大小的时间序列 $10^{7}$ （具有时间滞后 $小时 = 2 \times 10^{- 三}$ ⁠)，我们比较了传统方法和符合以下基本统计的建议方案 $γ^{†} = 0.5$ 和 $5$ ⁠，分别表示低阻尼情况和高阻尼情况。其余四个参数的真值设置为 $({k个}_{B类} {T型}^{†}, ϵ^{†}, 一^{†}, {x个}_{0}^{†}) = (1, 0.2, 10, 0)$ ⁠数据以时间序列的形式从模型中生成（24）使用算子分裂方法，²⁹这是一个强大的二阶方法。

1.低阻尼箱

我们从传统方法开始。检查评估的敏感性 $(ϵ^{†}, 一^{†}, {x个}_{0}^{†})$ 估算值 $\hat{T型}$ ⁠作为比较，我们还包括使用真实值的估算 ${k个}_{B类} {T型}^{†} = 1$ 在解决中(30)（我们将此场景的结果称为部分估计）。结果已在中列出表一我们清楚地观察到，传统方法的结果对 $\hat{T型}$ ⁠。要解释敏感性，请回忆在解决问题时(30), $一$ 和 ${x个}_{0}$ 被视为的功能 $ϵ$ ⁠这表明，如果

\begin{aligned} \frac{\partial ϵ}{\partial {k个}_{B类} T型} & = {(\frac{\partial {E类}_{{第页}_{e（电子） q个}} [{x个}^{三}; T型, ϵ, 一 (ϵ), {x个}_{0} (ϵ)]}{\partial ϵ})}^{- 1} \\ \cdot \frac{\partial {E类}_{{第页}_{e（电子） q个}} [{x个}^{三}; T型, ϵ, 一 (ϵ), {x个}_{0} (ϵ)]}{\partial {k个}_{B类} T型} ≫ 1, \end{aligned}

哪里 $一 (ϵ)$ 和 ${x个}_{0} (ϵ)$ 由提供(29)并应用了隐函数定理。通过直接计算，我们得到

\begin{aligned} \frac{\partial}{\partial {k个}_{B类} T型} {E类}_{{第页}_{e（电子） q个}} [{x个}^{n个}] = \frac{1}{{({k个}_{B类} T型)}^{2}} {{E类}_{{第页}_{e（电子） q个}} [{x个}^{n个} 单位 (x个)] - {E类}_{{第页}_{e（电子） q个}} [{x个}^{n个}] {E类}_{{第页}_{e（电子） q个}} [单位 (x个)]}, \\ n个 = 1, 2, \dots . \end{aligned}

由于关于的偏导数的显式公式 $ϵ$ 不容易计算，其值将使用有限差分公式计算。评估时间： $({k个}_{B类} T型, ϵ, 一, {x个}_{0}) = (1, 0.2, 10, 0)$ ⁠，我们有

\begin{aligned} \frac{\partial}{\partial {k个}_{B类} T型} {E类}_{{第页}_{e（电子） q个}} [{x个}^{三}; T型, ϵ, 一 (ϵ), {x个}_{0} (ϵ)] = 9.034, \\ \frac{\partial}{\partial ϵ} {E类}_{{第页}_{e（电子） q个}} [{x个}^{三}; T型, ϵ, 一 (ϵ), {x个}_{0} (ϵ)] = 0.06396, \end{aligned}

这支持了我们的观察。

表一。

使用平衡统计（上文）和使用基本统计（下文）的传统方法的全部和部分估计：低阻尼情况。

	${k个}_{B类} T型$	$γ$	$ϵ$	$一$	${x个}_{0}$
真的	1.0000	0.50000	0.20000	10.000	0.0000
等式统计完整估计	0.99903	0.50003	0.16870	10.888	0.001120
等式统计部分估计	$\dots$	0.50003	0.20039	2005年10月	0.011263
基本统计估计	0.99903	0.50003	0.20004	9.9741	0.008265

	${k个}_{B类} T型$	$γ$	$ϵ$	$一$	${x个}_{0}$
真的	1.0000	0.50000	0.20000	10.000	0.0000
等式统计完整估计	0.99903	0.50003	0.16870	10.888	0.001120
等式统计部分估计	$\dots$	0.50003	0.20039	10.005	0.011263
基本统计估计	0.99903	0.50003	0.20004	9.9741美元	0.008265

接下来，我们报告了使用基本统计数据从新方法中获得的估计值，结果如下所示表一.精确度的提高 $ϵ^{†}$ 和 $一^{†}$ 与传统方法的完全估计相比，这一点值得注意。在这里，我们总共使用了 $20$ 基本统计数据由 ${k个}_{A类} ({t吨}_{我}; θ^{†})$ 对于 ${t吨}_{我} = 0.1 我$ ⁠, $我 = 1, 2, \dots, 20$ ⁠。我们应用算法1求解二维集合(⁠ $一$ 和 ${x个}_{0}$ ⁠)基于的非线性最小二乘问题 $300$ 均匀生成的随机初始条件。图3（左）显示了成本函数的等高线图以及所有估算。请注意，除了少数异常值外，大多数估计值都位于成本函数轮廓的低值上。估计值 $\hat{ϵ}$ reported是所有估计值的平均值（不包括异常值）。为了满足平衡约束， $一 (\hat{ϵ})$ 由提供(29)用于估算 $一^{†}$ ⁠.

图3。

查看大型下载幻灯片

成本函数的等高线图以及估计值：低阻尼情况（左）和高阻尼情况（右）。

该测试的结果表明，对于传统方法，很难获得对 $ϵ^{†}$ ⁠，除非 ${T型}^{†}$ 可以准确估计，例如使用更长的时间序列。相比之下，使用基本统计的拟议方法对 $\hat{T型}$ ⁠然而，这种方法需要如算法1中所述的预计算步骤。在我们的数值测试中，我们求解了模型(21)在64个搭配节点上评估不同值的基本统计量 $(ϵ, 一)$ ⁠，也就是说，订单 ${M（M）}_{C类} = 8$ Chebyshev节点用于构造 $Θ$ 在中使用（12）然而，正如我们之前提到的，这可以并行完成，并且只要参数的维数相对较小，它就不会成为一个严重的问题。至于 $M（M）$ 在里面（12），我们选择了 $M（M） = 6$ ⁠（同样的方案也适用于高阻尼情况。）

当阻尼参数较大时，会出现另一个有趣的问题。由于传统方法完全依赖于平衡密度的单点统计，因此重要的是要有高质量的独立样本。在图4（左），我们显示了 $x个$ 对于两种低阻尼状态(⁠ $γ = 0.5$ ⁠)和高阻尼状态(⁠ $γ = 5$ ⁠). 我们观察到，在后一种情况下 $x个$ 衰减速度慢得多，表明样本之间具有很强的相关性，且滞后较小。在这种情况下，由于难以获得高质量的独立抽样，传统方法的估计值将恶化。

图4。

查看大型下载幻灯片

时间自相关 $x个$ （左）和 $v（v）$ （右）。

2.高阻尼情况

在本节中，我们将重点介绍高阻尼状态 $γ^{†} = 5$ ⁠。我们还将在图2以及使用基本统计数据的估计。如所示图4（左），我们不再有时间自相关的快速衰减 $x个$ ⁠因此，在不改变样本量的情况下，估计 $x个$ 用于传统方法。从中列出的结果可以清楚地看到这一点表二特别是，除了对 $\hat{T型}$ ⁠、估算误差 ${E类}_{{第页}_{e（电子） q个}^{†}} [{x个}^{n个}]$ 对于 $n个 = 1, 2, 三$ 也会导致不准确的估计 $ϵ^{†}$ ⁠, $一^{†}$ ⁠、和 ${x个}_{0}^{†}$ ⁠我们应该指出一个有趣的事实，即尽管 $x个$ 处于平衡状态时与 $γ$ ⁠，值很大 $γ$ 导致难以估计 $x个$ 在实践中。

表二。

使用平衡统计（上文）和使用基本统计（下文）的传统方法的全部和部分估计：高阻尼情况。

	${k个}_{B类} T型$	$γ$	$ϵ$	$一$	${x个}_{0}$
真的	1.0000	5.0000	0.20000	10.000	0.0000
等式统计完整估计	0.99949	4.9993	0.69579	5.4717	0.12990
等式统计部分估计	$\dots$	4.9993	0.25931	8.9295	−0.0034460
基本统计估计	0.99949	4.9993	0.21160	9.8663美元	−0.01822

	${k个}_{B类} T型$	$γ$	$ϵ$	$一$	${x个}_{0}$
真的	1.0000	5.0000	0.20000	10.000	0.0000
等式统计完整估计	0.99949	4.9993	0.69579	5.4717	0.12990
等式统计部分估计	$\dots$	4.9993	0.25931	8.9295	−0.0034460
基本统计估计	0.99949	4.9993	0.21160	9.8663	−0.01822

表二和图3（右）使用基本统计显示数值结果。虽然相对误差没有低阻尼情况下的小，但仍低于传统方法的估计值。我们的方法是这样实现的：与低阻尼情况类似，(29)用于估算 $一^{†}$ 基于估计 $\hat{ϵ}$ ⁠这里的20个基本统计数据如下所示 ${k个}_{A类} ({t吨}_{我}; θ^{†})$ 对于 ${t吨}_{我} = 0.04 我 + 0.2$ ⁠, $我 = 1, 2, \dots, 20$ [由时间自相关 $v（v）$ 如所示图4（右）]，时间间隔更短。与低阻尼情况相比，可以通过灵敏度分析验证精度损失(图2)，这表明参数 $(一, {x个}_{0})$ 在这种制度下，当 $γ$ 很大。

五、示例二：具有三阱势的梯度系统

我们的下一个例子是由白噪声驱动的梯度系统。我们考虑一个二维随机系统，如下所示：

d日 x个 (t吨) = - C类 \nabla V（V） (x个) d日 t吨 + \sqrt{2 {k个}_{B类} T型} d日 {W公司}_{t吨},

(34)

哪里 ${W公司}_{t吨}$ 是一个二维维纳过程， $V（V）$ 是势能，并且 $C类$ 是由定义的矩阵

C类 = (\begin{matrix} 1 & - d日 \\ d日 & 1 \end{matrix}), d日 \in (- 1, 1) .

发电机 $L（左）$ 系统的(34)由提供

L（左） （f） = - ({V（V）}_{{x个}_{1}} - d日 {V（V）}_{{x个}_{2}}) \frac{\partial （f）}{\partial {x个}_{1}} - (d日 {V（V）}_{{x个}_{1}} + {V（V）}_{{x个}_{2}}) \frac{\partial （f）}{\partial {x个}_{2}} + {k个}_{B类} T型 Δ （f） .

(35)

我们选择三重势函数 $V（V）$ 与参考文献中的模型类似。30,

\begin{aligned} V（V） ({x个}_{1}, {x个}_{2}) & = - v（v） ({x个}_{1}^{2} + {x个}_{2}^{2}) - (1 - γ) v（v） [{({x个}_{1} - 2 一)}^{2} + {x个}_{2}^{2}] \\ - (1 + γ) v（v） [{({x个}_{1} - 一)}^{2} + {({x个}_{2} - 一 \sqrt{三})}^{2}] \\ + 0.2 [{({x个}_{1} - 一)}^{2} + {({x个}_{2} - 一 / \sqrt{三})}^{2}], \end{aligned}

(36)

具有

v（v） (z（z）) = 10 经验 (\frac{1}{{z（z）}^{2} - 一^{2}}) \cdot χ_{(- 一, 一)} (z（z）), z（z） \in R（右）,

哪里 $χ_{(- 一, 一)} (z（z）)$ 表示区间内的特征函数 $(- 一, 一)$ ⁠注意，矩阵 $C类$ 是正定的。附加二次项 $0.2 [{({x个}_{1} - 一)}^{2} + {({x个}_{2} - 一 / \sqrt{三})}^{2}]$ 在三重势中(36)这也是一个平稳的保持潜力。这是众所周知的¹三向模型(34)产生一个平衡分布，由

{第页}_{e（电子） q个} (x个) \propto 经验 (- \frac{V（V） (x个)}{{k个}_{B类} T型}) x个 \in {R（右）}^{2},

(37)

与参数无关 $d日$ ⁠，非对角元素 $C类$ ⁠.

在数值测试中，我们设置 $({d日}^{†}, 一^{†}, {k个}_{B类} {T型}^{†}, γ^{†}) = (0.5, 1, 1.5, 0.25)$ 作为参数的真实值。图5显示了在这组参数下势的等值线图和时间序列的散点图。要从中生成数据(34)，我们应用了参考文献中介绍的弱梯形方法。31，这是一种弱二阶方法。在本节的其余部分中，我们将从中选择适当的基本统计数据 ${d日, T型}$ 可以直接估计剩余参数， ${一, γ}$ ⁠，将使用适当的最小二乘问题进行估计。

图5：。

查看大型下载幻灯片

势的等高线图（左）和具有 $10^{三}$ 采样点（右侧）。

A.参数空间的基本统计和约简

与Langevin模型类似，我们考虑了在 $x个$ ⁠随后，扰动动力学由下式给出

d日 x个 (t吨) = [- C类 \nabla V（V） (x个) + （f） (t吨) δ] d日 t吨 + \sqrt{2 {k个}_{B类} T型} d日 {W公司}_{t吨},

(38)

哪里 $| δ | ≪ 1$ ⁠。如果我们选择 $A类 (x个) := x个$ 作为可观测值，相应的线性响应操作符读取

{k个}_{A类} (t吨; θ) = {E类}_{{第页}_{e（电子） q个}} {A类 [x个 (t吨)] \otimes B类 [x个 (0)]},

哪里 $B类 = {({B类}_{1}, {B类}_{2})}^{⊤}$ 具有

{B类}_{我} ({x个}_{1}, {x个}_{2}) = \frac{1}{{k个}_{B类} T型} \frac{\partial}{\partial {x个}_{我}} V（V） ({x个}_{1}, {x个}_{2}), 我 = 1, 2,

由提供(3)因此，线性响应运算符的条目 ${k个}_{A类} (t吨; θ)$ 满足

{k个}_{(我, j个)} (t吨; θ) := \frac{1}{{k个}_{B类} T型} {E类}_{{第页}_{e（电子） q个}} {{x个}_{我} (t吨) {V（V）}_{{x个}_{j个}} [{x个}_{1} (0), {x个}_{2} (0)]}, 我, j个 = 1, 2,

(39)

哪里 ${V（V）}_{{x个}_{我}}$ 表示的偏导数 $V（V）$ 关于 ${x个}_{我}$ ⁠使用按部件集成，可以显示

\begin{aligned} \int_{R（右）} {x个}_{我} {V（V）}_{{x个}_{我}} ({x个}_{1}, {x个}_{2}) 经验 [- V（V） ({x个}_{1}, {x个}_{2}) / {k个}_{B类} T型] d日 {x个}_{j个} = δ_{我 j个} {k个}_{B类} T型 \\ \int_{R（右）} 经验 [- V（V） ({x个}_{1}, {x个}_{2}) / {k个}_{B类} T型] d日 {x个}_{j个}, 我, j个 = 1, 2, \end{aligned}

这将导致

{k个}_{我, j个} (0; θ) = δ_{我 j个} .

(40)

这就是统计力学中的能量均分。

注意，响应操作符 ${k个}_{(我, j个)} (t吨; θ^{†})$ 由于函数 ${V（V）}_{{x个}_{我}} (x个, θ^{†})$ 取决于未知的真参数值 $({k个}_{B类} {T型}^{†}, 一^{†}, γ^{†})$ ⁠这正是备注中提出的问题之一2.4对于梯度流系统，可以通过对另一组两点统计数据引入线性变换来克服此问题。我们定义

米_{我, j个} (t吨; θ) := {E类}_{{第页}_{e（电子） q个}} [{x个}_{我} (t吨) {x个}_{j个} (0)], 我, j个 = 1, 2

(41)

并考虑它们的时间导数。根据同样的计算(26)，我们获得以下身份 $t吨 > 0$ ⁠:

\begin{aligned} \frac{d日}{d日 t吨} 米_{我, j个} (t吨; θ) = {k个}_{B类} T型 [- {k个}_{j个, 我} (- t吨; θ) + {(- 1)}^{我 - 1} d日 \cdot {k个}_{j个, 三 - 我} (- t吨; θ)], \\ 我, j个 = 1, 2 \end{aligned}

(42)

重写更有帮助(42)成为一个线性系统 $t吨 > 0$ ⁠,

{k个}_{B类} T型 (\begin{matrix} - 1 & d日 & 0 & 0 \\ 0 & 0 & - 1 & d日 \\ - d日 & - 1 & 0 & 0 \\ 0 & 0 & - d日 & - 1 \end{matrix}) (\begin{matrix} {k个}_{1, 1} (- t吨) \\ {k个}_{1, 2} (- t吨) \\ {k个}_{2, 1} (- t吨) \\ {k个}_{2, 2} (- t吨) \end{matrix}) = (\begin{matrix} 米_{1, 1}^{'} (t吨) \\ 米_{1, 2}^{'} (t吨) \\ 米_{2, 1}^{'} (t吨) \\ 米_{2, 2}^{'} (t吨) \end{matrix}),

(43)

其中系数矩阵是非奇异的，因为 $d日 \in (- 1, 1)$ ⁠这种线性关系表明可以考虑拟合 $米_{我, j个}$ 代替 ${k个}_{我, j个}$ ⁠，因为前者在数字上是可访问的。

让 $t吨 \to 0^{+}$ 并应用(40)到的第一个和第三个方程(43)在下面 $θ = θ^{†}$ ⁠，我们得到以下估计 ${d日}^{†}$ 和 ${T型}^{†}$ ⁠:

{k个}_{B类} {T型}^{†} = - 米_{1, 1}^{'} (0^{+}; θ^{†}); {d日}^{†} = - 米_{2, 1}^{'} (0^{+}; θ^{†}) / {k个}_{B类} {T型}^{†},

(44)

哪里 $米_{我, j个}^{'} (0^{+}; θ^{†})$ 可根据可用样本计算。方程式(44)将问题简化为二维估算问题 $(一^{†}, γ^{†})$ 只有。

B.数值结果

如前所述，线性响应算子， ${k个}_{(我, j个)} (t吨; θ^{†})$ (39)，无法直接访问。受线性关系的激励(43)，我们考虑推断这些值 $(一^{†}, γ^{†})$ 从两点统计 $米_{我, j个} (t吨; θ^{†})$ (41)。特别是，我们选择 $米_{1, 1} ({t吨}_{我}; θ^{†})$ 具有 ${t吨}_{我} = 0.1 我$ ⁠, $我 = 1, \dots, 20$ ⁠作为我们数值测试中的基本统计数据。

鉴于以下事实 $米_{1, 1} (t吨; θ)$ 是的两点统计 ${x个}_{1}$ ⁠，我们可以应用经验先验的通过检查 $\hat{k个} (t吨, θ)$ 在训练搭配节点上 $θ = (一, γ) \in Θ$ ⁠，可从算法1的步骤2中获得。在这个数值实验中，训练使用了25个搭配节点， $θ \in Θ$ ⁠为了验证此经验敏感性测试，我们还进行了第。IV B 2类到参数 $一$ 和 $γ$ （这在实践中也是不可能的，因为真实参数未知）。结果如所示图6（左）。从规模来看 ${\bar{x个}}_{一}$ 和 ${\bar{x个}}_{γ}$ （平均值超过 $2000$ 实现 $x个$ ⁠)，我们可以看到这个两点统计， $米_{1, 1} (t吨; θ^{†})$ ⁠，对参数非常敏感 $γ$ 和 $一$ ⁠，对参数的依赖性更强 $一$ ⁠.

图6。

查看大型下载幻灯片

局部敏感性试验 ${x个}_{1}$ 关于参数 $一$ 和 $γ$ （左）和成本函数的等高线图以及估计值（右）。

基于大小的时间序列 $4 \times 10^{6}$ （有时滞 $小时 = 1 \times 10^{- 三}$ ⁠)，我们用实现了算法1 $M（M） = 4$ 和搭配节点， $Θ$ ⁠，根据订单构造 ${M（M）}_{C类} = 5$ 中的Chebyshev节点（12）.

估计值如所示表III。我们还展示了图6（右）成本函数的等值线图以及基于 $300$ 均匀生成的初始猜测。请注意，真正的参数值不在最低轮廓值上，这些差异是由于替代建模和样本质量造成的。然而，估计 $\hat{一}$ 和 $\hat{γ}$ 仍然相当准确，如表III我们应该指出 $\hat{一}$ 和 $\hat{γ}$ 此表中报告的是所有估计值的平均值（不包括异常值），而估计值 ${k个}_{B类} \hat{T型}$ 和 $\hat{d日}$ 通过求解获得(44)等高线图也证实了敏感性分析，这表明估计 $一^{†}$ 比 $γ^{†}$ ⁠.

表III。

估计结果：三井模型。

	$一$	$γ$	${k个}_{B类} T型$	$d日$
真的	1.0000	0.2500	1.5000	0.5000
估算	1.0249	0.2463	1.4946	0.5077

一个有趣的问题是，参数的近似值能否再现基本统计数据，这对于预测存在外力的非平衡平均值很有用。使用中报告的估计表III，我们比较了用于估计参数的两点统计结果， $米_{1, 1} (t吨; \hat{θ})$ ⁠，具有相应的真实统计信息， $米_{1, 1} (t吨; θ^{†})$ （请参见图7，左）。在图7（右），我们还比较了估计的响应操作符， ${k个}_{1, 1} (t吨, \hat{θ})$ ⁠和真正的响应运算符， ${k个}_{1, 1} (t吨, θ^{†})$ ⁠。一致性很好。

图7。

查看大型下载幻灯片

响应统计信息的恢复 ${E类}_{{第页}_{e（电子） q个}} [{x个}_{1} (t吨) {x个}_{1} (0)]$ （左）和两点统计 ${E类}_{{第页}_{e（电子） q个}} {{x个}_{1} (t吨) {V（V）}_{{x个}_{1}} [{x个}_{1} (0), {x个}_{2} (0)]}$ （右）。所有轨迹都已标准化，因此它们都是从某一点开始的 $(0, 1)$ ⁠.

六、总结和进一步讨论

本文提出了一种以漂移扩散为形式的随机模型参数估计方法。为了推断平衡密度函数中没有出现的参数，我们建议拟合两点基本统计数据使用涨落耗散理论制定。在我们先前工作中建立的框架的基础上，⁵当无法通过求解相应的统计约束直接估计参数时，我们将该问题表示为一个受动态约束的非线性最小二乘问题。为了避免在使用Gauss-Newton方法时在每次迭代中评估基本统计量时花费昂贵的计算成本，我们提出了基于多项式代理建模方法的近似最小二乘问题。这种方法的动机是，在计算基本统计值时，抽样误差是不可避免的，而基本统计是参数的平滑函数。我们保证了近似最小二乘问题的极小值的存在性，该问题收敛于涉及本质统计的真最小二乘问题的解，假设这些统计是参数的光滑函数。我们还证明了多项式近似最小二乘问题具有几乎处处满秩的雅可比矩阵，这意味着高斯-纽顿解的局部收敛性。我们在属于两大类随机模型的两个示例上测试了所提方法——朗之万动力学模型和随机梯度系统。一般来说，我们预计参数估计程序应按以下方式进行：

只要可能，就使用易于计算的适当统计数据，通过直接估计来减少参数空间。
根据感兴趣的观测值、平衡密度的函数形式、外部强迫项和可用数据，使用先验的敏感性分析测试。在我们的实现中，我们比较了根据训练参数值（例如搭配节点）计算的基本统计信息。更精细的全局敏感性分析技术，如Sobol指数²⁸可用于确定参数的可识别性。
对于剩余的参数，在一些训练参数值上使用适当的基本统计量来构造非线性最小二乘问题。
应用算法1获得估计值 $\hat{θ}$ 真实参数值的 $θ^{†}$ ⁠.
应用敏感性分析，如第。IV B 2类，作为后部估计值的置信度检查。如果发现参数对所选响应统计信息不敏感，请返回步骤3并选择一组不同的响应统计信息。

我们公式的限制之一是能够计算 ${B类}^{†}$ 在里面(7)可能需要了解（某些）真实值 $θ^{†}$ 一般来说，这是不可行的。因此，非线性系统(8)在不知道真实参数的情况下无法进行计算。对于朗之万动力学，我们发现 ${k个}_{B类} {T型}^{†}$ 在里面 ${B类}^{†}$ 可以用平衡统计估计，方差 $v（v）$ ⁠对于梯度流问题，在不可计算的线性响应统计量和不知道真实参数值即可估计的其他两点统计量之间存在可逆线性变换。由于数值算法1不依赖于FDT公式，因此可以将其应用于任何可用的两点统计，例如解的时间自相关。我们不知道有什么常规可以绕过这一困难。然而，正如我们已经证明的那样，至少对于一般的朗之万动力学模型和随机梯度系统来说，这种想法是可行的。

虽然所提出的方法需要了解未扰动系统的平衡密度函数，但可以放宽这一条件，并根据数据进行估计。对于低维问题，可以使用非参数核密度估计方法。^32,33如果动力系统的不变分布可以用定义在光滑流形（嵌入到高维相空间中）上的密度函数来表征，数据位于或接近该流形，那么可以应用分布的核嵌入理论来估计密度函数³⁴在Hilbert空间上，基函数定义在数据流形上。类似于参考文献中提出的条件密度估计。37和38这些数据驱动的基函数可以通过扩散映射算法获得。^35,36非参数方法的另一种替代方法是考虑使用矩约束最大熵原理的参数密度函数估计。³⁹对于中等维密度，比如五到七维密度，可以使用最近开发的等式-By方程（EBE）方法⁴⁰用于求解矩约束的最大熵问题。EBE方案的源代码可在参考。41.

我们的最终目标之一是将此方法用于分子建模的参数估计，其中通常使用Langevin类型的模型。势能通常涉及一大组参数，例如与键拉伸和键角变形相关的刚度常数，以及范德华系数和屏蔽静电相互作用。阻尼系数的选择也很重要；见审查文件⁴²用于各种角度。与现有方法相比，我们方法的新颖之处在于，我们使用响应统计量来描述参数估计问题，该问题可以揭示平衡密度中未出现的参数。此外，多项式代理模型为解决非线性最小二乘问题提供了一种有效的方法。

然而，为了实现这一目标，仍然存在一些挑战。对于大参数空间，我们怀疑需要结合现有方法来计算与平衡密度相关的参数，作为减少问题的一种方法（如上文第1步所建议的），并使用建议的方法来估计其余参数。其次，所提出的方法需要高质量并且可能需要大量的样本来准确评估基本统计数据。然而，由于基本统计取决于可观测力和外力的选择，只要这两个函数的范围维数很小，就可以避免近似高维积分。最后，底层模型可能会出现建模错误。例如，该模型可以从多尺度扩展中导出，也可以仅仅是经验假设。将在单独的工作中研究存在建模误差时的响应统计公式。

致谢

这项研究得到了国家科学基金会（NSF）（批准号：DMS-1619661）的部分支持。X.L.也得到了美国国家科学基金会的支持（批准号DMS-1522617）。J.H.还得到了海军研究办公室（ONR）的支持（批准号N00014-16-1-2888）。

附录A：定理证明3.1

以秒为单位。III B类，我们给出了收敛结果定理3.1并包括一维情况的证明。在这里，我们为将军展示了证据 $N个$ -维度案例。我们首先推广引理3.3–3.5到 $N个$ -维度案例。

引理A.1

让

（f） \in {C类}^{ℓ} ({[- 1, 1]}^{N个})

⁠.对应的最小二乘近似系数

α_{\vec{k个}},

我们有

\underset{λ \to + \infty}{林} α_{\vec{k个} + λ {\vec{e（电子）}}_{我}} {({k个}_{我} + λ)}^{ℓ} = 0,

哪里

{k个}_{我}

表示

我 第个

的组件

\vec{k个}

和

{\vec{e（电子）}}_{我}

是

我 第个

单位向量。

证明。

应用引理3.3，我们引入单变量函数

克 (θ_{我}) := \int_{{[- 1, 1]}^{N个 - 1}} （f） (θ) \frac{{P（P）}_{\vec{k个}} (θ)}{{P（P）}_{{k个}_{我}} (θ_{我})} d日 μ (θ_{1}) \cdot d日 μ (θ_{我 - 1}) d日 μ (θ_{我 + 1}) \cdot d日 μ (θ_{N个}) .

很容易检查

克 (θ_{我}) \in {C类}^{ℓ} ([- 1, 1])

和

\int_{- 1}^{1} 克 (θ_{我}) {P（P）}_{{k个}_{我} + λ} (θ) d日 μ (θ_{我}) = α_{\vec{k个} + λ {\vec{e（电子）}}_{我}}^{\vec{j个}} .

我们考虑的是

克 (θ_{我})

并应用引理3.3对应系数。我们能够得出结论。

引理A.2

让 $（f） \in {C类}^{ℓ} ({[- 1, 1]}^{N个})$ 具有 $ℓ > \frac{三}{2} N个$ 并考虑其最小二乘近似 ${（f）}^{M（M）}$ 由提供(11).那么，我们有 $∥ （f） - {（f）}^{M（M）} ∥_{\infty} \to 0$ 作为 $M（M） \to + \infty$ ⁠.

证明。

从引理的证明3.4，这足以表明

{{（f）}^{M（M）}}

是关于的Cauchy序列

{L（左）}^{\infty}

-规范。对于

米 > n个

⁠，我们有

\begin{aligned} ∥ {（f）}^{米} - {（f）}^{n个} ∥_{\infty} & \leq \sum_{λ = n个 + 1}^{米} \sum_{{\vec{k个}; ∥ \vec{k个} ∥_{\infty} = λ}} | α_{\vec{k个}} | ∥ {P（P）}_{\vec{k个}} ∥_{\infty} \\ \leq \sum_{λ = n个 + 1}^{米} {(λ + \frac{1}{2})}^{\frac{N个}{2}} \sum_{{\vec{k个}; ∥ \vec{k个} ∥_{\infty} = λ}} | α_{\vec{k个}} |, \end{aligned}

我们利用事实

∥ \vec{k个} ∥_{\infty} = λ

⁠,

∥ {P（P）}_{\vec{k个}} ∥_{\infty} = {∥ π_{我 = 1}^{N个} {P（P）}_{{k个}_{我}} ∥}_{\infty} = π_{我 = 1}^{N个} {∥ {P（P）}_{{k个}_{我}} ∥}_{\infty} \leq π_{我 = 1}^{N个} \sqrt{{k个}_{我} + \frac{1}{2}} \leq {(λ + \frac{1}{2})}^{\frac{N个}{2}} .

我们进一步注意到多索引集

{\vec{k个}; ∥ \vec{k个} ∥_{\infty} = λ}

共有个

{(λ + 1)}^{N个} - λ^{N个} = O（运行） (λ^{N个 - 1})

元素，和引理A.1款，我们知道

| α_{\vec{k个}} | = o个 (λ^{- ℓ}), λ = ∥ \vec{k个} ∥_{\infty},

对于

λ

足够大。因此，对于足够大的

米 > n个

⁠，我们有

∥ {（f）}^{米} - {（f）}^{n个} ∥_{\infty} \leq C类 \sum_{λ = n个 + 1}^{米} {(λ + \frac{1}{2})}^{\frac{N个}{2}} λ^{N个 - 1} λ^{- ℓ},

哪里

C类

是一个只依赖于

N个

和

ℓ

⁠。最后，使用

ℓ > \frac{三}{2} N个

⁠，我们知道

{{（f）}^{M（M）}}

确实是一个柯西序列

{L（左）}^{\infty}

-normal，它完成了证明。

推广引理3.5，考虑偏导数的情况就足够了，也就是说，找到了 $∥ {（f）}_{{x个}_{我}}^{M（M）} - {（f）}_{{x个}_{我}} ∥_{\infty} \to 0$ 作为 $n个 \to + \infty$ ⁠.

引理A.3

对于

（f） \in {C类}^{ℓ} ({[- 1, 1]}^{N个})

具有

ℓ > \frac{三}{2} N个 + 2,

我们考虑它的最小二乘近似

{（f）}^{M（M）}

⁠，由给出.那么，我们有

\underset{M（M） \to + \infty}{林} {∥ \frac{\partial}{\partial {x个}_{我}} ({（f）}^{M（M）} - （f）) ∥}_{\infty} = 0, 我 = 1, 2, \dots, N个 .

证明。

类似于引理的证明A.2款，我们首先展示

{{（f）}_{{x个}_{我}}^{M（M）}}

是一个柯西序列。对于

米 > n个

⁠，我们有

\begin{aligned} ∥ {（f）}_{{x个}_{我}}^{米} - {（f）}_{{x个}_{我}}^{n个} ∥_{\infty} & \leq \sum_{λ = n个 + 1}^{米} \sum_{{\vec{k个}; ∥ \vec{k个} ∥_{\infty} = λ}} | α_{\vec{k个}} | {∥ \frac{\partial}{\partial_{{x个}_{我}}} {P（P）}_{\vec{k个}} ∥}_{\infty} \\ \leq \sum_{λ = n个 + 1}^{米} \frac{1}{2} λ (λ + 1) {(λ + \frac{1}{2})}^{\frac{N个}{2}} \sum_{{\vec{k个}; ∥ \vec{k个} ∥_{\infty} = λ}} | α_{\vec{k个}} |, \end{aligned}

我们在哪里使用了不等式.通过引理A.1款，类似于引理的证明A.2款，我们知道

（f） \in {C类}^{ℓ} ([- 1, 1])

提供

∥ {（f）}_{{x个}_{我}}^{米} - {（f）}_{{x个}_{我}}^{n个} ∥_{\infty} \leq C类 \sum_{λ = n个 + 1}^{米} \frac{1}{2} λ (λ + 1) {(λ + \frac{1}{2})}^{\frac{N个}{2}} λ^{N个 - 1} λ^{- ℓ},

哪里

C类

是一个只依赖于

N个

和

ℓ

⁠。最后，使用

ℓ > \frac{三}{2} N个 + 2

⁠，我们可以得出结论

{{（f）}_{{x个}_{我}}^{M（M）}}

是关于的Cauchy序列

{L（左）}^{\infty}

-规范。用同样的技巧证明引理3.5，我们可以证明

{（f）}_{{x个}_{我}}^{M（M）}

确实收敛到

{（f）}_{{x个}_{我}}

一致开启

[- 1, 1]

⁠.

现在，我们准备证明定理3.1.

证明。

首先，通过引理A.2款和答3，正则性假设只提供了

\underset{M（M） \to + \infty}{林} ∥ {（f）}^{M（M）} - （f） ∥_{\infty} = 0, \underset{M（M） \to + \infty}{林} ∥ \nabla {（f）}^{M（M）} - \nabla （f） ∥_{\infty} = 0

构造类似函数

{如果}^{M（M）}

用于命题证明3.7，我们介绍了符号

\underset{θ \in {[- 1, 1]}^{N个}}{最小值} \sum_{我 = 1}^{N个} {({（f）}_{我}^{M（M）})}^{2} (θ) =: \sum_{我 = 1}^{N个} {({e（电子）}_{我}^{M（M）})}^{2}, {e（电子）}^{M（M）} := {({e（电子）}_{1}^{M（M）}, {e（电子）}_{2}^{M（M）}, \dots, {e（电子）}_{N个}^{M（M）})}^{⊤}

并定义

{如果}^{M（M）} := {（f）}^{M（M）} - {e（电子）}^{M（M）}

⁠首先，我们证明了一系列解的存在性，

{θ_{M（M）}^{*}}

⁠，接近

θ^{†}

通过检验引理的假设3.6到

{如果}^{M（M）}

在

θ^{†}

⁠.自

\nabla （f） (θ^{†})

对于某些人来说，通过连续性是可逆的

第页 > 0

足够小，存在正常数

γ

这样的话

∥ Ş （f） {(θ)}^{- 1} ∥ \leq \frac{γ}{2}, \forall θ \in B类 (θ^{†}, 第页) .

稍后，我们将指定

第页

为了收敛

θ_{M（M）}^{*} \to θ^{†}

作为

M（M） \to \infty

⁠.

我们进一步注意到

\nabla {如果}^{M（M）} = \nabla {（f）}^{M（M）}

和

\nabla {（f）}^{M（M）}

收敛到

\nabla （f）

均匀地。这意味着存在

{L（左）}_{1}

这样的话

\forall M（M） > {L（左）}_{1}

∥ \nabla {如果}^{M（M）} {(θ)}^{- 1} ∥ \leq γ, \forall θ \in B类 (θ^{†}, 第页) .

（A1）

根据的定义

{e（电子）}^{M（M）}

⁠，我们知道

θ = θ^{†}

∥ {如果}^{M（M）} (θ^{†}) ∥ = ∥ {（f）}^{M（M）} (θ^{†}) - {e（电子）}^{M（M）} ∥ \leq 2 ∥ {（f）}^{M（M）} (θ^{†}) ∥,

这将导致

\underset{M（M） \to + \infty}{林} ∥ {如果}^{M（M）} (θ^{†}) ∥ \leq \underset{M（M） \to + \infty}{林} 2 ∥ {（f）}^{M（M）} (θ^{†}) ∥ = 2 ∥ （f） (θ^{†}) ∥ = 0

因此，存在

{L（左）}_{2}

这样的话

\forall M（M） > {L（左）}_{2}

∥ {如果}^{M（M）} (θ) ∥ < \frac{第页}{γ} .

（A2）

让

M（M） > 最大值 {{L（左）}_{1}, {L（左）}_{2}} =: L（左）

⁠、和组合条件和，通过引理3.6到

{如果}^{M（M）}

在

θ^{†}

⁠，我们得出结论

{如果}^{M（M）} (θ) = 0

在中有解决方案

B类 (θ^{†}, 第页)

⁠。我们将这种解决方案表示为

θ_{M（M）}^{*}

\forall M（M） > L（左）

⁠，这是近似最小二乘问题的极小值.

我们的下一个任务是证明

θ_{M（M）}^{*}

收敛到

θ^{†}

⁠注意，在多维情况下，我们没有中值定理。作为补救措施，我们引入以下矩阵值函数：

J (θ; θ^{†}) := \int_{0}^{1} \nabla （f） [θ^{†} + t吨 (θ - θ^{†})] d日 t吨 .

根据定义，我们知道

J (θ^{†}; θ^{†}) = \nabla （f） (θ^{†})

⁠，它是可逆的

\begin{aligned} （f） (θ) - （f） (θ^{†}) & = \int_{0}^{1} \nabla （f） [θ^{†} + t吨 (θ - θ^{†})] (θ - θ^{†}) d日 t吨 \\ = J (θ; θ^{†}) (θ - θ^{†}) . \end{aligned}

（A3）

自

J {(θ; θ^{†})}^{- 1}

存在于

θ = θ^{†}

它是

θ

接近

θ^{†}

⁠，我们可以选择

第页 > 0

[相同

第页

在里面和]这样的话

J {(θ; θ^{†})}^{- 1}

存在并且

∥ J {(θ; θ^{†})}^{- 1} ∥ < Δ, \forall θ \in O（运行） (θ^{†}, 第页),

对于某个正常数

Δ

⁠.让

θ = θ_{M（M）}^{*}

在里面，我们获得

\begin{aligned} ∥ θ_{M（M）}^{*} - θ^{†} ∥ & \leq ∥ J {(θ_{M（M）}^{*}; θ^{†})}^{- 1} ∥ ∥ （f） (θ_{M（M）}^{*}) - （f） (θ^{†}) ∥ < Δ ∥ （f） (θ_{M（M）}^{*}) ∥ \\ \leq Δ [∥ （f） (θ_{M（M）}^{*}) - {（f）}^{M（M）} (θ_{M（M）}^{*}) ∥ + ∥ {（f）}^{M（M）} (θ_{M（M）}^{*}) ∥] \\ \leq Δ (∥ （f） - {（f）}^{M（M）} ∥_{\infty} + ∥ {（f）}^{M（M）} (θ^{†}) ∥) . \end{aligned}

因此，

\underset{M（M） \to + \infty}{林} ∥ θ_{M（M）}^{*} - θ^{†} ∥ \leq \underset{M（M） \to + \infty}{林} Δ [∥ （f） - {（f）}^{M（M）} ∥_{\infty} + ∥ {（f）}^{M（M）} (θ^{†}) ∥] = 0

至于残余误差

{（f）}^{M（M）} (θ_{M（M）}^{*})

⁠，我们知道

\underset{M（M） \to + \infty}{林} ∥ {（f）}^{M（M）} (θ_{M（M）}^{*}) ∥ \leq \underset{M（M） \to + \infty}{林} ∥ {（f）}^{M（M）} (θ^{†}) ∥ = 0

证明到此结束。

附录B：定理证明3.8

类牛顿法的局部收敛定理通常需要雅可比矩阵的满秩条件。我们将在有限维函数空间中讨论这个问题 $Γ_{N个}^{M（M）}$ 由定义

Γ_{N个}^{M（M）} := 跨度 {θ_{1}^{{k个}_{1}} θ_{2}^{{k个}_{2}} \cdot θ_{N个}^{{k个}_{N个}} | {k个}_{我} = 0, 1, \dots, M（M）} .

由于零元素 $Γ_{N个}^{M（M）}$ 是恒等零的函数，我们可以引入以下线性独立性的定义。

定义B.1

{{（f）}_{1}, \dots, {（f）}_{n个}} \subset Γ_{N个}^{M（M）}

称为线性无关集，如果

\sum_{我 = 1}^{n个} {c（c）}_{我} {（f）}_{我} \equiv 0 \Rightarrow {c（c）}_{我} = 0, \forall 我 = 1, \dots, n个 .

我们定义微分算子 $天_{θ_{我}} : Γ_{N个}^{M（M）} ⟶ Γ_{N个}^{M（M）}$ ⁠，具体如下：

天_{θ_{我}} （f） := \frac{\partial}{\partial θ_{我}} （f）, 我 = 1, \dots N个 .

现在，让我们推导出这样一个算子的一些相关性质。

引理B.2

操作员 ${天_{θ_{我}}}_{我 = 1}^{N个}$ 满足

$等级 (天_{θ_{我}}) = M（M） {(M（M） + 1)}^{N个 - 1};$
$\forall 我 \neq j个,$ 存在排列 ${P（P）}_{我 j个}$ 令人满意的 $天_{θ_{j个}} = {P（P）}_{我 j个}^{⊤} 天_{θ_{我}} {P（P）}_{我 j个}$ ⁠.

证明。

我们首先证明

等级 (天_{θ_{1}}) = M（M） {(M（M） + 1)}^{N个 - 1}

⁠。这足以表明

天_{θ_{1}}

是

{(M（M） + 1)}^{N个 - 1}

⁠也就是说，

昏暗的 [克尔 (天_{θ_{1}})] = {(M（M） + 1)}^{N个 - 1}

⁠。借助多指标，我们可以看到

{θ^{\vec{k个}} | ∥ \vec{k个} ∥_{\infty} \leq M（M）}

为

Γ_{N个}^{M（M）}

⁠、和

天_{θ_{1}} (θ^{\vec{k个}}) \equiv 0 ́ {k个}_{1} = 0,

产生

昏暗的 [克尔 (天_{θ_{1}})] = {(M（M） + 1)}^{N个 - 1}

⁠。我们进一步注意到，任何2个周期

(我, j个)

在对称群中

{S公司}_{N个}

诱导排列

{P（P）}_{我 j个}

在基础上

{P（P）}_{我 j个} : \cdot θ_{我}^{{k个}_{我}} \cdot θ_{j个}^{{k个}_{j个}} \cdot \to \cdot θ_{j个}^{{k个}_{j个}} \cdot θ_{我}^{{k个}_{我}} \cdot .

这种排列导致同一性

天_{θ_{j个}} = {P（P）}_{我 j个}^{⊤} 天_{θ_{我}} {P（P）}_{我 j个}

⁠，这意味着

等级 (天_{θ_{我}}) = 等级 (天_{θ_{1}}) = M（M） {(M（M） + 1)}^{N个 - 1}

对于

我 = 1, \dots, N个

⁠.

下面的引理也将有助于证明我们的主要结果。

引理B.3

让

\sum_{我 = 1}^{N个} λ_{我} 天_{θ_{我}}

是以下各项的非平凡线性组合

{天_{θ_{我}}}_{我 = 1}^{N个},

然后

等级 (\sum_{我 = 1}^{N个} λ_{我} 天_{θ_{我}}) \geq M（M） {(M（M） + 1)}^{N个 - 1} .

证明。

让

Λ = \sum_{我 = 1}^{N个} λ_{我} 天_{θ_{我}}

是以下各项的非平凡线性组合

{天_{θ_{我}}}_{我 = 1}^{N个}

⁠即。，

\exists λ_{j个} \neq 0

⁠.自

Λ

也是上的线性运算符

Γ_{N个}^{M（M）}

⁠，我们有

\begin{aligned} 等级 (Λ) & = 昏暗的 [克尔 {(Λ^{*})}^{⊥}] = {(M（M） + 1)}^{N个} - 昏暗的 (克 Λ^{*}) \\ = {(M（M） + 1)}^{N个} - 昏暗的 [克尔 (Λ)] . \end{aligned}

我们注意到

θ^{\vec{k个}}

可以分解为

\begin{aligned} Λ (θ^{\vec{k个}}) & = λ_{j个} 天_{θ_{j个}} (θ_{1}^{{k个}_{1}} \cdot θ_{j个}^{{k个}_{j个}} \cdot θ_{N个}^{{k个}_{N个}}) + \sum_{我 \neq j个} λ_{我} 天_{θ_{我}} (θ_{1}^{{k个}_{1}} \cdot θ_{j个}^{{k个}_{j个}} \cdot θ_{N个}^{{k个}_{N个}}) \\ = λ_{j个} {k个}_{j个} θ_{1}^{{k个}_{1}} \cdot θ_{j个}^{{k个}_{j个} - 1} \cdot θ_{N个}^{{k个}_{N个}} + θ_{j个}^{{k个}_{j个}} R（右） (θ_{1}, \dots, θ_{j个 - 1}, θ_{j个 + 1}, \dots, θ_{N个}), \end{aligned}

哪里

R（右） := \sum_{我 \neq j个} λ_{我} 天_{θ_{我}} (θ_{1}^{{k个}_{1}} \cdot θ_{j个 - 1}^{{k个}_{j个 - 1}} θ_{j个 + 1}^{{k个}_{j个 + 1}} \cdot θ_{N个}^{{k个}_{N个}})

是独立于

θ_{j个}

⁠。很容易看出，如果

{k个}_{j个} \neq 0

⁠，图像不能为同零。这意味着

克尔 (Λ) \subset 跨度 {θ^{\vec{k个}}, {k个}_{j个} = 0}

⁠; 因此，

等级 (Λ) \geq M（M） {(M（M） + 1)}^{N个 - 1}

⁠.

为了获得直觉，可以考虑以下示例 $N个 = 2$ ⁠。可以选择以下订购基础 $Γ_{2}^{M（M）}$

\begin{aligned} B类 & := {1, θ_{2}, θ_{2}^{2}, \dots, θ_{2}^{M（M）}, θ_{1}, θ_{1} θ_{2}, \dots,; θ_{1} θ_{2}^{M（M）}, \\ θ_{1}^{2}, \dots, θ_{1}^{M（M）} θ_{2}^{M（M）}} . \end{aligned}

我们可以推导出 $天_{θ_{1}}$ 和 $天_{θ_{2}}$

天_{θ_{1}} = (\begin{matrix} 0 \\ 我 & 0 \\ 2 我 & ⋱ \\ ⋱ & ⋱ \\ M（M） 我 & 0 \end{matrix}), 天_{θ_{2}} = (\begin{matrix} E类 \\ E类 \\ ⋱ \\ ⋱ \\ E类 \end{matrix}),

哪里 $我 \in {R（右）}^{M（M） + 1 \times M（M） + 1}$ 是单位矩阵 $E类 \in {R（右）}^{M（M） + 1 \times M（M） + 1}$ 定义如下：

E类 := (\begin{matrix} 0 \\ 1 & 0 \\ 2 & ⋱ \\ ⋱ & ⋱ \\ M（M） & 0 \end{matrix}) .

线性组合 $天_{θ_{1}} + λ 天_{θ_{2}}$ 满足

天_{θ_{1}} + λ 天_{θ_{2}} = (\begin{matrix} λ E类 \\ 我 & λ E类 \\ 2 我 & ⋱ \\ ⋱ & ⋱ \\ M（M） 我 & λ E类 \end{matrix})

和等级 $(天_{θ_{1}} + λ 天_{θ_{2}}) \geq M（M） (M（M） + 1)$ 对于 $\forall λ \in R（右）$ ⁠.

现在我们来讨论雅可比矩阵的满秩条件，

J (θ) := {(\frac{\partial {（f）}_{我}}{\partial θ_{j个}})}_{我 = 1, \dots, K, j个 = 1, \dots, N个},

（B1）

哪里 ${（f）}_{我} \in Γ_{N个}^{M（M）}$ 和 $K \geq N个$ ⁠.让 $（f）$ 是列向量 ${[{（f）}_{1} (θ), \dots, {（f）}_{K} (θ)]}^{⊤}$ ⁠，然后 $（f） \in {(Γ_{N个}^{M（M）})}^{K}$ ⁠，这是 $K$ -时间乘积空间 $Γ_{N个}^{M（M）}$ ⁠。我们可以用以下方式重写雅可比矩阵：

J (θ) = (天_{θ_{1}} （f）, \dots, 天_{θ_{N个}} （f）),

哪里 $天_{θ_{我}} （f）$ 由操作定义 $天_{θ_{我}}$ 在每个组件上 $（f）$ ⁠根据上述观察，我们准备证明定理3.8.

定理证明3.8。

根据定义，我们知道

J (θ)

由生成

{天_{θ_{1}} （f）, \dots, 天_{θ_{N个}} （f）} \subset {(Γ_{N个}^{M（M）})}^{K} .

考虑这些向量的非平凡线性组合，表示为

\sum_{我 = 1}^{N个} {c（c）}_{我} 天_{θ_{我}} （f）

⁠，那么我们有

\begin{aligned} \sum_{我 = 1}^{N个} {c（c）}_{我} 天_{θ_{我}} （f） \equiv 0 & ́ (\sum_{我 = 1}^{N个} {c（c）}_{我} 天_{θ_{我}}) （f） \equiv 0 \\ ́ {{（f）}_{我}}_{我 = 1}^{K} \subset 克尔 (\sum_{我 = 1}^{N个} {c（c）}_{我} 天_{θ_{我}}) . \end{aligned}

按引理B.3节，我们知道

克尔 (\sum_{我 = 1}^{N个} {c（c）}_{我} 天_{θ_{我}})

小于或等于

{(M（M） + 1)}^{N个 - 1}

⁠，同时

昏暗的 [跨度 (如果)] > {(M（M） + 1)}^{N个 - 1}

⁠。因此

J (θ)

在中具有完全排名

{(Γ_{N个}^{M（M）})}^{K}

⁠此外，这意味着

第页 (θ) := det（探测） [J^{⊤} (θ) J (θ)]

不是一个零多项式。自

N个 (J)

对应于的根

第页 (θ)

⁠根据代数的标准结果，我们知道

N个 (J)

是的有限集

N个 = 1

和一个无处密集的集合

N个 \geq 2

⁠.

附录C：语言动力学的经验性证明(21)

随着变量的变化[ $q个 = 一 (x个 - {x个}_{0})$ ⁠, $第页 = 一 v（v）$ ]，我们减少(21)进入之内

\begin{aligned} {\begin{cases} \dot{q个} = 第页, \\ \dot{第页} = - {单位}_{0}^{'} (q个) - γ 第页 + \sqrt{2 γ {k个}_{B类} T型} \dot{W公司}, \end{cases} {单位}_{0} (q个) = ϵ ({e（电子）}^{- 2 q个} - 2 {e（电子）}^{- q个} + 0.01 {q个}^{2}) . \end{aligned}

（C1）

验证的遍历性（C1），我们应用参考文献中的定理3.2。15，这需要潜力 ${单位}_{0}$ 满足以下两个条件：

${单位}_{0} (q个) \geq 0$ 为所有人 $q个 \in R（右）$ ⁠.
存在一个 $α > 0$ 和 $β \in (0, 1)$ 这样的话
$\frac{1}{2} {单位}_{0}^{'} (q个) q个 \geq β {单位}_{0} (q个) + γ^{2} \frac{β (2 - β)}{8 (1 - β)} {q个}^{2} - α .$
（C2）

对于第一个条件，我们只是注意到在 ${单位}_{0}$ 不影响动态或平衡分布。更换 ${单位}_{0}$ 在里面（C1）通过

{单位}_{0} (q个) = ϵ ({e（电子）}^{- 2 q个} - 2 {e（电子）}^{- q个} + 0.01 {q个}^{2} + 1),

（C3）

我们有

ϵ ({e（电子）}^{- 2 q个} - 2 {e（电子）}^{- q个} + 0.01 {q个}^{2} + 1) = ϵ [{({e（电子）}^{- q个} - 1)}^{2} + 0.01 {q个}^{2}] \geq 0

对于第二个条件，替换为 ${单位}_{0}$ 在里面（C2）通过（C3），不平等变成 $\forall q个 \in R（右）$

\begin{aligned} - q个 {e（电子）}^{- 2 q个} + q个 {e（电子）}^{- q个} - β {e（电子）}^{- 2 q个} + 2 β {e（电子）}^{- q个} \\ + [0.01 (1 - β) - \frac{γ^{2} β (2 - β)}{8 ϵ (1 - β)}] {q个}^{2} \geq - α + β . \end{aligned}

这足以证明

函数 $（f） (q个) = - q个 {e（电子）}^{- 2 q个} + q个 {e（电子）}^{- q个} - β {e（电子）}^{- 2 q个} + 2 β {e（电子）}^{- q个}$ 具有下限，并且
对于任何给定的 $γ, ϵ > 0$ ⁠, $\exists β \in (0, 1)$ 这样的话
$0.01 (1 - β) - \frac{γ^{2} β (2 - β)}{8 ϵ (1 - β)} > 0$
（C4）

自 $（f） (q个)$ 通过检查其两侧的极限值

\begin{aligned} \underset{q个 \to + \infty}{林} （f） (q个) & = 0, \\ \underset{q个 \to - \infty}{林} （f） (q个) & = \underset{q个 \to - \infty}{林} - (q个 + β) [{({e（电子）}^{- q个} - \frac{1}{2})}^{2} - \frac{1}{4}] \\ + β {e（电子）}^{- q个} = + \infty, \end{aligned}

人们可以看到 $（f） (q个)$ 必须有一个下界。鉴于 $ϵ, γ > 0$ ⁠,（C4）可以通过服用 $β \in (0, 1 - \sqrt{1 - \frac{0.08}{0.08 + γ^{2} / ϵ}})$ ⁠因此，可以得出结论，这两个条件都可以满足，并且Langevin动力学(21)在所有可能的参数值下确实是遍历的。

参考文献

1

总会计师。

滑膜炎

,

随机过程及其应用

(

施普林格

,

2016

).

谷歌学者

2

D。

加梅尔曼

和

H。

洛佩斯

,马尔可夫链蒙特卡罗：贝叶斯推断的随机模拟第二版，查普曼和霍尔/CRC统计科学文本（Taylor&Francis，2006）。

三。

E.公司。

博尔戈诺沃

和

E.公司。

普利施克

,

欧洲药典。物件。

248

,

869

(

2016

).

https://doi.org/10.1016/j.ejor.2015.06.032

谷歌学者

交叉引用

4

A.P.公司。

吕巴特塞夫

和

答：。

拉克索宁

,

物理学。版本E

52

,

3730

(

1995

).

https://doi.org/10.103/PhysRevE.52.3730

谷歌学者

交叉引用

5

J。

哈利姆

,

十、。

锂

、和

H。

张

,

《统计物理学杂志》。

168

,

146

(

2017

).

https://doi.org/10.1007/s10955-017-1788-9

谷歌学者

交叉引用

6

M。

托达

,

R。

库博

、和

N。

哈希苏姆

,

统计物理学II。非平衡统计力学

(

施普林格

,

1983

).

谷歌学者

7

M。

头发

和

A.J.公司。

马伊达

,

非线性

23

,

909

(

2010

).

https://doi.org/10.1088/0951-7715/23/4/008

谷歌学者

交叉引用

8

G.公司。

戈特瓦尔德

,

J。

沃梅尔

、和

J。

武泰

,

物理D非线性现象。

331

,

89

(

2016

).

https://doi.org/10.1016/j.physd.2016.05.010

谷歌学者

交叉引用

9

D。

气

和

A.J.公司。

马伊达

,

J.大气。科学。

73

,

4609

(

2016

).

https://doi.org/10.1175/JAS-D-16-192.1（网址：https://doi.org/10.1175/JAS-D-16-192.1）

谷歌学者

交叉引用

10

答：。

马伊达

和

D。

气

,

非线性科学杂志。

26

,

233

(

2016

).

https://doi.org/10.1007/s00332-015-9274-5

谷歌学者

交叉引用

11

答：。

马伊达

和

D。

气

,

SIAM版本。

60

,

491

(

2018

).

https://doi.org/10.1137/16M1104664

谷歌学者

交叉引用

12

答：。

马伊达

,

复杂系统中的湍流动力系统导论

(

施普林格

,

2016

).

谷歌学者

交叉引用

13

年/月。

马尔佐克

,

H.N.公司。

纳吉姆

、和

洛杉矶。

拉恩

,

J.计算。物理学。

224

,

560

(

2007

).

https://doi.org/10.1016/j.jcp.2006.10.010

谷歌学者

交叉引用

14

Y。

马尔佐克

和

D。

秀

,

Commun公司。计算。物理学。

6

,

826

(

2009

).

https://doi.org/10.4208/cicp

谷歌学者

交叉引用

15

J.C.公司。

马丁利

,

上午。

斯图亚特

、和

D.J.博士。

海姆

,

斯托克。过程。他们的申请。

101

,

185

(

2002

).

https://doi.org/10.1016/S0304-4149(02)00150-3

谷歌学者

交叉引用

16

J.R.公司。

单身一族

,

数学。计算。模型。

47

,

422

(

2008

).

https://doi.org/10.1016/j.mcm.2007.02.022

谷歌学者

交叉引用

17

C.E.公司。

Leith公司

,

J.大气。科学。

32

,

2022

(

1975

).

https://doi.org/10.1175/1520-0469（1975）032？2022:CRAFD？2.0.CO；2

谷歌学者

18

答：。

Gritsun公司

,

G.公司。

布兰斯塔

、和

答：。

马伊达

,

J.大气。科学。

65

,

2824

(

2008

).

https://doi.org/10.1175/2007JAS2496.1

谷歌学者

交叉引用

19

R。

阿布拉莫夫

和

答：。

马伊达

,

非线性科学杂志。

18

,

303

(

2008

).

https://doi.org/10.1007/s00332-007-9011-9

谷歌学者

交叉引用

20

R。

阿布拉莫夫

和

答：。

马伊达

,

J.大气。科学。

66

,

286

(

2009

).

https://doi.org/10.1175/2008JAS2813.1

谷歌学者

交叉引用

21

答：。

马伊达

和

十、。

王

,

Commun公司。数学。科学。

8

,

187

(

2010

).

https://doi.org/10.4310/CMS.2010.v8.n1.a10

谷歌学者

交叉引用

22

R。

阿布拉莫夫

和

答：。

马伊达

,

《物理学杂志》。大洋洲。

42

,

243

(

2011

).

https://doi.org/10.1175/JPO-D-11-052.1

谷歌学者

交叉引用

23

L。

妈妈

,

十、。

锂

、和

C、。

线路接口单元

,

化学杂志。物理学。

145

,

204117

(

2016

).

https://doi.org/10.1063/1.4967936

谷歌学者

交叉引用

公共医学

24

E.公司。

艾萨克森

和

H.B.公司。

凯勒

,

数值方法分析

(

快递公司

,

2012

).

谷歌学者

25

J·M·。

奥尔特加

和

西海岸。

莱茵博尔特

,

多变量非线性方程的迭代解法

(

暹罗

,

1970

)，第30卷。

谷歌学者

26

C.T.公司。

凯利

,

优化的迭代方法

(

暹罗

,

1999

).

谷歌学者

交叉引用

27

第页。

Sheppard公司

,

M。

腊肠

、和

M。

卡马什

,

化学杂志。物理学。

136

,

034115

(

2012

).

https://doi.org/10.1063/1.3677230

谷歌学者

交叉引用

公共医学

28

国际货币基金组织。

索波尔

,

数学。模型。计算。支出。

1

,

407

(

1993

).

谷歌学者

29

答：。

特拉托维奇

和

十、。

锂

，电子打印arXiv公司：1706.04237(2017).

30

答：。

汉纳奇

和

答：。

奥尼尔

,

Q.J.R.Meteorol公司。Soc公司。

127

,

939

(

2001

).

https://doi.org/10.1002/（国际标准期刊号）1477-870X

谷歌学者

交叉引用

31

D.F.公司。

安德森

和

J.C.公司。

马丁利

,

Commun公司。数学。科学。

9

(

1

),

301

–

318

(

2009

).

https://doi.org/10.4310/CMS.2011.v9.n1.a15

谷歌学者

交叉引用

32

M。

罗森布拉特

,

安。数学。斯达。

27

,

832

(

1956

).

https://doi.org/10.1214/aoms/117728190

谷歌学者

交叉引用

33

E.公司。

帕尔逊

,

安。数学。斯达。

33

,

1065

(

1962

).

https://doi.org/10.1214/aoms/117704472

谷歌学者

交叉引用

34

答：。

斯莫拉

,

答：。

格雷顿

,

L。

歌曲

、和

B。

舍尔科夫

，英寸算法学习理论国际会议（Springer，2007），第13-31页。

35

共和国。

夸夫曼

和

美国。

拉丰

,

申请。计算。哈蒙。分析。

21

,

5

(

2006

).

https://doi.org/10.1016/j.acha.2006.04.006

谷歌学者

交叉引用

36

T。

贝里

和

J。

哈莱姆

,

申请。计算。哈蒙。分析。

40

,

68

(

2016

).

https://doi.org/10.1016/j.acha.2015.01.001

谷歌学者

交叉引用

37

T。

贝里

和

J。

哈利姆

,

周一。我们。版次。

145

,

2833

(

2017

).

https://doi.org/10.1175/MWR-D-16-0428.1

谷歌学者

交叉引用

38

美国。

江

和

J。

哈莱姆

，电子打印arXiv:1804.03272.

39

E.公司。

Jaynes公司

,

物理学。版次。

106

,

620

(

1957

).

https://doi.org/10.10103/PhysRev.106.620

谷歌学者

交叉引用

40

西。

郝

和

J。

哈利姆

,

Commun公司。申请。数学。计算。科学。

13

,

189

(

2018

).

https://doi.org/10.2140/camcos网站

谷歌学者

交叉引用

41

西。

郝

和

J。

哈利姆

，“补充材料：用于求解最大熵问题的方程式-方程法的MATLAB软件”，参见https://github.com/whao2008/EBE（2018）。

42

西。

诺伊德

,

化学杂志。物理学。

139

,

090901

(

2013

).

https://doi.org/10.1063/1.4818908

谷歌学者

交叉引用

公共医学

2019

作者

使用线性响应统计的参数估计方法：数值格式

I.简介

二、。基本统计学综述

三、一种有效的参数估计算法

A.基于多项式的代理模型

B.近似解的收敛性

C.算法的收敛性

四、示例I：LANGEVIN模型

A.参数空间的缩减

B.参数估计方法

1.常规方法

2.基本统计的敏感性分析

C.数值结果

1.低阻尼箱

2.高阻尼情况

五、示例二：具有三阱势的梯度系统

A.参数空间的基本统计和约简

B.数值结果

六、总结和进一步讨论

致谢

附录A：定理证明3.1

附录B：定理证明3.8

附录C：语言动力学的经验性证明(21)

参考文献

通过引用文章

提交你的文章

注册接收警报

资源

探索

pubs.aip.org网站

与AIP Publishing联系

使用线性响应统计的参数估计方法：数值格式

I.简介

二、。基本统计学综述

三、 一种有效的参数估计算法

A.基于多项式的代理模型

B.近似解的收敛性

C.算法的收敛性

四、 示例I：LANGEVIN模型

A.参数空间的缩减

B.参数估计方法

1.常规方法

2.基本统计的敏感性分析

C.数值结果

1.低阻尼箱

2.高阻尼情况

五、示例二：具有三阱势的梯度系统

A.参数空间的基本统计和约简

B.数值结果

六、 总结和进一步讨论

致谢

附录A：定理证明3.1

附录B：定理证明3.8

附录C：语言动力学的经验性证明(21)

参考文献

通过引用文章

提交你的文章

注册接收警报

资源

探索

pubs.aip.org网站

与AIP Publishing联系

此功能仅对订阅服务器可用

三、一种有效的参数估计算法

四、示例I：LANGEVIN模型

六、总结和进一步讨论