Using machine learning to replicate chaotic attractors and calculate Lyapunov exponents from data

Pathak, Jaideep; Lu, Zhixin; Hunt, Brian R.; Girvan, Michelle; Ott, Edward

doi:10.1063/1.5010300

我们利用被称为“储层计算”的机器学习领域的最新进展，从混沌过程的Lyapunov指数数据中制定了一种无模型估计方法。该技术使用有限的测量时间序列作为被称为“水库”的高维动力系统的输入。在水库对数据的响应被记录后，线性回归用于学习一组称为“输出权重”的大参数然后，将学习到的输出权重用于形成改进的自主水库，该水库设计为能够产生任意长度其遍历特性接近输入信号的时间序列。当成功时，我们说自治水库再现了吸引子的“气候”。由于水库方程和输出权重已知，我们可以计算确定自治水库的Lyapunov指数所需的导数，然后，我们将其用作原始输入生成系统的Lyapunov指数的估计。我们用两个例子来说明我们的技术的有效性，即洛伦兹系统和Kuramoto-Sivashinsky（KS）方程。在KS方程的情况下，我们注意到系统的高维性质和大量的Lyapunov指数对我们的方法进行了挑战性的测试，我们发现该方法成功通过了测试。

机器学习最近有了显著的进步，已被证明对语音识别等任务有用^1,2以超越最优秀人类的水平玩围棋。^三在本文中，我们使用称为水库计算的神经计算框架建立了混沌动力系统的机器学习模型。⁴我们证明，这样的模型可以用来推导系统混沌行为的最重要的量词，即其Lyapunov指数，只使用系统的有限时间序列测量。我们设想，这种基于人工智能的模型可以用来准确捕捉许多地球物理、生态、生物或经济系统的复杂动力学，这些系统通常很难从第一原理建模。

I.简介

我们考虑了经常发生的情况，在这种情况下，可以获得来自某些动态过程的有限持续时间序列数据，但基于第一原理的数据生成模型要么不可用，要么太不准确，无法使用。因此，如果有兴趣诊断产生数据的底层进程的遍历特性，那么只能基于数据本身进行诊断。我们称这种方法为“无模型”。动态时间序列的无模型分析是非线性动力学中长期研究的课题。^5–7也许，最广泛的方法使用延迟坐标嵌入。^5–13在本文中，我们讨论了一种非常有前途的、完全不同的动态时间序列无模型分析方法。我们的方法基于以下领域的最新重大进展：机器学习特别是，我们将应用一种称为水库计算的机器学习，⁴为了明确起见，我们重点讨论了确定数据生成系统的Lyapunov指数的问题。对于这个应用程序，我们需要机器学习的关键能力是复制生成输入的系统的遍历属性，我们称之为复制“气候”

本文的其余部分组织如下：第节二回顾了储层计算及其在混沌时间序列短期预测中的应用；第。三使用著名的Lorenz 1963模型说明了我们的方法，¹⁴并讨论了水库计算机复制（长期）气候的能力；第。四、使用我们的方法评估Kuramoto-Sivashinsky（KS）方程的Lyapunov指数^15至17具有周期性边界条件。该系统提供了一个广泛时空混沌的例子，^18–21其中吸引子维数和正Lyapunov指数的个数随周期长度线性增加L（左）特别是，第。四、考虑具有许多正Lyapunov指数的情况。本文最后在第二节中进行了进一步讨论。V（V）.

本文的主要结论是，我们的机器学习方法为从数据中获得Lyapunov指数提供了一种非常有吸引力的无模型方法。特别值得注意的是我们在。四、其中，对于中等高维系统，我们获得了所有正Lyapunov指数和许多负指数的极好一致性。与延迟坐标嵌入相比，我们注意到我们的方法似乎更易于实现，并且似乎不存在产生虚假正Lyapunov指数的问题^22,23（这些论文和其中的参考文献讨论了延迟坐标嵌入中产生伪正Lyapunov指数的机制；这种机制在我们的方法中是固有的）。更广泛地说，我们的论文认为机器学习有助于分析混沌系统的数据（例如，以前的工作将无模型机器学习用于预测动力系统状态的未来演化²⁴以及未测量动态变量的推断²⁵).

二、。水库计算机、短期预测和吸引气候

水库计算机⁴源于16岁左右独立提出的想法几年前发表在两篇论文中。^26,27一般方法如图所示。1（a），它显示了一个输入向量 $u个 (t吨)$ 注入“蓄水池”[图中标记为R。1（a）]通过输入-存储耦合器（标记为I/R），带有输出矢量 $v（v）$ 通过输出耦合器（标有R/O）从储液罐耦合。我们将耦合器视为瞬时动作且无记忆（即，其输出仅取决于其电流输入）。重要的是，水库具有内存（即，它具有内部动力学，因此其状态取决于其历史）。我们假设它在离散时间接收输入t吨以及它的输入 ${W公司}_{我 n个} u个 (t吨)$ 与水库状态相结合 $第页 (t吨)$ 生产其输出 $第页 (t吨 + Δ t吨)$ ⁠一般来说，水库是一个适当的复杂动力系统；在这里，我们遵循参考。26和27，并将水库视为一个大型随机网络D类_第页节点和 ${D类}_{第页} \times {D类}_{第页}$ 邻接矩阵 $A类$ ⁠具体而言，我们将考虑具体的实现（类似于参考。24)图的。1（a）由提供

第页 (t吨 + Δ t吨) = 坦纳 [A类 第页 (t吨) + {W公司}_{我 n个} u个 (t吨)],

(1)

v（v） (t吨 + Δ t吨) = {W公司}_{o个 u个 t吨} (第页 (t吨 + Δ t吨), 对),

(2)

哪里 $第页 (t吨)$ 表示标量状态 ${第页}_{我} (t吨)$ 的D类_第页网络水库节点， $第页 = {[{第页}_{1}, {第页}_{2}, \dots, {第页}_{{D类}_{第页}}]}^{T型}$ ⁠; 在等式中。(1), ${W公司}_{我 n个}$ 是一个 ${D类}_{第页} \times D类$ 矩阵，其中D类是的尺寸 $u个$ ⁠; 同样，在公式。(1)，对于向量 $q个 = {({q个}_{1}, {q个}_{2}, \dots)}^{T型}$ 数量 $坦纳 (q个)$ 是向量 ${(坦纳 ({q个}_{1}), 坦纳 ({q个}_{2}), \dots)}^{T型}$ ⁠.在等式中。(2), ${W公司}_{o个 u个 t吨}$ 映射D类_第页维度向量 $第页$ 到输出 $v（v）$ ⁠，对于本文中考虑的情况，它具有相同的维度D类作为 $u个$ ⁠。此外，我们假设 ${W公司}_{o个 u个 t吨}$ 取决于矩阵元素给出的大量可调参数 $对$ ⁠，还有那个 ${W公司}_{o个 u个 t吨} (第页, 对)$ 线性依赖于 $对$ （例如，在过去的工作中，选择 ${W公司}_{o个 u个 t吨} (第页, 对) = 对第页$ 经常使用）。

图1。

查看大型下载幻灯片

（a）在与方程式相对应的训练阶段，水库的配置。(1)和(2)（b）预测阶段的储层配置，对应于方程。(4).我/R（右）和R（右）/O（运行）分别表示到储存器的输入和储存器到输出耦合器。R（右）表示储液罐。

通常，图中的系统目标。1（a）用于输出 $v（v） (t吨)$ 以近似预期输出， ${v（v）}_{d日} (t吨)$ ⁠，适合输入 $u个 (t吨)$ （例如，在模式识别任务中 $u个 (t吨)$ 可能表示一系列模式，并且 ${v（v）}_{d日} (t吨)$ 将代表分类和模式）。为此，在培训期间， $- T型 \leq t吨 \leq 0$ ⁠，输入 $u个 (t吨)$ 被注入储层并导致储层状态演化 $第页 (t吨)$ ⁠，以及 $u个 (t吨)$ ⁠，被记录并存储为“训练数据”。然后，参数 $对$ 选择（“经过训练”），以便将 $v（v） (t吨)$ 及其期望值 ${v（v）}_{d日} (t吨)$ ⁠.正如储层计算中常见的那样，我们使用Tikhonov正则化回归程序²⁸查找输出矩阵对，可最小化以下功能：

\sum_{- T型 \leq t吨 \leq 0} | | {W公司}_{o个 u个 t吨} (第页 (t吨), 对) - {v（v）}_{d日} (t吨) | |^{2} + β | | 对 | |^{2},

(3)

哪里 $| | 对 | |^{2}$ 表示以下元素的平方和对.正则化常数 $β > 0$ 通过惩罚拟合参数的较大值（第。四、，我们使用了一个值 $β > 0$ ⁠，但第。三我们发现使用β = 0已足够）。对于给定的任务，人们希望它足够大D类_第页和T型，图中的系统。1（a）将产生后续收益(t吨 > 0）输出 $v（v） (t吨)$ 接近预期 ${v（v）}_{d日} (t吨)$ ⁠.因为 ${W公司}_{o个 u个 t吨} (第页, 对)$ 被认为是线性的 $对$ ⁠确定参数的问题 $对$ 使等式最小化。(3)是一种线性回归，有成熟的技术。²⁹事实证明，这种方法对于各种任务都非常有效。⁴

我们现在考虑对案例进行预测的任务，其中 $u个 (t吨)$ 取决于某些确定性动力系统的状态。Jaeger和Haas最初在水库计算机框架中考虑了这个问题。²⁴其思想是将期望的输出与输入相同， ${v（v）}_{d日} (t吨 + Δ t吨) = u个 (t吨 + Δ t吨)$ ⁠.当人们希望在开始预测时t吨 = 0，配置从图中切换。1（a）至图中所示。1（b），水库系统根据以下等式自动运行：

第页 (t吨 + Δ t吨) = 坦纳 [A类 第页 (t吨) + {W公司}_{我 n个} {W公司}_{o个 u个 t吨} (第页 (t吨), 对)] .

(4)

自主水库的输出， $v（v） (t吨) = {W公司}_{o个 u个 t吨} (第页 (t吨), 对)$ ⁠，给出预测值 $u个 (t吨)$ 对于t吨 > 0.杰格和哈斯，²⁴以Lorenz系统为例，¹⁴确实验证了该预测方案的有效性，并给出了良好的短期预测。正如预期的那样，小误差的混沌放大导致预测最终失败，从而限制了预测时间。然而，如Secs所示。三和四、在短期预测崩溃之后 $v（v） (t吨)$ 通常为对应于 $u个 (t吨)$ ⁠，尤其可用于计算生成过程的Lyapunov指数 $u个 (t吨)$ ⁠.

三、洛伦兹系统中的气候复制

在本节中，我们将说明我们的技术复制洛伦茨1963系统的“气候”的能力¹⁴

\begin{matrix} \dot{x个} & = 10 (年 - x个), \\ \dot{年} & = x个 (28 - z（z）) - 年, \\ \dot{z（z）} & = x个 年 - 8 z（z） / 三。 \end{matrix}

(5)

我们用输入构建和训练水库计算机 $u个 = {(x个, 年, z（z）)}^{T型} \in ℝ^{三}$ 和输出 $v（v） \in ℝ^{三}$ ⁠，在第。二.水库网络由稀疏随机Erdős-Rényi网络构建，其平均度为d日 = 6.邻接矩阵中的每个非零元素都是从 $[- 一, 一]$ ⁠、和一 > 0被调整，使得 $A类$ （其特征值的最大幅度）具有期望值ρ在培训阶段， $- T型 \leq t吨 \leq 0$ （其中T型 = 100），水库计算机演变如下方程(1)具有 $Δ t吨 = 0.02$ ⁠在这个Lorenz示例中，水库输出 $v（v） (t吨) = {W公司}_{o个 u个 t吨} (第页 (t吨), 对)$ 定义为

v（v） (t吨) = [\begin{matrix} {v（v）}_{1} (t吨) \\ {v（v）}_{2} (t吨) \\ {v（v）}_{三} (t吨) \end{matrix}] = [\begin{matrix} {第页}_{1} 第页 (t吨) \\ {第页}_{2} 第页 (t吨) \\ {第页}_{三} \tilde{第页} (t吨) \end{matrix}],

(6)

哪里 ${第页}_{1}, {第页}_{2}$ ⁠、和 ${第页}_{三}$ 是 $三 \times {D类}_{第页}$ 矩阵对.数量 $\tilde{第页}$ 在等式的第三行。(6)定义方式应确保其元素的前半部分与 $第页$ ⁠即。， ${\tilde{第页}}_{我} = {第页}_{我}$ 一半(⁠ ${D类}_{第页} / 2$ ⁠)水库节点，而 ${\tilde{第页}}_{我} = {第页}_{我}^{2}$ 用于水库节点的剩余一半（此处使用 $\tilde{第页} (t吨)$ ⁠，而不是 $第页 (t吨)$ ⁠，以预测z（z）(t吨)与 $x个 \to - x个, 年 \to - 年$ 参考文献中讨论的洛伦兹方程的对称性。25).

在我们计算之后 $第页 (t吨)$ 在培训期间， $- T型 \leq t吨 \leq 0$ ⁠，我们计算输出权重参数 $对$ 将等式中的函数最小化。(3)所需输出为洛伦兹系统的状态变量， ${v（v）}_{d日} (t吨) = {[x个 (t吨), 年 (t吨), z（z） (t吨)]}^{T型}$ （在实际物理实验中，我们假设 $u个 (t吨) = {v（v）}_{d日} (t吨)$ 已测量 $- T型 \leq t吨 \leq 0$ ⁠). 在我们找到输出权重后，我们用重新配置的水库系统来进化水库[图。1（b）].

按照上述程序，我们现在报告并比较使用储层配置的两个模拟结果（表我)带有 $ρ = 1.2$ （表示为R1）和 $ρ = 1.45$ （表示为R2）。预测 $0 < t吨 \leq 25$ 图中显示了两个经过训练的水库。2（a）（R1带 $ρ = 1.2$ ⁠)和图。2（b）（R2带 $ρ = 1.45$ ⁠). 水库R1和R2生成正确的短期预测，然后偏离实际洛伦兹轨迹，这是预期的，因为任何小误差都会因洛伦兹系统的混沌动力学而呈指数增长。然而，短期预测失败后，这两个水库呈现出不同的动力学模式。在图中。2（a）似乎，之后 $t吨 \approx 7$ ⁠虽然R1预测偏离了实际轨迹，但长期动力学似乎与原始洛伦兹系统的动力学相似。相反，如图。2（b），R2显然不是这样。

图2。

查看大型下载幻灯片

（a） R1水库的状态预测（红色）和Lorenz系统的实际轨迹（蓝色） $0 < t吨 \leq 25$ ⁠储层的光谱半径为1.2。（b） R2水库的状态预测（红色）和Lorenz系统的实际轨迹（蓝色） $0 < t吨 \leq 25$ ⁠储层的光谱半径为1.45。

在图中。三，我们提出了一种比目视检查更准确的测试方法。2（a）和2（b）气候的正确性。为此，我们遵循Lorenz的程序绘制连续极大值的回归图z（z）(t吨). 我们首先获得z（z）(t吨)长期以来， $0 < t吨 < 1000$ ⁠，用于实际时间序列和预测时间序列。然后我们定位实际和预测的所有局部最大值z（z）(t吨)按时间顺序并表示它们 $[{z（z）}_{1}, {z（z）}_{2}, \dots, {z（z）}_{米}]$ ⁠然后，我们绘制这些最大值的连续对 $[{z（z）}_{我}, {z（z）}_{我 + 1}]$ 对于 $我 = 1, \dots, 米 - 1$ 如图中的点所示。三图的两个面板中的蓝点。三来自实际的洛伦兹系统，而红点打印在蓝点来自油藏产量预测(v（v）_三)第页，共页z（z）(t吨). 如图所示。3（a），R1水库产生的红点在整个运行期间继续落在蓝点之上（来自实际的Lorenz系统）(⁠ $0 < t吨 < 1000$ ⁠). 相反，图。3（b）图中显示，蓝色圆点大部分未被覆盖，因为，如图的第三个面板所示。2（b），的最大值z（z）(t吨)的t吨 > 5位于固定点 ${z（z）}_{米一 x个} \approx 30$ ⁠因此，R1水库非常准确地再现了吸引子的长期气候，而R2水库则没有，即使这两种设置显然都能够产生有用的短期预测，情况也是如此。（我们在许多其他模拟中也获得了类似的结果。）因此，可能需要进行一些参数调整，以避免气候的复制失败。幸运的是，我们通常会发现，当气候没有重现时，这是相当明显的[如图。2（b），以及图。5第。四、]. 更定量地说，评估水库系统是否成功模拟气候的一种有希望的通用方法是首先使用训练数据获得系统遍历特性的有限时间估计（例如，频率功率谱、时间相关性、矩等）。一旦完成，就可以测试这些估计值是否与从长期储层动力学中获得的相同数量的测定值一致。章节四、为Kuramoto-Sivashinsky系统提供了这样的评估。

图3。

查看大型下载幻灯片

实际和预测的返回图z（z）-洛伦兹坐标系。这个图是用长度为1000的时间序列绘制的，其中蓝点来自实际的洛伦兹系统，覆盖蓝点的红点来自预测。左侧面板显示了R1水库长期预测的回归图 $ρ = 1.2$ ⁠，而右侧面板来自R2储液罐 $ρ = 1.45$ ⁠.

表I。

Lorenz系统成功复制气候所用的标准储层参数（文中称为R（右）1个储液罐）。这个R（右）2水库使用相同的参数和不同的光谱半径， $ρ = 1.45$ ⁠.

参数	价值	参数	价值
D类_第页	300	d日	6
T型	100	$Δ t吨$	0.02
$T型 / Δ t吨$	5000	β	0
ρ	1.2	σ	0.1

图中水库的自主配置。1（b）表示已知的离散时间，D类_第页-维度动力系统（因为我们知道 ${W公司}_{我 n个}, A类$ ⁠、和输出参数对由培训决定）。我们计算与等式对应的切线映射的演化方程。(4)并发展出一套米相互正交的切向量 $R（右） (t吨) = {δ {第页}_{j个}}_{j个 = 1}^{米}$ 以及等式。(4)。然后计算最大值米图所示配置中水库动力系统的Lyapunov指数。1（b）使用基于的标准算法二维码分解（例如，参见参考。7)矩阵的 $R（右） (t吨)$ ⁠表中最右边的两列二显示三个最大的Lyapunov指数， $Λ_{1} \geq Λ_{2} \geq Λ_{三}$ ⁠，水库系统的自主配置[图。1（b）]R1水库（气候重现成功）和R2水库（气候再现失败）。

表二。

三大Lyapunov指数 $Λ_{1} \geq Λ_{2} \geq Λ_{三}$ 对于Lorenz系统[等式。(5)]，以及图。1（b）对于R1和R2。由于我们采用的水库系统是离散时间系统，而洛伦兹系统是连续系统，为了进行比较， $Λ_{1}, Λ_{2}$ ⁠、和 $Λ_{三}$ 以单位时间为单位；也就是说，它们的水库值（第2列和第3列）等于以每次迭代为基础计算的水库Lyapunov指数除以 $Δ t吨$ ⁠.

	实际Lorenz系统	R1系统	R2系统
$Λ_{1}$	0.91	0.90	0.01
$Λ_{2}$	0.00	0.00	–0.1
$Λ_{三}$	−14.6	–10.5	–9.9

比较Lorenz系统的Lyapunov指数（表的第一列二)对于R1储层，我们可以看到R1储集层的最大Lyapunov指数很好地近似于Lorenz系统的最大Lyapunov指数。此外，与 $Δ t吨$ ⁠，储层动力学近似于流动 $Λ_{2}$ 应该（并且是）近似为零。另一方面，我们看到R1系统的第三个Lyapunov指数小于真Lorenz系统的负Lyapunow指数。相比之下 $Λ_{1}$ 对于Lorenz系统和R1水库的值，Lorenz系的正Lyapunov指数无法由最大Lyapunow指数近似为零的R2系统再现；这与图。2（b）R2的长期水库吸引子似乎是一个周期轨道。

从上面得出的重要结论是，R1系统由于成功地再现了气候，可以用于获得生成其输入的过程的正Lyapunov指数和零Lyapunow指数的近似值。然而，我们注意到，R1系统不能准确地再现洛伦兹吸引子的真正负Lyapunov指数。

不准确的R1储层估计 $Λ_{三}$ ⁠，可以通过注意来理解，尽管图。三看起来是一条曲线，正如洛伦茨所指出的，这条明显的“曲线”必须，¹⁴实际上有一些小的宽度。R1水库成功近似洛伦兹系统的吸引子，如图所示，其返回图的明显良好再现所反映。3（a）然而，为了做到这一点，储层不需要在表观曲线内重现非常薄的横向结构。因为，正如我们接下来讨论的，这种非常薄的结构是 $Λ_{三}$ ⁠，人们可能不会期望水库能够准确地重现这个非常负的Lyapunov指数。具体来说，使用卡普兰-约克公式计算信息维度³⁰对于分形Lorenz吸引子，我们得到了 $[2 + (Λ_{1} / | Λ_{三} |)] = 2.06$ ⁠对应于返回图中结构尺寸的1.06[图。3（a）]. 这个维度非常接近1，与返回映射的近似曲线状特征一致。然而，对洛伦兹吸引子的返回图“曲线”的仔细检查之前已经表明，在其厚度内，存在一个小横向维度的分形集（推测 $Λ_{1} / | Λ_{三} | = 0.06$ ⁠). 另一方面，R1水库吸引子气候回归图的Kaplan-Yorke维数约为1.09。由于主要轨道差异反映在不同的 $Λ_{三}$ 是回归图中非常薄的结构特征的差异，这对气候动力学只有很小的影响，因此，R1水库在很好地近似洛伦兹系统的真实气候的同时，只给出了一个粗略的近似值 $Λ_{三}$ ⁠.

四、从数据中确定高维时空混沌系统的大量LYAPUNOV指数

我们现在考虑由函数的偏微分方程定义的Kuramoto-Sivashinsky（KS）系统的修改版本年(x个,t吨)

年_{t吨} = - 年 年_{x个} - [1 + μ 余弦 (\frac{2 π x个}{λ})] 年_{x个 x个} - 年_{xxxx年}

(7)

在该地区 $0 \leq x个 < L（左）$ 周期性边界条件， $年 (x个, t吨) = 年 (x个 + L（左）, t吨)$ ⁠、和λ选择此选项，以便L（左）是的整数倍λ当μ = 余弦项使方程在空间上不均匀。我们随后将考虑这些案例μ = 0和 $μ \neq 0$ 为了讨论KS方程的对称性对水库计算机学习动力学的影响。

通过数值积分方程式。(7)在等间距的一维网格上问，我们获得了一个离散化的多元数据集问时间序列

\begin{matrix} u个 (t吨) = {[年 (Δ x个, t吨), 年 (2 Δ x个, t吨), \dots, 年 (问 Δ x个, t吨)]}^{T型}, \\ Δ x个 = L（左） / 问 . \end{matrix}

(8)

如第。三，我们考虑这样的情况：我们可以访问时间序列数据，但没有关于生成时间序列的动力学方程的信息。在没有模型的情况下，我们将使用数据训练水库计算机，以模拟真实动力系统的行为，在本例中为方程式。(7).

水库网络如第。二使用表中列出的参数三在培训阶段，图。1（a），我们根据公式。(1)从 $t吨 = - T型$ 到t吨 = 接下来，我们使用Tikhonov正则回归（参见公式。(3)]计算输出参数，对这样的话 ${W公司}_{o个 u个 t吨} (第页, 对) = 对 \tilde{第页} (t吨) ≃ u个 (t吨)$ 对于 $- T型 \leq t吨 < 0$ ⁠.给， $\tilde{第页}$ 是一个D类_第页-维度向量，使得 $我^{第个}$ 的组件 $\tilde{第页}$ 是 ${\tilde{第页}}_{我} = {第页}_{我}$ 对于一半的水库节点和 ${\tilde{第页}}_{我} = {第页}_{我}^{2}$ 剩下的一半。在确定输出参数的情况下，我们让水库自动演化t吨 > 0，如图所示。1（b）根据公式。(4).

表III。

用于成功复制Kuramoto-Sivashinsky系统气候的储层参数如图所示。4.

参数	价值	参数	价值
D类_第页	9000	d日	3
T型	20 000	$Δ t吨$	0.25
$T型 / Δ t吨$	80 000	β	0.0001
ρ	0.4	σ	0.5

水库系统对t吨 > 0由给出， ${W公司}_{o个 u个 t吨} (第页 (t吨), 对)$ ⁠.图4显示了一个此类储层预测的时间演变t吨 > 0（中间面板），以及KS方程的真实状态（顶部面板）和储层预测与真实状态的偏差（底部面板）（即顶部面板和中间面板之间的差异）。4时间（横轴）以李亚普诺夫时间为单位(⁠ $Λ_{1}^{- 1}$ ⁠，其中 $Λ_{1}$ 是KS吸引子的最大Lyapunov指数）。我们看到，该储层对约5倍的利亚普诺夫时间给出了良好的短期预测。目视检查图。4这表明，即使水库动力系统的状态偏离了KS系统的真实状态，水库预测也可能已经了解到KS系统正确的“气候”。

图4。

查看大型下载幻灯片

顶部面板：真实状态，年(x个,t吨)标准KS系统的t吨 = 0.中间面板：储层预测。底部面板：真实状态和储层预测之间的差异。KS方程的参数为L（左） = 60和μ = 0 $Λ_{1}$ 表示最大Lyapunov指数。

图5显示了另一组储层参数的替代方案示例(⁠ $ρ = 3.1$ ⁠,D类_第页 = 5000，其余参数如表所示三). 在这种情况下，水库在短时间内仍能准确预测。然而，水库产生的信号的长期气候不再类似于真正的KS气候。

图5：。

查看大型下载幻灯片

顶部面板：真实状态，年(x个,t吨)标准KS系统的t吨 = 0.中间面板：储层规模预测D类_第页 = 5000和 $ρ = 3.1$ ⁠其余参数如表所示三底部面板：储层预测和真实KS状态之间的差异。我们看到，在这种情况下，水库为我们提供了准确的短期预测（即“天气”），但对于这组选择不当的参数，自动水库动力系统的长期“气候”与真实KS系统的气候并不相似。 $Λ_{1}$ 表示最大Lyapunov指数。

通过计算水库预测的功率谱并将其与训练数据的功率谱进行比较，可以对气候再生产进行更定量的评估。图6图中显示了训练数据的功率谱以及自治水库系统动力学的功率谱。4和5。我们看到对应于图。4成功地再现了训练数据的功率谱，从而表明长期系统轨道重现了训练数据中的气候。另一方面，对应于图。5证实了我们的视觉评估，即该水库系统无法再现训练数据的气候。

图6。

查看大型下载幻灯片

KS训练数据的功率谱（蓝色），储层预测的参数如图所示。4（红色），储层预测参数如图所示。5（绿色）。所有功率谱都是从长度为15的时间序列在单个空间网格点上计算出来的 000 $Δ t吨$ 时间步长。通过将时间序列划分为30个区间，计算每个区间的功率谱，然后对所有区间进行平均，来对功率谱进行平滑。

与第。三，我们使用我们对油藏计算机动力学的完整知识来评估其Lyapunov指数。通过直接从KS方程独立计算Lyapunov指数，公式。(7)，我们得到了真实的李雅普诺夫指数，并将其与水库动力系统的相应李雅普诺夫指数进行了比较。

A.均质KS系统(μ = 0)

图7（a）显示了标准的Lyapunov光谱(μ = 0）KS系统L（左） = 60（红色“×”标记），其中，根据定义，下标k个是这样的 $Λ_{k个} \geq Λ_{k个 + 1}$ ⁠经过训练以模拟该系统的水库的Lyapunov指数显示在相同的轴上（蓝色“+”标记）。我们观察到，水库系统的正Lyapunov指数与KS系统的相应指数非常匹配。然而，这两个系统的负指数乍一看似乎并不一致。我们在下面论证，标准KS系统有三个零Lyapunov指数，我们假设水库无法复制其中的两个。的确，图。7（b）显示如果我们删除最接近零的两个计算指数(⁠ $Λ_{7}$ 和 $Λ_{8}$ ⁠)对于KS系统，水库系统的负Lyapunov指数与KS系统的负李雅普诺夫指数非常匹配。

图7。

查看大型下载幻灯片

（a）齐次的Lyapunov指数的估计(μ = 0）KS方程。在自主预测模式（蓝色“+”标记）和标准（即。， $μ = 0$ ⁠)KS系统（红色“×”标记）。等式的参数。(7)是L（左） = 60和μ = 0.（b）与（a）的曲线相同，但KS系统的两个近零指数除外(⁠ $Λ_{7}$ 和 $Λ_{8}$ ⁠)从光谱中删除。插图：零交叉附近光谱的特写。图和图中的所有Lyapunov指数。8根据长度为10的轨迹计算 000 $Δ t吨$ 时间步长，我们发现它足够长，可以收敛。

我们现在表明，当μ = 0（如图。7)，标准KS方程(7)具有三个与三个连续对称性相关联的零Lyapunov指数，即时间平移不变性、空间平移不变性和所谓的Gallilean不变性。时间和空间平移不变性意味着如果年(x个,t吨)是一个解决方案，那么也是 $年 (x个, t吨 + {t吨}_{0})$ 和 $年 (x个 + {x个}_{0}, t吨)$ ⁠。通过加里勒不变性，我们的意思是，对于每个解决方案年(x个,t吨)KS方程和任意常数v（v）, $年 (x个 - v（v） t吨, t吨) + v（v）$ 也是一种解决方案。这可以通过等式中的直接替换进行验证。(7)具有μ = 0.更换t吨₀,x个₀、和v（v）按差额(⁠ ${t吨}_{0} \to δ {t吨}_{0}, {x个}_{0} \to δ {x个}_{0}, v（v） \to δ v（v）$ ⁠)，我们有， $δ 年 (x个, t吨) = \frac{\partial 年 (x个, t吨)}{\partial t吨} δ {t吨}_{0}, δ 年 (x个, t吨) = \frac{\partial 年 (x个, t吨)}{\partial x个} δ {x个}_{0}$ ⁠、和 $δ 年 (x个, t吨) = [1 - t吨 \frac{\partial 年 (x个, t吨)}{\partial x个}] δ v（v）$ 都代表扰动， $年 (x个, t吨) + δ 年 (x个, t吨)$ ⁠，式。(7)也就是说，对于微分的线性顺序，方程。(7)。也就是说，这三个 $δ 年 (x个, t吨)$ 是变分方程的解， $δ 年_{t吨} + δ 年年_{x个} + 年 δ 年_{x个} + δ 年_{x个 x个} + δ 年_{xxxx年} = 0$ ⁠此外，由于最初的解决方案年(x个,t吨)不会指数衰减到零，也不会指数增长到无穷大，我们得出以下结论：δy用零Lyapunov指数表示Lyapunov-向量。

为了了解为什么储层在μ = 0的情况下，注意有一个相应的守恒量 $c（c） = \int 年 (x个, t吨) d日 x个$ ⁠因此，相空间中的特定KS系统轨迹被限制为具有常量值的超曲面c（c）（比如，c（c） = c（c）₀). 由于水库是用单个轨迹的数据进行训练的，因此它不会学习使轨迹偏离c（c）₀超曲面。我们不确定为什么水库不能同时重现其他两个零指数。

B.非均匀KS系统(⁠ $μ = 0.1$ ⁠)

作为除了时间平移之外没有其他对称性的另一个例子，我们考虑（图。8)非零值为的KS方程μ(⁠ $L（左） = 60, λ = 15, μ = 0.1$ ⁠). 与之前一样，我们使用对称破缺KS方程的时间序列数据来训练水库。训练后，我们以自主预测模式运行水库[图。1（b）]并计算其Lyapunov谱。图8表明在这种情况下，储层准确地再现了真实KS系统的Lyapunov谱。值得注意的是，与案件相比μ = 0，这个良好的一致性是在不需要丢弃两个零Lyapunov指数的情况下获得的。我们在下面描述的实验中继续使用这种改进的KS系统。

图8。

查看大型下载幻灯片

非均匀介质的Lyapunov指数估计(⁠ $μ > 0$ ⁠)KS方程。在自主预测模式下运行的训练水库动力系统的前26个Lyapunov指数（蓝色“+”标记）和修改后的（即。， $μ > 0$ ⁠)KS系统（红色“×”标记）。等式的参数。(7)是L（左） = 60, $μ = 0.1$ ⁠、和λ = 15

对于图中所示的情况。7（b）和8，根据卡普兰-约克猜想计算出的吸引子的信息维，³⁰是关于 ${D类}_{K（K） Y（Y）} \approx 15$ （大致上k个在其中 $\sum_{j个 = 1}^{k个} Λ_{j个}$ 第一个变为负值）。我们从图中看到。7（b）和8水库继续合理估计∧_k个甚至为了 $k个 > {D类}_{K（K） Y（Y）}$ ⁠这让我们有些惊讶，尤其是考虑到对 $Λ_{三}$ 第节。三.

C.测量噪声的影响

我们现在考虑附加测量噪声对我们的Lyapunov指数计算方案的影响。我们通过添加随机向量来模拟测量噪声 $n个 (t吨)$ 到训练数据集 $u个 (t吨)$ 对于的所有值t吨也就是说，在每个时间点 $Δ t吨$ ⁠，我们更换u个在等式中。(1)通过 $u个 + n个$ ⁠，我们替换 ${v（v）}_{d日} = u个$ 用于等式。(3)通过 ${v（v）}_{d日} = u个 + n个$ ⁠.标量元素 ${n个}_{j个} (t吨)$ 向量的 $n个 (t吨)$ ⁠，对于的每个值j个和t吨，是区间内独立、同分布的均匀随机变量 $[- α, α]$ ⁠.常数α选择噪声的RMS值为（f）乘以无噪声信号的RMS值 $u个 (t吨)$ ⁠.图9（a）显示了单个网格点的无噪时间序列，而图。9（b）和9（c）显示同一时间序列，并添加强度噪声（f） = 0.05和（f） = 分别为0.2。如上所述，我们计算了储层的李雅普诺夫指数。图10显示了当噪声水平为（f）随KS方程的真实Lyapunov谱变化，从0.05到0.20。我们看到，正Lyapunov指数的水库结果对以下噪声非常稳健 $（f） \leq 0.2$ ⁠，但随着时间的推移，负指数越来越降低到更多的负值（f）增加。

图9：。

查看大型下载幻灯片

（a）单个标量分量u个(t吨)时间序列的 $u个 (t吨)$ 由KS系统产生（等式。(7))带有L（左） = 60,λ = 15，和 $μ = 0.1$ ⁠.（a）中带有附加噪声的时间序列， $u个 (t吨) + n个 (t吨)$ ⁠，噪声强度（f） = 0.05和（f） = 0.2分别如（b）和（c）所示。

图10。

查看大型下载幻灯片

基于KS系统噪声数据训练的水库的Lyapunov指数(L（左） = 60,λ = 15，和 $μ = 0.1$ ⁠). 添加到训练数据中的噪声强度如图例所示。

D.培训数据长度的影响

我们发现，用于训练水库计算机的数据量会显著影响李亚普诺夫谱的准确性。由于训练数据不足，负Lyapunov指数比正指数对误差更敏感。图11通过根据等式中不同长度的数据训练的水库李亚普诺夫谱图，证明了这一结果。(7)带参数L（左） = 60,λ = 15，和 $μ = 0.1$ ⁠在本例中，我们发现我们需要一个大于20的训练时间序列 000个时间步长，以获得负Lyapunov指数（20 000个时间步长相当于李亚普诺夫时间的400倍(⁠ $Λ_{1}^{- 1}$ ⁠)可以认为是KS系统的自然时间尺度）。

图11：。

查看大型下载幻灯片

使用等式中不同长度的训练数据训练的水库的Lyapunov谱。(7)带参数L（左） = 60,λ = 15，和 $μ = 0.1$ ⁠图例表示训练时间序列的长度，单位为 $Δ t吨$ 步骤（即。， $T型 / Δ t吨$ ⁠). 为了与KS系统的自然时间尺度进行比较，我们注意到 $10 000 Δ t吨$ 时间步长大约等于200李亚普诺夫倍。

五、讨论与结论

我们得出的结论是，经过适当训练的水库计算系统能够近似其训练的真实系统的遍历特性。三)，我们的方法成功地计算了正和零Lyapunov指数，具有良好的精度。真实Lorenz系统的负Lyapunov指数具有很高的量级，我们的方法在准确计算该指数的数值方面并不成功，尽管它确实成功地捕捉到其量级大大大于正指数的数值。值得注意的是，如第。四、对于Kuramoto-Sivashinsky系统，可以使用训练好的库计算高维时空混沌系统的大量正、负Lyapunov指数，并且具有很高的精度。

在图中。11，我们证明了我们可以从40的“训练”时间序列中重现大约15维吸引子的Lyapunov指数 000分(⁠ $T型 / Δ t吨 = 40 000$ ⁠). 相比之下，从最近邻近似系统雅可比的延迟坐标嵌入方法被认为需要一个长度为 $10^{D类}$ 或更长时间^31,32（其中 $D类$ 是吸引子维数）。

从更普遍的角度来看，我们的论文表明，开发用于对混沌系统测量数据进行无模型分析的机器学习技术可能是一个富有成效的进一步研究课题。

致谢

这项工作得到了陆军研究办公室W911NF1210101号拨款的支持。我们希望感谢与丹尼尔·高瑟、亚历山大·哈丁克和罗杰·布罗克特进行的有益对话。

工具书类

1

G.公司。

辛顿

,

L。

邓

,

D。

于

,

通用电气公司。

达尔

,

A.-R.公司。

默罕默德

,

N。

杰特利

,

答：。

高级

,

五、。

范胡克

,

第页。

阮（Nguyen）

,

电话号码。

塞纳（Sainath）

等，

IEEE信号处理。美格。

29

,

82

(

2012

).

https://doi.org/10.109/MSP.2012.2205597

谷歌学者

交叉参考

2

一、。

古德费罗

,

年。

Bengio公司

、和

答：。

库尔维尔

,

深度学习

(

麻省理工学院出版社

,

2016

).

谷歌学者

三。

D。

银色

,

答：。

黄

,

C.J.公司。

麦迪逊

,

答：。

格斯

,

L。

西弗雷

,

G.公司。

Van Den Driesche公司

,

J。

施里特维泽

,

一、。

安东诺卢

,

五、。

Panneershelvam公司

,

M。

兰科特

等，

自然

529

,

484

(

2016

).

https://doi.org/10.1038/nature16961

谷歌学者

交叉参考

公共医学

4

M。

卢克塞维夫希乌斯

和

H。

耶格尔

,

计算。科学。版次。

三

,

127

(

2009

).

https://doi.org/10.1016/j.cosrev.2009.03.005

谷歌学者

交叉参考

5

H。

坎茨

和

T。

施赖伯

,

非线性时间序列分析

，卷。

7

(

剑桥大学出版社

,

2004

).

谷歌学者

6

E.公司。

奥特

,

T。

索尔

、和

J.A.公司。

约克

,

非线性科学中的威利级数

(

约翰威利

,

纽约

,

1994

).

谷歌学者

7

H。

阿巴本尔

,

观测混沌数据的分析

(

施普林格科学与商业媒体

,

2012

).

谷歌学者

8

F、。

塔肯斯

，由

D.A.博士。

兰德

、和

左旋-右旋。

年轻

,

湍流中奇异吸引子的检测

(

施普林格数学课堂讲稿

,

柏林

,

1981

)，卷。

898

，第页。

366

.

https://doi.org/10.1007/BFb0091903.pdf#page=372

谷歌学者

9

T。

索尔

,

J.A.公司。

约克

、和

M。

卡斯达格利

,

《统计物理学杂志》。

65

,

579

(

1991

).

https://doi.org/10.1007/BF01053745

谷歌学者

交叉参考

10

D.S.公司。

扫帚头

和

G.P.公司。

国王

,

物理学。D：非线性现象。

20

,

217

(

1986

).

https://doi.org/10.1016/0167-2789（86）90031-X

谷歌学者

交叉参考

11

答：。

Brandstater品牌

和

H.L.公司。

斯温尼

,

物理学。版次A

35

,

2207

(

1987

).

https://doi.org/10.103/PhysRevA.35.2207

谷歌学者

交叉参考

12

J.-P.公司。

埃克曼

,

S.O.公司。

旗语

,

D。

鲁尔

、和

美国。

奇利贝托

,

物理学。版次A

34

,

4971

(

1986

).

https://doi.org/10.103/PhysRevA.34.4971

谷歌学者

交叉参考

13

五、。

佩特罗夫

,

五、。

加斯帕

,

J。

Masere公司

、和

英国。

肖沃尔特

,

自然

361

,

240

(

1993

).

https://doi.org/10.1038/361240a0

谷歌学者

交叉参考

14

埃及。

洛伦兹

,

J.大气。科学。

20

,

130

(

1963

).

https://doi.org/10.1175/1520-0469（1963）020<0130:DNF>2.0.CO；2

谷歌学者

交叉参考

15

B.I.公司。

科恩

,

J。

克罗姆斯

,

W。

唐

、和

M。

罗森布卢特

,

编号。融合

16

,

971

(

1976

).

https://doi.org/10.1088/0029-5515/16/009

谷歌学者

交叉参考

16

年。

Kuramoto公司

和

T。

缀

,

掠夺。西奥。物理学。

55

,

356

(

1976

).

https://doi.org/10.1143/PTP.55.356

谷歌学者

交叉参考

17

G.公司。

西瓦辛斯基

,

物理学。D：非线性现象。

4

,

227

(

1982

).

https://doi.org/10.1016/0167-2789（82）90063-X

谷歌学者

交叉参考

18

M.C.公司。

十字架

和

邮政编码：。

霍恩伯格

,

修订版Mod。物理学。

65

,

851

(

1993

).

https://doi.org/10.103/RevModPhys.65.851

谷歌学者

交叉参考

19

R。

利维

,

答：。

政治

、和

美国。

鲁福

,

《物理学杂志》。A：数学。消息。

19

,

2033

(

1986

).

https://doi.org/10.1088/0305-4470/19/11/012

谷歌学者

交叉参考

20

D.A.博士。

埃戈尔夫

和

H.S.公司。

绿边

,

自然

369

,

129

(

1994

).

https://doi.org/10.1038/369129a0

谷歌学者

交叉参考

21

答：。

皮科夫斯基

和

答：。

政治

,

非线性

11

,

1049

(

1998

).

https://doi.org/10.1088/0951-7715/11/4/016

谷歌学者

交叉参考

22

H。

坎茨

,

G.公司。

莱东斯

、和

H。

杨

,

《物理学杂志》。A：数学。西奥。

46

,

254009

(

2013

).

https://doi.org/10.1088/1751-8113/46/25/25409

谷歌学者

交叉参考

23

T.D.公司。

索尔

,

J.A.公司。

坦普金

、和

J.A.公司。

约克

,

物理学。修订稿。

81

,

4341

(

1998

).

https://doi.org/10.103/PhysRevLett.81.4341

谷歌学者

交叉参考

24

H。

耶格尔

和

H。

哈斯

,

科学类

304

,

78

(

2004

).

https://doi.org/10.1126/science.1091277

谷歌学者

交叉参考

公共医学

25

Z.公司。

卢

,

J。

帕塔克

,

B。

狩猎

,

M。

吉尔万

,

R。

小册子

、和

E.公司。

奥特

,

混乱

27

,

041102

(

2017

).

https://doi.org/10.1063/1.4979665

谷歌学者

交叉参考

公共医学

26

H。

耶格尔

，德国波恩：德国国家信息技术研究中心GMD技术报告(

2001

)，体积。

148

，第页。

13

.

27

W。

马斯

,

T。

纳施拉格

、和

H。

马克拉姆

,

神经计算。

14

,

2531

(

2002

).

https://doi.org/10.1162/089976602760407955

谷歌学者

交叉参考

公共医学

28

答：N。

吉洪诺夫

,

五、一、。

砷化蛋白

、和

F、。

约翰

,

不适定问题的解决方案

,

第14卷

(

温斯顿

,

华盛顿特区

,

1977

).

谷歌学者

29

十、。

严

和

十、。

苏

,

线性回归分析：理论与计算

(

世界科学

,

2009

).

谷歌学者

交叉参考

30

J·L·。

卡普兰

和

J.A.公司。

约克

，英寸

泛函微分方程与不动点逼近

(

施普林格

,

1979

)，第页。

204

–

227

.

谷歌学者

交叉参考

31

洛杉矶。

史密斯

,

物理学。莱特。A类

133

,

283

(

1988

).

https://doi.org/10.1016/0375-9601(88)90445-8

谷歌学者

交叉参考

32

J.-P.公司。

埃克曼

和

D。

鲁尔

，英寸

湍流、奇异吸引子和混沌

(

世界科学

,

1995

)，第页。

447

–

449

.

谷歌学者

交叉参考

2017

作者

利用机器学习复制混沌吸引子并从数据中计算Lyapunov指数

I.简介

二、。水库计算机、短期预测和吸引气候

三、洛伦兹系统中的气候复制

四、从数据中确定高维时空混沌系统的大量LYAPUNOV指数

A.均质KS系统(μ = 0)

B.非均匀KS系统(⁠ $μ = 0.1$ ⁠)

C.测量噪声的影响

D.培训数据长度的影响

五、讨论与结论

致谢

工具书类

通过引用文章

提交你的文章

注册警报

资源

探索

pubs.aip.org网站

连接AIP发布

利用机器学习复制混沌吸引子并从数据中计算Lyapunov指数

I.简介

二、。水库计算机、短期预测和吸引气候

三、 洛伦兹系统中的气候复制

四、 从数据中确定高维时空混沌系统的大量LYAPUNOV指数

A.均质KS系统(μ = 0)

B.非均匀KS系统(⁠μ=0.1⁠)

C.测量噪声的影响

D.培训数据长度的影响

五、讨论与结论

致谢

工具书类

通过引用文章

提交你的文章

注册警报

资源

探索

pubs.aip.org网站

连接AIP发布

此功能仅对订阅服务器可用

三、洛伦兹系统中的气候复制

四、从数据中确定高维时空混沌系统的大量LYAPUNOV指数

B.非均匀KS系统(⁠ $μ = 0.1$ ⁠)