一种称为“水库计算”的机器学习方法已成功用于从时间序列数据中对混沌动力系统进行短期预测和吸引子重建。我们提出了一个理论框架,描述了油藏计算可以创建一个经验模型的条件,该模型能够进行熟练的短期预测和准确的长期遍历行为。我们通过数值实验来说明这个理论。我们还认为,该理论适用于时间序列预测的某些其他机器学习方法。

一个长期存在的问题是预测和分析运动方程未知的混沌动力系统生成的数据。基于延迟坐标嵌入的技术已成功应用于足够低维的系统。最近,水库计算等机器学习方法在处理更大类型的系统方面显示出了良好的前景。我们发展了一种理论,研究如何利用水库计算或相关机器学习方法进行预测,以充分“学习”混沌系统,从而重建其吸引子的长期动力学。

水库计算1–4是一种机器学习方法,在各种任务中都取得了成功,包括时间序列预测5–8以及从测量变量推断动力系统的未测量变量。9,10在这种方法中,“水库”是一个高维、非自治(驱动)动力系统,独立于任务选择。特定任务提供输入时间序列,水库状态作为时间的函数被视为“原始”输出时间序列,并进行后处理以适应任务。后处理函数通常由线性回归确定,由给定输入时间序列的期望输出时间序列组成的有限时间“训练”数据集。

油藏计算可以完全在软件中进行,通常使用人工神经网络模型或物理油藏;后者的例子包括一桶水,11具有延时的电子电路,12现场可编程门阵列(FPGA),13半导体激光器的光学网络,14以及光电相位延迟系统。15其他机器学习技术,包括深度学习,16,17尝试优化内部系统参数以适应训练数据;这样做需要一个机器学习系统的数学模型。相比之下,油藏计算不需要油藏模型,也不需要改变油藏动力学的能力,因为它只寻求优化后处理函数的参数。将物理库用作“黑匣子”的能力与其他机器学习技术相比具有各种潜在优势,包括大大提高了速度。

在本文中,我们考虑从有限的时间序列数据中预测确定性动力系统未来测量值的任务,该系统的运动方程未知。我们描述了一个总体框架,其中包括Jaeger和Haas提出的油藏计算预测方法。5经过适当的修改,同样的框架也适用于时间序列预测的其他机器学习方法[包括长短期记忆(LSTM)方法18]正如我们在第。四、。我们假设向量单位(t吨)测量值的函数小时有限维系统状态(t吨)

单位(t吨)=小时((t吨)).
(1)

为了简单起见,我们假设没有测量噪声,尽管我们下面的讨论可以针对等式。(1)是近似值。我们不认为小时也不是可逆的小时在实践中是众所周知的。训练数据由有限的时间序列组成{单位(t吨)}测量值。我们预测未来的价值单位(t吨)通过一系列三个步骤,我们称之为倾听、训练和预测。

听力包括使用训练时间序列作为水库的输入,我们将水库建模为离散时间确定性过程

第页(t吨+τ)=(f)[第页(t吨),单位(t吨)].
(2)

在这里,第页(t吨)是水库状态,τ是时间增量,我们假设(f)成为一个可微函数。我们强调,在实践中(f)不需要知道;只有它的输出用于训练和预测。为了方便起见,我们假设水库处于满水位状态第页(t吨)可以测量或计算,尽管我们的论点可以很容易地修改为更一般的情况,即水库输出是其内部状态的函数。我们称之为方程式。(2)“监听水库”

培训包括确定后处理功能ψ̂当应用于水库输出时第页(t吨 + τ),估计下一个输入单位(t吨 + τ). (我们查看ψ̂作为“理想”后处理函数的近似ψ,将在第。II B类因此,培训的目标是ψ̂这样的话ψ̂(第页(t吨+τ))单位(t吨+τ),或同等

ψ̂(第页(t吨))单位(t吨),
(3)

对于t吨足够大以至于监听蓄水池(2)已经超越了瞬态动力学。我们计算ψ̂通过对训练时间序列进行拟合,如线性回归{单位(t吨)}和相应的时间序列{第页(t吨)}由监听水库确定(2).

然后,通过修改水库,使其通过反馈回路自动运行,取代其输入,进行预测[单位(t吨)在等式中。(2)]具有前一时间增量的后处理输出

第页̂(t吨+τ)=(f)[第页̂(t吨),ψ̂(第页̂(t吨))].
(4)

我们称之为方程式。(4)“预测水库”。初始化时(从侦听水库状态)使用第页̂(t吨0)=第页(t吨0),迭代预测储层产生时间序列{ψ̂(第页̂(t吨0+τ)),ψ̂(第页̂(t吨0+2τ)),}对未来测量的预测{单位(t吨0+τ),单位(t吨0+2τ),}.(我们的符号反映了以下事实:t吨>t吨0,预测储层状态第页̂(t吨)估计状态第页(t吨)这是由于开发了监听库(2)与未来的测量。)

我们所描述的储层预测方法已经证明能够对各种动力系统进行成功的短期预测。5,7,8如果系统具有混沌吸引子,那么对于任何不完美的模型,预测误差ψ̂(第页̂(t吨))单位(t吨)不能保持较小t吨t吨0然而,在某些情况下,长期时间序列{ψ̂(第页̂(t吨))}继续表现为吸引子上典型轨迹的测量值,在这个意义上,预测水库(4)近似地再现了产生测量值的动力系统的遍历特性。8我们称这种能力,通常称为吸引子重建,为“气候”的复制

在本文中,我们开发并说明了一种理论,该理论说明了储层预测如何能够“学习”系统的动力学,从而产生准确的短期预测和准确的长期气候。我们利用了广义同步,19–22在我们的上下文中,这意味着水库状态第页(t吨)逐渐成为连续函数ϕ属于(t吨),在侦听水库的限制范围内(2)是无限长的。在第。,我们认为以下四个条件对于短期预测和吸引子/气候复制都是足够的。

  1. 监听水库(2)实现与进程的广义同步{(t吨)},所以第页(t吨)ϕ((t吨))对于连续函数ϕ,在培训时间序列涵盖的时间间隔内。

  2. 同步功能ϕ是一对一的,或者至少携带了有关其输入的足够信息以进行恢复单位(t吨) = 小时((t吨))来自ϕ((t吨)).

  3. 培训可以成功地找到功能ψ̂这样,等式。(3)持有,或考虑到广义同步ψ̂(ϕ((t吨)))小时((t吨)).

  4. 对于预测水库,侦听水库接近的吸引子也是稳定的(4).

条件1-3支持短期预测。条件4确保当其输入被反馈项取代以形成预测水库时,通过侦听水库的广义同步建立的气候得以保持。第。是精确地制定条件4中描述的稳定性条件。

我们注意到监听水库的广义同步6,10与“echo state属性”相关1、23这说明输入的无限历史{单位(t吨τ),单位(t吨2τ),}唯一地确定第页(t吨),取决于轨迹{第页(t吨)}有界。的确,如果{(t吨)}是可逆动力系统的轨迹,则过去的输入是(t吨),因此回声状态属性意味着,如果监听储层(2)在有界域中运行了无限期,则第页(t吨)是的函数(t吨)[虽然这并不意味着此函数是连续的]。我们认为,对于我们描述的储层预测方法,最好(虽然不是严格必要)具有回波状态特性和广义同步。在第。二、A,我们说明了当监听水库均匀收缩时,为什么这两个属性都成立第页我们可以量化水库达到近似值所需的瞬态时间第页(t吨)ϕ((t吨))条件1。

条件2和条件3更难确保先验的第节。II B类,我们认为为什么可以实现这些条件是合理的。单位:秒。II C类II D类,我们描述了条件1-3对短期预测的影响,并更精确地制定了条件4的稳定性准则,该准则确定了预测水库的长期动态是否近似再现了正确的吸引子和气候(4)第节。II E类,我们描述了如何使用水库动力学模型计算反映气候稳定性的Lyapunov指数。

在第。,我们使用Lorenz方程作为输入系统,给出了短期状态和长期气候预测的示例。除了气候很接近的情况外,我们还展示了预测气候不准确的情况,尽管短期预测仍然相当准确。我们计算预测水库的Lyapunov指数(4)并表明从精确气候到不精确气候的转变对应于过零的李亚普诺夫指数。当该Lyapunov指数为正但接近于零时,储层预测在过渡期内保持接近正确气候,我们将该过渡期的平均持续时间与Lyapunow指数的值联系起来。

我们考虑了时间序列简介中描述的储层预测方法的应用{单位(t吨)}那是一个函数小时轨迹的{(t吨)}动力系统的

(t吨+τ)=((t吨)),
(5)

哪里是可微和可逆的,我们假设(t吨)有界吸引子上的演化A类在训练准备和预测前,水库状态第页(t吨)根据收听库演变(2)。Eqs描述的系统。(5)(2),通过等式耦合。(1),通常被称为驱动响应、偏斜乘积或单向耦合系统。耦合系统动力学如图所示。1接下来,我们将耦合系统的演化视为t吨.

图1。

驾驶响应系统动态,以及驾驶状态(t吨)耦合到侦听水库状态第页(t吨)通过测量矢量单位(t吨).

图1。

驾驶响应系统动态,以及驾驶状态(t吨)耦合到侦听水库状态第页(t吨)通过测量矢量单位(t吨).

关闭模态

培训的目标可以视为找到后处理功能ψ̂这样的话ψ̂(第页(t吨))处于大致相同的同步状态20具有单位(t吨)=小时((t吨)),何时第页(t吨)随着收听器的发展而发展(2).所需的关系单位(t吨)ψ̂(第页(t吨))也可以认为是之间的近似广义同步单位(t吨)[或基础状态(t吨)]和第页(t吨). 随机同步暗示了这种关系的存在,19在我们的上下文中,这意味着第页(t吨)和(t吨)在极限内t吨然而,在驾驶响应系统中广义同步21,22只要求响应状态是驱动状态的渐近函数:在我们的情况下,存在连续函数ϕ这样的话第页(t吨)ϕ((t吨))0作为t吨.这样一个ϕ通常比其可逆性更容易建立。接下来,我们描述水库系统的条件(f)这保证了广义同步。

虽然较弱的条件是可能的,但我们假设(f)这是实践中经常出现的情况。均匀收缩,我们的意思是有一些ρ<1,因此所有第页1,第页2、和单位我们有这个|(f)(第页1,单位)(f)(第页2,单位)|<ρ|第页1第页2|然后遵循这两条轨迹{第页1(t吨),单位(t吨)}和{第页2(t吨),单位(t吨)}第页,共页(2)在相同的输入时间序列下,彼此以指数形式接近:|第页1(t吨)第页2(t吨)||第页1(0)第页2(0)|ρt吨/τ因此,对于给定的输入时间序列{单位(t吨)}、水库状态第页(t吨)与初始状态渐近无关;这就是Jaeger的本质1调用了“echo state属性”。此外,因为是可逆的,并且A类是有界的,并且由于赫希、普格和舒布的结果24,25(斯塔克给出了直接证据26)一致收缩意味着广义同步,如上文所定义。(通常,同步功能ϕ无法通过分析确定(f),、和小时.)也可以保证较弱形式的广义同步26从负条件Lyapunov指数所暗示的非均匀收缩。

我们注意到,如果监听水库(2)统一收缩,那么第页(t吨)ϕ((t吨))指数收敛到零。如果水库设计者能够保证特定的收缩率ρ,这决定了收敛速度,因此进行近似所需的瞬态时间量第页(t吨)ϕ((t吨))准确度在实践中是可以知道的。

广义同步意味着(,第页)使得在它的吸引子上A类第页=ϕ()是由方程给出的驱动响应系统的吸引子。(5),(1)、和(2)。下面我们将使用此集是不变量的事实:第页(t吨)=ϕ((t吨))暗示第页(t吨+τ)=ϕ((t吨+τ)).

回忆一下培训寻求的功能ψ̂预测当前测量矢量单位(t吨)从当前监听水库状态第页(t吨)[根据过去的测量结果计算],并且当实现广义同步时,该预测的精度相当于ψ̂(ϕ((t吨)))小时((t吨))第。,我们假设有一个函数ψ定义于ϕ(A类)这样的话ψ(ϕ())=小时()为所有人在里面A类此假设意味着在广义同步的渐近极限下,侦听水库状态第页(t吨)=ϕ((t吨))唯一地确定单位(t吨) = 小时((t吨)). 培训的目标可以描述为找到一个函数ψ̂定义在水库的状态空间上,近似于ψ在片场上ϕ(A类)。我们在表中总结了我们的符号.

表一。

注释摘要。

待预测动力系统
(t吨系统状态
以下为:(t吨)(t吨+τ) 系统演化
A类 吸引器(t吨
测量
单位(t吨测量矢量
小时以下为:(t吨)单位(t吨) 测量功能
水库
第页(t吨监听水库状态
(f)以下为:[第页(t吨),单位(t吨)]第页(t吨+τ) 倾听储层演化
第页̂(t吨) 预测水库状态
单位̂(t吨)=ψ̂(第页̂(t吨)) 预测测量值
(f)以下为:[第页̂(t吨),单位̂(t吨)]第页̂(t吨+τ) 预测储层演化
广义同步
ϕ以下为:第页对于在里面A类 同步功能
ψ以下为:第页单位对于第页在里面ϕ(A类) 理想的后处理功能
ψ̂以下为:第页̂(t吨)单位̂(t吨) 实际后处理功能
待预测动力系统
(t吨系统状态
以下为:(t吨)(t吨+τ) 系统演化
A类 吸引器(t吨
测量
单位(t吨测量矢量
小时以下为:(t吨)单位(t吨) 测量功能
水库
第页(t吨监听水库状态
(f)以下为:[第页(t吨),单位(t吨)]第页(t吨+τ) 倾听储层演化
第页̂(t吨) 预测水库状态
单位̂(t吨)=ψ̂(第页̂(t吨)) 预测测量值
(f)以下为:[第页̂(t吨),单位̂(t吨)]第页̂(t吨+τ) 预测储层演化
广义同步
ϕ以下为:第页对于在里面A类 同步功能
ψ以下为:第页单位对于第页在里面ϕ(A类) 理想的后处理功能
ψ̂以下为:第页̂(t吨)单位̂(t吨) 实际后处理功能

尽管ψ如果没有这样的预测,水库就没有必要做出有用的预测ψ存在,那么训练似乎不太可能成功地达到期望的近似值ψ(ϕ((t吨)))小时((t吨))因此不太可能单位(t吨)可以在监听或预测期间近似为储层状态的函数。存在ψ有担保,如果ϕ是一对一的A类; 然后ψ=小时°ϕ1此外,如果小时是一对一的A类(换句话说,给定时间的测量值确定系统状态),然后ϕ必须一对一打开A类为了ψ存在。因此,我们建议水库设计的目标应该是产生一对一的同步功能ϕ用于各种输入系统。实际上,拥有足够高维的储层就足够了;嵌入结果27,28意味着如果水库状态的尺寸第页大于尺寸的两倍A类,函数来自A类到水库的状态空间通常是一对一的。我们注意到,在实践中第页必须大于尺寸的两倍A类为近似计算提供合适的基础ψ,在如下所述的意义上。

仔细考虑培训成功确定准确近似值的条件ψ̂ψ超出了我们的理论范围。然而,我们认为,如果训练时间序列足够长,那么成功是可能的{(t吨)}井采样其吸引子A类,如果水库状态的尺寸第页(t吨)足够高,如果第页(t吨)具有足够的异质性。例如,如果培训使用线性回归{单位(t吨)}={小时((t吨))}与{第页(t吨)},之后第页(t吨)ϕ((t吨)),向量值函数的坐标ϕ()可以认为是“基本函数”;6训练寻求线性组合ψ̂这些基本函数的近似值小时()上的A类。如果听音库对其输入产生足够大的响应,则合适的训练基础(使用线性或非线性组合)是可行的。

培训后确定后处理功能ψ̂,预测通过初始化进行第页̂(t吨0)=第页(t吨0)并不断发展第页̂(t吨)对于t吨t吨0根据储层预测(4).水库状态第页(t吨0)取决于监听音箱的演变(2)在之前的一段时间内t吨0; 这可以是用于培训的时间间隔,也可以是使用输入的稍后时间间隔{单位(t吨)}培训后测量(我们称此功能为“培训可重用性”29). 我们假设前面的收听时间t吨0足够长以实现广义同步,因此第页̂(t吨0)=第页(t吨0)ϕ((t吨0))就在附近ϕ(A类)。对于t吨t吨0,的预测值单位(t吨)是

单位̂(t吨)=ψ̂(第页̂(t吨)).
(6)

2描述了预测储层的动态(4).

图2。

通过聆听水库输入预测水库动态单位(t吨)替换为估算值单位̂(t吨)根据预测的储层状态确定第页̂(t吨).

图2。

通过聆听水库输入预测水库动态单位(t吨)替换为估算值单位̂(t吨)根据预测的储层状态确定第页̂(t吨).

关闭模态

现在考虑一个理想化的场景,即我们的近似值是精确关系ψ̂=ψϕ(A类)、和第页̂(t吨0)=第页(t吨0)=ϕ((t吨0)).假设测量{单位(t吨)}的t吨t吨0(这些是我们在实践中想要预测的值)是可用的,因此我们可以发展两个监听库(2)如图所示。1和预测储层(4)如图所示。2,并比较它们的输出。然后我们声称这两个水库完全一致:第页̂(t吨)=第页(t吨)单位̂(t吨)=单位(t吨)为所有人t吨 ≥ t吨0。首先要注意单位̂(t吨0)=ψ̂(第页̂(t吨0))=ψ(ϕ((t吨0))=小时((t吨0))=单位(t吨0).然后第页̂(t吨0+τ)=(f)[第页̂(t吨0),单位̂(t吨0)]=(f)[第页(t吨0),单位(t吨0)]=第页(t吨0+τ)、和第页(t吨0+τ)=ϕ((t吨0+τ))由于广义同步。同样,单位̂(t吨0+τ)那么等于单位(t吨0+τ),所以第页̂(t吨0+2τ)=第页(t吨0+2τ)=ϕ((t吨0+2τ))轨迹之间的一致性也表明ϕ(A类)是理想预测油藏的不变集

第页(t吨+τ)=(f)[第页(t吨),ψ(第页(t吨))],
(7)

它的动力学,通过ψ,相当于A类通过观察小时.

因此,如果时间序列{单位(t吨)}的测量值有足够的信息来重建吸引子A类,那么我们可以考虑ϕ(A类)和理想的储层预测(7)作为对A类及其动力学。当近似值ψ̂ψ不精确于ϕ(A类)、实际预测储层(4)仍在附近初始化ϕ(A类),但是ϕ(A类)只是近似不变。近似值越接近,预测越准确单位̂(t吨)单位(t吨)至少在短期内是这样的。然而,如果系统(5)生成测量值的{单位(t吨)}混沌,预测误差单位̂(t吨)单位(t吨)通常会呈指数级增长t吨增加。

尽管如此,仍然有可能单位̂(t吨)将保持类似于单位(t吨)从长远来看。如果(实际上,只有在)预测储层轨迹时才会发生这种情况{第页̂(t吨)}仍然接近ϕ(A类)一直以来,其吸引子的气候与理想预测水库的气候相似ϕ(A类)在这个意义上,气候复制(吸引子重建)依赖于理想重建吸引子附近预测水库的状态空间稳定性和结构稳定性ϕ(A类).

结构稳定性很难严格保证,但实际上吸引子附近动力学的小扰动往往会对气候产生小扰动。因此,我们认为,如果ϕ(A类)根据我们的假设,它对于理想的预测储层来说是不变的,从如下所述的意义上讲,它也很吸引人。

回想一下,广义同步意味着集合ϕ(A类)正在吸引听众(2),由驱动时单位(t吨)=小时((t吨))哪里(t吨)进化A类.是否ϕ(A类)由于预测储层仅在理想情况下保持不变,因此其吸引力更大ψ̂=ψ还有那个ψ仅在上定义ϕ(A类)因此,理想的储层预测(7)也仅在上定义ϕ(A类)为了明确定义其稳定性ψ必须扩展到ϕ(A类),以及是否ϕ(A类)是否吸引人取决于如何选择扩展。

因此,经验确定函数的适用性ψ̂因为气候预测不仅取决于它的近似程度ψϕ(A类)但也要考虑它在附近的行为ϕ(A类).对于特定ψ̂,我们假设ψ这样的话ψ̂ψ近的ϕ(A类)此扩展为理想的储层预测提供了一整套Lyapunov指数ϕ(A类),其中一些对应于与ϕ(A类)其中一些对应于横向的无穷小扰动ϕ(A类).然后ϕ(A类)如果横向Lyapunov指数均为负,则具有吸引力;如果横向Lyapunov指数为正,则不稳定。

如果广义同步函数ϕ是一对一且可微的,那么系统的切向Lyapunov指数(5)A类再现为理想预测水库的切向Lyapunov指数ϕ(A类)。广义同步并不总是产生可微的ϕ,26,30但即使不能保证可微性,在实践中也有可能再现A类在某些情况下,包括负Lyapunov指数,并具有预测储层。8 

我们注意到,与驱动响应系统(如监听水库)的条件Lyapunov指数不同,后者对应于响应系统状态的扰动,而对于预测水库,事先不清楚哪些扰动对应于横向Lyapunow指数。然而,在一个数值实验中,驱动系统的方程(5)当储层已知时,可以通过计算预测储层的所有正Lyapunov指数,并消除那些是A类.

我们现在描述如何估计理想预测水库的Lyapunov指数(7)ϕ(A类),对于ψ去附近ϕ(A类),根据其经验近似值ψ̂。为此,我们假设有一个公式(f),以便计算其雅可比矩阵(f)我们描述的储层预测方法不需要。)如果气候复制成功,我们可以简单地生成预测水库的长轨迹(4)并使用它来计算轨迹的Lyapunov指数。8然而,预计这一轨迹不会继续接近ϕ(A类)如果集合不稳定。然而,如果我们有一个足够长的时间序列{单位(t吨)}在测量中,我们可以估计ϕ(A类),无论其是否稳定,如下所示。

首先,我们使用时间序列{单位(t吨)}生成轨迹{第页(t吨)}监听水库的(2); 正如我们所说,第页(t吨)将接近ϕ(A类)在广义同步条件下。然后沿着这条预测水库的近似轨迹,我们使用预测水库的雅可比矩阵计算Lyapunov指数(4).

在本节中,我们给出了Lorenz系统的短期状态和长期气候预测示例,31具有产生混沌轨迹的标准参数值

d日x个/d日t吨=10(x个),d日/d日t吨=x个(28z(z)),d日z(z)/d日t吨=x个8z(z)/三。
(8)

我们考虑测量函数小时就是身份,所以单位(t吨)=(t吨)=[x个(t吨),(t吨),z(z)(t吨)]T型对于水库,我们使用与Jaeger和Haas使用的人工神经网络相似的人工神经网;5我们的听力库[等式的连续时间版本。(2)]根据

d日d日t吨第页(t吨)=γ[第页(t吨)+坦纳(M(M)第页(t吨)+σW公司在里面单位(t吨))],
(9)

哪里第页是一个N个-维向量,γ是标量,并且M(M)是表示内部网络连接的邻接矩阵。矩阵σ在里面由“输入权重”组成;在我们的数值结果中,我们将修正W公司在里面并改变标量输入强度σ.向量函数坦纳通过将标量双曲正切应用于其输入向量的每个坐标来计算。我们使用带时间步长的四阶Runge-Kutta方法计算Lorenz和水库系统的轨迹τ = 0.001. 我们将展示气候复制(吸引子重建)成功和失败的案例,并将结果与我们为预测水库计算的Lyapunov指数进行比较。

我们考虑表单的后处理功能ψ̂(第页)=外面的q个(第页),其中q个(第页)是2N个-维向量由N个的坐标第页然后是它们的平方和“输出权重”矩阵W公司外面的由下文所述的线性回归程序确定。监听水库(9)后处理功能如图所示为输入输出系统。培训的目标是后处理输出W公司外面的q个(第页(t吨+τ))基于最新输入t吨估计后续输入单位(t吨 + τ). 一次W公司外面的确定后,外部输入可以由后处理输出在反馈回路中替换,以形成预测储层,如图所示。4.预测储层演化依据

d日d日t吨第页̂(t吨)=γ[第页̂(t吨)+坦纳(M(M)第页̂(t吨)+σW公司在里面W公司外面的q个(第页̂(t吨))],
(10)

和预测值单位(t吨)是单位̂(t吨)=ψ̂(第页̂(t吨))=W公司外面的q个(第页̂(t吨)).

图3。

基于人工神经网络的听力库N个神经元。输入向量单位(t吨)映射到储层状态空间N个通过输入权重矩阵σW公司在里面,生成的储层状态映射到通过后处理功能ψ̂=W公司外面的q个.

图3。

基于人工神经网络的听力库N个神经元。输入向量单位(t吨)映射到水库状态空间N个通过输入权重矩阵σW公司在里面,生成的储层状态映射到通过后处理功能ψ̂=W公司外面的q个.

关闭模态
图4。

预测储液罐用后处理的储液罐输出代替监听储液罐的外部输入。时间增量τ在我们的讨论中,表示信息在反馈回路中传播一次的时间量。

图4。

预测储液罐用后处理的储液罐输出代替监听储液罐的外部输入。时间增量τ在我们的讨论中,表示信息在反馈回路中传播一次的时间量。

关闭模态

我们水库实施的详细情况如下。储液罐尺寸为N个=2000年,我们使用γ = 10N个-由-N个邻接矩阵M(M)随机选取,稀疏Erdös-Renyi连通度,谱半径0.9;具体地说,以0.02的概率独立地选择每个元素为非零,在-1和1之间均匀地选择非零元素,并且重新缩放所得矩阵,使其最大特征值的大小为0.9。这个N个-乘3矩阵W公司在里面是随机选择的,因此每行有一个非零元素,统一选择在-1和1之间。我们进化了洛伦兹系统和监听水库(9)从时间t吨=–100至t吨=60,我们丢弃了100个瞬态演化时间单位,因此训练基于单位(t吨)和第页(t吨)对于0≤t吨60.对于训练,我们限制了3乘2N个矩阵W公司外面的只有3个N个非零元素,即第一个N个它的前两行和第一行的元素N个/2和最后N个/第三行的2个元素。(因此,我们适合x个具有线性函数的Lorenz态的坐标第页、和z(z)用第一个的线性组合进行坐标N个/2坐标第页和第二个的平方N个/2个坐标;对于Lorenz系统,这比使用纯线性函数第页.8)根据此约束,我们选择W公司外面的以最小化误差函数

k个=13000||W公司外面的q个(第页(0.02k个))单位(0.02k个)||2+β||W公司外面的||2;
(11)

在这里,我们每0.02个时间单位对训练数据进行粗略采样,以减少回归所需的计算量。误差函数中的第二项修改了普通线性最小二乘回归,以防止过拟合;这种修正通常称为岭回归或Tikhonov正则化。下面,我们将显示正则化参数的结果β = 10−6β = 0(无正规化)。我们通过初始化开始预测第页̂(T型)=第页(T型)并发展预测储层(10),其中T型=60岁是听力和训练期的结束。

在图中。5,我们显示实际z(z)(t吨)洛伦兹系统的轨迹和预测z(z)̂(t吨)来自两个储层,除了它们的输入强度参数值之外,这两个储层是相同的[σ = 图0.012。5(a)σ = 图0.014。5(b)]. 使用相同的Lorenz轨迹和正则化参数对每个水库进行训练β = 10−6两个水库都能很好地预测短期未来,但预测时间值较大t吨T型,只有第二个预测继续与洛伦兹式气候。我们比较了图中较长时间段内的两个气候预测。6,它显示了连续的Poincaré返回映射z(z)(t吨)最大值。在图中。6(a),红点(表示储层预测)最初靠近蓝点(表示Lorenz吸引子),但最终红点接近箭头所示的周期2轨道。左上箭头与蓝点之间的距离很大,表明水库的这一周期二轨道不在洛伦兹吸引子上。相反,图中的红点。6(b)始终保持在蓝点附近,表明水库长期复制气候。

图5:。

预测(红色)和实际(蓝色)z(z)(t吨)对于混沌Lorenz系统轨迹,使用相同的随机生成的具有不同输入强度的水库σ = 0.012[面板(a)]和σ = 0.014[面板(b)]。在大约10个时间单位内,这两个预测都与实际轨迹保持良好的相关性。解相关后,第一个预测接近周期轨道,而第二个预测似乎继续与实际轨道的气候相似。

图5:。

预测(红色)和实际(蓝色)z(z)(t吨)对于混沌洛伦兹系统的轨迹,使用具有不同输入强度的相同随机生成的储层σ = 0.012[面板(a)]和σ = 0.014[面板(b)]。这两个预测与大约10个时间单位的实际轨迹保持良好关联。解相关后,第一个预测接近周期轨道,而第二个预测似乎继续与实际轨道的气候相似。

关闭模态
图6。

连续局部极大值的Poincaré回归图z(z)(t吨)实际(蓝色)和预测(红色)轨迹t吨T型从0到300,使用与图中相同的洛伦兹轨迹和油藏。5,再次使用σ = 0.012[面板(a)]和σ = 0.014[面板(b)]。在这里z(z)最大值n个代表n个第个局部最大值z(z)(t吨). 第一个预测接近一个不在Lorenz吸引子上的周期二轨道(箭头所示),而第二个预测仍然接近Lorenz吸引器。

图6。

连续局部极大值的Poincaré回归图z(z)(t吨)实际(蓝色)和预测(红色)轨迹t吨T型从0到300,使用与图中相同的洛伦兹轨迹和油藏。5,再次与σ = 0.012[面板(a)]和σ = 0.014[面板(b)]。在这里z(z)最大值n个代表n个第个局部最大值z(z)(t吨). 第一个预测接近一个不在Lorenz吸引子上的周期二轨道(箭头所示),而第二个预测仍然接近Lorenz吸引器。

关闭模态

基于第。二、A,我们假设σ = 0.012和σ = 0.014,监听水库(9)向集合进化ϕσ(A类),其中A类是Lorenz吸引子ϕσ是一个广义同步函数。邻接矩阵的谱半径0.9的选择M(M)符合油藏计算的一般惯例,32尽管它不能保证收听器的均匀收缩。23然而,它确实保证了(9),评估时间第页=u个=0,最多有真实部分γ(–1+0.9)=10(–0.1)=–1。这表明监听水库的渐近收缩率为–1或更快,并且在丢弃100个瞬态时间单位后,第页(t吨)非常接近ϕσ(A类)对于t吨0

基于第。II C类,我们假设集合ϕσ(A类)对于预测储层是近似不变的(10)根据图中的结果。56,我们进一步假设σ = 0.014,预测储层附近存在吸引不变集ϕσ(A类),但这两者之间σ = 0.014和σ = 0.012,存在一个分叉,导致这个不变集变得不稳定或被完全破坏。为了证实这一假设,我们计算了预测储层的Lyapunov指数,预测储层在ϕσ(A类),如第。II E类.

7显示了预测储层的三个最大李雅普诺夫指数(10)作为输入强度σ变化范围为0.004至0.02。我们不改变矩阵M(M)W公司在里面,但对于每个值σ,我们进行单独的培训(β = 10−6如前所述),产生不同的输出权重矩阵外面的.红色和蓝色的指数近似于洛伦兹吸引子的正和零Lyapunov指数A类(近似值最接近σ≥ 0.01). 正指数的复制A类在储层动力学中ϕσ(A类)是成功吸引子重建的必然结果,并不表示ϕσ(A类)横向扰动。绿色指数估计了第2节中描述的最大横向Lyapunov指数。II D类。该指数通过零,表示分岔σ≈ 0.013.

图7。

不变集上预测水库(10)的三个最大Lyapunov指数ϕσ(A类)用于监听水库(9),作为输入强度的函数σ,对于图。56两个指数近似为常数σ其近似于洛伦兹吸引子的两个最大Lyapunov指数,分别为红色和蓝色;变量越多的指数,我们称之为横向李雅普诺夫指数,它决定气候稳定性,颜色为绿色。对于的值σ我们检测到洛伦兹气候的散度,用黑点将观测到的散度率绘制成图表λ*,根据文本中的描述进行计算。

图7。

不变集上预测水库(10)的三个最大Lyapunov指数ϕσ(A类)用于监听水库(9),作为输入强度的函数σ,对于图。56两个指数近似为常数σ其近似于洛伦兹吸引子的两个最大Lyapunov指数,分别为红色和蓝色;我们称之为横向李亚普诺夫指数的可变指数为绿色,它决定了气候稳定性。对于的值σ我们检测到洛伦兹气候的散度,用黑点将观测到的散度率绘制成图表λ*,根据文本中的描述进行计算。

关闭模态

接下来,我们将计算的瞬态李亚普诺夫指数表示的稳定性变化与指示气候复制成功或失败的更直接计算进行比较。检测预测的时间单位̂(t吨)=ψ̂(第页̂(t吨))对于Lorenz状态偏离真实Lorenz吸引子的情况,我们让Δ(t吨)是向量场之间的欧氏距离d日单位̂/d日t吨由Lorenz系统的预测储层和向量场(右侧)暗示(8),评估时间[x个,,z(z)]T型=单位̂(t吨).[我们用链式法则计算储层模拟向量场d日单位̂/d日t吨=D类ψ̂(第页̂(t吨))d日第页̂/d日t吨,其中D类ψ̂是雅可比矩阵ψ̂=W公司外面的q个、和d日第页̂/d日t吨由等式给出。(10).]对于每个值σ如图所示。7,我们计算矢量场偏差Δ(t吨)对于预测时间段t吨T型.如果Δ(t吨)在800个时间单位的持续时间内不超过阈值20,我们认为气候是近似再现的。(与洛伦兹向量场的典型大小相比,我们的阈值20很小。)否则,我们说预测已经“逃离”了洛伦兹吸引子。在图中。7,我们在每个值处显示一个黑点σ为此我们检测到逃逸;这些值与计算的横向Lyapunov指数为正的值相同。每个黑点的高度代表观察到的发散率λ*,计算如下。

当我们检测到特定值的逃逸时σ,我们重新初始化预测储层(10)使用第页̂(t吨0)=第页(t吨0)对于1000个不同的值t吨0T型,其中的值第页(t吨0)通过继续运行监听水库来确定(9)对于t吨T型.对于每个t吨0,我们将预测储层发展到第一次t吨1其中Δ(t吨1)≥20,或直至t吨1 − t吨0 = 800,以先到者为准。如果吸引子的散度由Lyapunov指数控制λ,我们应该Δ(t吨1)Δ(t吨0)经验(λ(t吨1t吨0))在某种平均意义上。我们计算观察到的指数散度率λ*=自然对数[Δ(t吨1)/Δ(t吨0)]/t吨1t吨0,其中尖括号表示1000多个值的平均值t吨0。的计算值λ*图中显示为黑点。7.大致同意λ*绿色曲线(尤其是0.01≤σ≤0.013)表明,计算的横向Lyapunov指数反映了洛伦兹吸引子预测的偏差。

为了说明计算出的横向Lyapunov指数与观测到的发散率之间的对应关系,在这种情况下,它们依赖于σ更为复杂,如图所示。8图的模拟。7在没有正规化的情况下(β = 0)用于培训。我们再次看到,检测到的气候复制失败(存在黑点)与横向Lyapunov指数的正值(绿色曲线)之间存在精确的对应关系,并且与观测到的这些数值的发散率非常一致σ在这种情况下,有两个分叉,一个靠近σ = 0.12和一个附近σ = 0.16.

图8。

预测储层的三个最大Lyapunov指数(10)和估计的散度率λ*,作为的函数σ,使用与图中相同的颜色方案。7这里我们使用了与图中不同的随机生成的水库。7,没有正规化(β = 0)进行训练。

图8。

预测储层的三个最大Lyapunov指数(10)和估计的散度率λ*,作为的函数σ,使用与图中相同的颜色方案。7这里我们使用了与图中不同的随机生成的水库。7,没有正规化(β = 0)在培训中。

关闭模态

我们注意到,当我们使用正则化时(β = 10−6)在训练中,我们没有观察到计算的横向李亚普诺夫指数对输入强度的复杂依赖性σ如图所示。8相反,计算出的横向Lyapunov指数通常为负,并且在很大范围内缓慢变化σ气候复制成功的价值观。在图中。9,我们使用横向Lyapunov指数计算,对10个不同随机生成的水库进行平均,以定量说明正则化的优点。当使用正则化时,计算出的横向Lyapunov指数的负平均值和小标准偏差表明整个范围内的稳健气候稳定性0.05≤σ≤ 0.5. (相比之下,图。5–7描述的值σ≤0.02。)在没有正则化的情况下,平均值更大,变化更大,表明稳定性较差,对σ,且标准偏差明显较大,表明从一个随机水库实现到另一个缺乏稳健性。

图9:。

用正则化参数训练的相同10个随机生成水库三个最大Lyapunov指数的均值和标准差β = 10−6[面板(a)]和β = 0[面板(b)]。同样,红色和蓝色曲线近似于洛伦兹吸引子的两个最大指数,绿色曲线是计算出的横向李亚普诺夫指数。

图9:。

用正则化参数训练的相同10个随机生成水库三个最大Lyapunov指数的均值和标准差β = 10−6[面板(a)]和β = 0[面板(b)]。同样,红色和蓝色曲线近似于洛伦兹吸引子的两个最大指数,绿色曲线是计算出的横向李亚普诺夫指数。

关闭模态

我们在第。部分解释了水库计算预测如何从有限的时间序列数据中重建混沌过程的吸引子(复制气候)。我们认为储层动力学(2)可以设计为在训练所依据的听力期间第页(t吨)近似为连续函数ϕ该州的(t吨)混沌过程的。这种特性称为广义同步,与油藏计算的回波状态特性密切相关。我们表明,如果监听水库(2)作为水库状态的函数,均匀收缩;这些属性的其他标准也已确定。23,26,32

理想情况下,同步功能ϕ应该是一对一的,以便从储层动力学中恢复过程动力学。调查可以保证的条件ϕ一对一可以帮助指导储层设计。然而,即使没有保证,我们也注意到嵌入结果表明ϕ如果与混沌过程的维数相比,储层状态空间的维数足够高,则可能是一对一的。

实际上,气候复制的一个必要条件是,培训应成功地大致恢复测量状态单位(t吨)=小时((t吨))从水库状态第页(t吨); 这取决于可用的训练数据量和使用的回归方法等。我们没有讨论训练的理论方面,但我们认为,如果储层具有足够的高维和异质性,能够为回归生成多种基函数,那么成功是可能的。

我们表明,在我们所描述的近似值准确的限度内,预测储层(4)准确预测未来价值单位(t吨). 因此,准确的近似值产生相当准确的短期预测。长期气候复制取决于预测水库动态相对于近似值产生的扰动的稳定性。我们讨论了如何在数值实验中估计预测水库的Lyapunov指数,无论所需的气候是否稳定。我们强调,我们计算Lyapunov指数的目的是为了说明我们的理论,并且我们描述的方法需要测量{单位(t吨)}以维持所需的气候。如果一个人的目标是估计生成过程的Lyapunov指数{单位(t吨)}从有限数量的数据中,人们应该寻找复制气候的预测水库的参数,并简单地计算得出轨迹的Lyapunov指数。8 

在第。,我们给出了气候复制成功和失败的例子,并展示了它们如何与我们计算的Lyapunov指数相对应。我们强调σ我们展示的是用于说明和分析输入强度不足时可能发生的故障(图。5–7)或无正则化(图。8)在训练中。通过正则化,我们能够获得稳健的气候复制(如图所示)。9(a)]广泛的输入优势。

我们注意到,为了简单起见,我们的理论考虑了离散时间油藏动力学。离散时间是建模软件存储库的合适方法,但物理存储库通常更适合用连续时间建模。经过适当的修改,我们的理论适用于连续时间情况。预测时间增量τ培训中使用的信息量应该是遍历图中所示反馈回路所需的时间。4然而,对于物理油藏,可能需要仔细校准采样的训练数据,以实现预测的目标单位(t吨 + τ)基于收听器对输入的响应t吨,部分原因是τ是预测储层的性质,而不是监听储层的性质。

最后,我们认为,除了水库计算之外,我们在第。应用于其他一些用于时间序列预测的机器学习方法。预测方法需要我们的理论应用的基本特征是:(1)该方法保持一种内部状态,或“记忆”,这取决于它在训练期间接收的输入序列;(2) 在接收到相对长的时间间隔的输入时间序列之后,训练它预测前方的短时间增量;(3)它通过反馈循环迭代其增量预测,用于预测未来更远的时间。例如,在使用FORCE方法训练水库的预测中,这些特征都存在33以及最近使用长短期记忆(LSTM)网络进行预测的工作。18对于在没有反馈的情况下训练影响内部状态的参数的方法(与水库计算不同),如果我们使用函数,我们的理论适用(f)在等式中。(2)表示内部状态的更新规则第页训练后选择了参数值。尽管我们对培训如何实现这对功能的描述((f),ψ̂)针对储层计算,我们讨论了如何将这些函数与方程一起使用。(4)(6)因为预测和吸引子重建与使用哪种机器学习方法来确定函数无关。

我们感谢ARO(W911NF-12-1-0101)和DARPA的支持。我们感谢Michelle Girvan、Jaideep Pathak、Sarthak Chandra、Daniel Gauthier和Daniel Canaday的投入。

1
H。
耶格尔
,
第148号GMD技术报告
(德国国家信息技术研究中心,
2001
).
2
西。
马斯
,
T。
纳施拉格
、和
H。
马克拉姆
,
神经计算。
14
,
2531
(
2002
).
三。
4
M。
卢科舍维奇
H。
耶格尔
,
计算。科学。版次。
,
127
(
2009
).
5
H。
耶格尔
H。
哈斯
,
科学类
304
,
78
(
2004
).
6
美国。
帕尔利茨
答:。
霍恩斯坦
,
混沌复杂性快报。
1
,
135
(
2005
).
7
F。
威菲尔
B。
施劳温
,
神经计算
73
,
1958
(
2010
).
8
J。
帕塔克
,
Z.公司。
,
B.R.公司。
亨特
,
M。
吉尔万
、和
E.公司。
奥特
,
混乱
27
,
121102
(
2017
).
9
Z.公司。
,
J。
帕塔克
,
B。
亨特
,
M。
吉尔万
,
R。
小册子
、和
E.公司。
奥特
,
混乱
27
,
041102
(
2017
).
10
钢筋混凝土。
齐默尔曼
美国。
帕尔利茨
,
混乱
28
,
043118
(
2018
).
11
C、。
费尔南多
美国。
索亚卡
,英寸
欧洲人工生命会议
(
施普林格
,
2003
),第页。
588
597
.
12
L。
上诉人
,
米。
索里亚诺
,
G.公司。
范德桑德
,
J。
丹卡特
,
美国。
马萨
,
J。
当布尔
,
B。
施劳温
,
C.R.公司。
米拉索
、和
一、。
费希尔
,
国家公社。
2
,
468
(
2011
).
13
N.D.公司。
海恩斯
,
米。
索里亚诺
,
D.P.公司。
松香
,
一、。
费希尔
、和
D.J.博士。
更高的
,
物理学。版本E
91
,
020801
(
2015
).
14
D。
布伦纳
,
美国。
赖岑施泰因
、和
一、。
费希尔
,英寸
IEEE重新启动计算国际会议(红十字委员会)
(
电气与电子工程师协会
,
2016
),第页。
1
2
.
15
L。
更大的
,
答:。
巴伦·富恩特斯
,
R。
马丁内吉
,
V.S.公司。
乌达尔佐夫
,
Y.K.公司。
诚宝
、和
M。
提花机
,
物理学。修订版X
7
,
011015
(
2017
).
16
年。
乐村
,
年。
本吉奥
、和
G.公司。
辛顿
,
自然
521
,
436
(
2015
).
17
一、。
古德费罗
,
年。
本吉奥
、和
答:。
库尔维尔
,
深度学习
(
麻省理工学院出版社
,
2016
).
18
中华人民共和国。
弗拉恰斯
,
西。
再见
,
Z.Y.公司。
,
T.P.公司。
树汁
、和
第页。
库穆塔科斯
,
程序。R.Soc.A公司
474
,
20170844
(
2018
).
19
五、。
阿弗雷莫维奇
,
N。
维里切夫
、和
M.I.公司。
拉比诺维奇
,
放射物理学。量子电子。
29
,
795
(
1986
).
20
L.M.公司。
佩科拉
T.L.公司。
卡罗尔
,
物理学。修订稿。
64
,
821
(
1990
).
21
N.F.公司。
鲁尔科夫
,
M.M.先生。
苏什奇克
,
洛杉矶。
尖岭
、和
高密度。
阿巴本尔
,
物理学。版本E
51
,
980
(
1995
).
22
L。
科卡列夫
美国。
帕尔利茨
,
物理学。修订稿。
76
,
1816
(
1996
).
23
I.B.投资银行。
伊尔迪斯
,
H。
耶格尔
、和
S.J.公司。
基贝尔
,
神经网络
35
,
1
(
2012
).
24
M。
美国好施集团
C、。
普格
, “
全球分析
,“in
纯数学专题讨论会论文集
(
美国数学学会
,
1970
),体积。
14
,第页。
133
164
.
25
M。
美国好施集团
C、。
普格
,
不变流形
,数学第583号课堂讲稿(
Springer-Verlag公司
,
1977
).
27
H。
惠特尼
,
安。数学。
37
,
645
(
1936
).
28
T。
索尔
,
J.A.公司。
约克
、和
M。
卡斯达格利
,
《统计物理学杂志》。
65
,
579
(
1991
).
29
J。
帕塔克
,
答:。
威克纳
,
R。
富塞尔
,
美国。
钱德拉
,
B.R.公司。
亨特
,
M。
吉尔万
、和
E.公司。
奥特
,
混乱
28
,
041101
(
2018
).
30
B.R.公司。
亨特
,
E.公司。
奥特
、和
J.A.公司。
约克
,
物理学。版本E
55
,
4029
(
1997
).
32
英国。
卡鲁瓦茨
,
F。
威菲尔
,
美国。
迪勒曼
、和
B。
施劳恩
,英寸
2013年国际神经网络联合会议
(
电气与电子工程师协会
,
2014
),第页。
1
6
.
33
D。
苏西洛
L.F.有限责任公司。
雅培
,
神经元
63
,
544
(
2009
).