1.简介
如今,复杂性是一个经常使用的概念,但(至少从数量上来说)定义不明确[1]. 它试图采用各种各样的自然、人工和社会系统的科学和技术方法[1]. 地球系统复杂性的概念属于非确定性过程,但可以用统计元素建模,包括分形现象和确定性混沌[2]. 与其他科学领域一样,过去几十年的地球科学研究受到了从广泛测量活动(包括地面观测和遥感应用)中获得的有关现象和过程的现有数据量迅速增加的影响,以及利用同时可用的强大计算基础设施的详细仿真模型。由此产生的大数据集需要新技术,不仅需要数据采集和存储,更重要的是,还需要对其进行适当的分析,这是复杂的基于过程的解释的必要先决条件[3]. 地球系统不同组成部分(如大气、生物圈、冰冻圈、岩石圈、海洋、,近地电磁环境,等。事实上,许多起源于动力系统或信息论的新概念已经发展起来,部分是受地球科学特定研究问题的推动,并发现了各种不同的应用[4]. 这个不断扩展的非线性时间序列分析工具箱强调了动力学复杂性的极端重要性,它是理解复杂系统地球及其组件行为的关键。 需要注意的是,无法找到“最佳”组织或复杂性度量[5]. 此外,复杂性度量的组合,涉及系统的不同方面,如结构与动力学性质,是处理系统复杂性最有前途的方法。例如,已经使用了几种众所周知的技术来提取系统动力学中初始变化的特征(即(动力跃迁的前兆)隐藏在代表地球系统自然信号的时间序列中。值得注意的例子包括对源自近地电磁环境(与磁暴相关的磁层变化)、岩石圈(与地震相关的震前电磁发射)、大气(气象或水文信号)以及其他地区的时间序列数据的应用。 由于所描述的科学“趋势”,有多种方法论框架,使我们能够根据观测数据或模型数据研究、描述和理解复杂性。在主要的概念方法中,起源于统计力学和信息理论的方法属于现代复杂系统非线性时间序列分析中最突出和最富有成效的工具[6,7]. 虽然统计力学和信息论的基础有所不同,但这两个领域中使用的许多概念在概念上密切相关。最突出的是,熵的概念自然地出现在这两个学科中,并为表征与结构和动态复杂性相关的各种互补方面提供了通用的基础。 在这篇综述中,我们讨论了一些最近的发展,利用统计力学和信息论中的熵概念来研究地球系统的复杂性。具体来说,我们不局限于测量单个变量的复杂性,而是描述一组变量之间的动态相互关系的广泛问题。除了回顾不同方法的算法基础并强调它们在概念上的相似性和差异外第2节,我们概述了近年来在地球科学的一些示范领域中的成功应用第3节对地球科学中统计力学和信息理论方法潜力的讨论和总结总结了这一贡献。 2.方法
2.1. 符号序列的熵测度
2.1.1。符号动力学
符号时间序列分析是非线性动力系统建模和表征的有用工具。它提供了一种以有限精度观察“真实”动力学的严格方法[8,9]. 简而言之,这是一种粗粒度或简化描述的方法。 基本思想很简单。一种方法是将相空间划分为有限数量的类,并用符号(例如,某个字母表中的字母)标记每个类。不是用一系列(通常是实数)数字来表示轨迹(沿着连续流的轨迹迭代离散地图或采样点),而是观察符号的变化。当然,这样做会丢失相当多的详细信息,但通常会保持动力学的一些不变、稳健特性,例如周期性、对称性或轨道的混沌性质[8]. 在符号动力学的框架下,通过适当的划分,时间序列被转换为一系列符号,从而产生相对较少的符号。符号化之后,下一步是通过按时间顺序收集多组符号,从符号序列中构建“符号序列”(符号动力学语言中的“单词”)。
更准确地说,通过选择单个阈值(通常是所考虑数据的平均值或中值),可以对时间序列进行最简单的粗粒度分析[10]),并将符号“1”和“0”分配给信号,这取决于它是高于还是低于阈值(二进制分区)(使用多个阈值获得分类的泛化是微不足道的。此外,除了这种“静态”编码外,还有其他获得“动态”的可能性观察到的时间序列数据的符号化,例如使用顺序模式(囊性纤维变性。第2.1.4节)甚至混合策略[11]). 因此,我们从两个字母生成一个符号时间序列()字母表(0,1),例如。,。我们可以根据长度为的不同连续块来读取此符号序列n个。例如,使用,一个获得此读取过程称为“集总”。 所有可能的单词数量为即00、01、10、11。熵估计所需的概率,,,,,是符号时间序列中不同块(字)00、01、10、11的分数,即0、4/8、4/8和0,对应于具体示例。根据这些概率,我们可以估计,例如,概率熵测度,,Shannon介绍[12]:哪里是与微观构型相关联的概率。此处采用二进制对数是为了便于二进制符号化(将Shannon熵解释为以位为单位的负平均信息量),但可以用另一个基来代替(例如,使用)不失通用性。 就真实世界的时间序列而言,“实验”条件通常相差很大(例如,就系统的能量含量而言),这可能导致在定量比较熵估计值时出现歧义,例如,从临床研究中的不同人员获得的熵估计值。为了纠正此问题重整化熵[5,13]介绍了所研究时间序列获得的Shannon熵与一些参考数据之间的差异。 Rényi熵的谱提供了Shannon熵的推广[14]:具有对罕见和频繁的符号赋予不同的权重。本着这种精神,Rényi熵允许研究与符号或单词出现的非均匀概率分布相关的缩放特性,例如在多重分形过程中。特别是Shannon熵,,是的特例对于。以类似的方式,是哈特利熵(或哈特利信息),是最经典的信息理论不确定性度量之一[15]. 注意,对于均匀概率分布的情况n个-块中,所有Rényi熵都彼此重合,因此,Shannon熵和Hartley熵也是如此。 2.1.2. 块条目
一般来说,人们可以对符号时间序列进行统计分析N个符号,,根据长度为的块的频率分布.对于包含以下内容的字母表λ字母,考虑到单词的长度为n个,有可能构成一个单词的符号的可能组合,这里,.发生的概率,的j-符号的组合() (即,的j-第个n个-单词)的出现次数n个-所考虑符号序列中的单词除以n个-单词。
根据这些概率,可以估计概率熵或其他相关特征。信息论和熵概念的各种工具可以用来识别符号序列中的统计模式,在符号序列上已经投影了被分析的原始系统的动力学。对于异常的检测,模式中的可检测变化表示系统偏离标称行为就足够了[16]. 最近发表的工作报告了检测复杂动力系统异常的新方法,这些方法依赖于符号时间序列分析,例如[17,18]. 符号序列中取决于词频分布的熵特别令人感兴趣,它扩展了Shannon对熵的经典定义,并在动力学系统和信息理论之间提供了联系。如果有多种/几种模式,这些熵取大/小值,即,当模式的组织增加时,它们会减少。通过这种方式,这些熵可以测量信号的复杂性。 推广Shannon关于单态熵的经典定义[12]状态序列的熵[19,20],一个达到的定义n块熵,,对于两个字母()字母表和单词长度n个,由以下公式给出: 是不确定性的度量,给出了预测子序列长度所需的平均信息量n个。因此,可以解释为每个符号的平均不确定度,并应收敛到如果观测到的动力学是确定性的,则为某个平稳值。此外,从实际的角度来看,人们通常感兴趣的是量化增加单词长度时的平均信息增益,用条件(或微分)块熵:对于平稳和遍历过程对于提供了Kolmogorov-Sinai熵或源熵的估计器小时正在研究的动力系统[21,22](本着同样的精神,提供了源熵的另一个估计.).对于一类广泛的系统,指数级快速收敛,特征标度参数与三阶Rényi熵有关,一般来说,利用相应的收敛特性会产生一种广泛适用的概率复杂性度量,即有效度量复杂性[23]: 基于符号动力学概念的复杂性度量的更广泛讨论和分类已在别处给出[24]. 2.1.3. 非扩展Tsallis熵
已经确定,以长程相互作用、长时记忆或具有多重分形性质为特征的物理系统最好由Tsallis提出的广义统计力学形式主义来描述[1,25,26]. 更准确地说,受多重分形概念的启发,Tsallis引入了一个以指数为特征的熵表达式,q个这导致了非紧张性统计[25,26]:哪里是与微观结构相关的概率(即符号的经验频率分布),W公司是他们的总数,q个是一个实数,并且k个是一个常量,即统计热力学中的玻尔兹曼常数。值得注意的是,Tsallis的熵定义和Rényi熵的概念之间有着惊人的概念相似性。 熵指数,q个,描述了Tsallis熵与标准玻尔兹曼吉布斯熵的偏差。确实,使用在限制内,我们恢复了通常的Boltzmann-Gibbs熵:作为信息理论香农熵的热力学模拟。 对于,熵指数,q个,表征了以下伪可加性规则中反映的非张力程度:哪里一个和B类是两个子系统。如果这些子系统具有特殊的概率相关性,则扩展性不适用于(),但可能发生于,使用索引的特定值,此类系统称为无张力的[1,25]. 案例和分别对应于次可加性或超可加性。正如在Rényi熵的例子中,我们可能会想到q个作为偏置参数:特权罕见事件,同时突出突出事件[27]. 我们注意到,参数,q个,本身并不是衡量系统复杂性的标准,而是衡量系统的非张力程度。反过来,Tsallis熵的时间变化,,对于一些q个量化系统复杂性的动态变化。具体来说,更低值表示复杂度较低的信号部分。
就符号动力学而言,两字母的Tsallis熵()字母表和单词长度n个读取[18,28,29]:广泛的符号序列频率分布产生高熵值,表明组织程度低。相反,当某些序列出现高频时生产,表明组织程度高。 2.1.4. 基于订单模式的方法
在上面介绍的符号动力学框架中,通过粗化各个观测值的范围,实现了从连续时间序列到离散值时间序列的转换(估计离散分布或相关特征的香农熵所必需的)。此过程的优点是算法简单。但是,除非块长度使用时,生成的熵直接遵循特定离散化,因此,仅反映统计特性,而非动力学特性。反过来,在考虑符号块时,动力学也会发挥作用。
以显式动态方式引入符号化的另一种方法是利用顺序时间序列分析中的顺序模式和相关概念[30]. 在最简单的情况下(即,一种二阶模式),一种是根据两个后续值之间差异的符号考虑连续随机变量的基本时间序列的二进制离散化,例如,使用符号“0”if和“1”,如果(无视“不太可能”的情况). 值得注意的是,这种符号化对应于应用于增量时间序列的经典符号动力学方法(即,一个应用于原始数据的一阶差分滤波器),增量值为零,用于区分产生的两类二进制编码。基于这种离散化,我们可以再次定义上述所有熵。 除了使用基于二阶模式的二进制编码外,上述框架还可以扩展到更高阶的模式。在这种情况下,观测序列被转换为有序序列(例如将与序列相对应). 显然,对于订单模式q个,有可能的排列因此,至多不同的模式(根据观察到的动力学类型,可能存在禁止的模式。我们在此不再进一步讨论这一事实的含义。)。使用可能的有序模式的频率分布来计算Shannont型熵导致了置换熵[31,32,33]. 除了直接应用于基于时间序列数据的动力学无序的代理之外,Rosso等。[34,35]建议利用置换熵结合一些相关的复杂性度量来定义所谓的复熵因果平面这里,熵是由其最大值归一化的(香农型)置换熵,:哪里表示不同的可能排列作为与置换熵相关联的一种可能的复杂性度量Jensen-Shannon复杂性,,定义为[36]:Jensen-Shannon分歧:在观察到的分布之间,,以及均匀分布,其中是一个归一化常数,因此。 2.2. 连续数据的熵测度
2.2.1. 近似熵
近似熵()由Pincus介绍[37]作为用于表征相对较短且潜在有噪声的数据中的规律性的度量。明确地,量化(长度)时间序列中的不规则或随机程度N个)并且已经被广泛应用于(非平稳)生物系统,用于动态监测系统的“健康”状态(参见[38,39]以及其中的参考)。这一概念理念植根于格拉斯伯格和普罗卡西亚的工作[40]并利用连续观测序列之间的距离。更具体地说,检查时间序列以检测是否存在类似的时代;更相似和更频繁的纪元导致更低的。 从定性的角度来看N个点,近似等于两个相似序列的条件概率的负对数米点保持相似,即在公差范围内,第页,在下一点。更小值表示一组数据后面跟着类似数据的可能性更大(规律性)。因此,较小的值表示规律性更强。相反,较大的值为表明类似数据重复出现的可能性较低(不规则)。因此,较大的值表示更多的无序性、随机性和系统复杂性。因此,低/高值为反映出高度/低度的规律性。尤其是,检测未反映在峰值出现或振幅中的潜在情节行为变化[41]. 在下面,我们简要描述了。有关更全面的讨论,请参阅[37,38,39]. 对于时间序列,具有,、和吨作为采样周期,我们可以定义向量,每个向量包含米该时间序列的连续样本为:主要思想是考虑一个长度窗口米遍历时间序列并形成相应的向量,形成的向量之间的相似性被用作时间序列组织程度的度量。这种相似性的定量度量,,由向量的平均数给出,,在一段距离内,第页,来自.给,被认为在一段距离内第页从如果,其中是对应标量分量的最大绝对差值和(即,两个向量的距离小于第页根据它们的上确界范数)。通过计算对于每个然后取相应自然对数的平均值:这个定义为:对于有限的时间序列,可以通过统计来估计:通过调整第页,可以对“大多数”向量达到合理的相似程度,,因此,即使是相对较短的时间序列,也是一个可靠的统计数据。 总之,与没有波动模式的时间序列相比,时间序列中重复波动模式的存在使其更容易预测。包含许多重复模式的时间序列具有相对较小的; 不太可预测(即,更复杂)过程具有更高的。
2.2.2. 样本熵
样本熵()由Richman和Moorman提出[42]作为一种替代方案,可以改善[43]. 具体来说,当使用方程式定义的向量计算时间序列内的相似性时(13),不排除自匹配,因为采用的相似性度量,,与距离内向量的数量成正比,第页,来自,不排除从这个数字来看。被认为是显示相对一致性和对数据长度的依赖性较小(参见,例如[44]以及其中的参考)。 首先,我们只考虑第一个长度为的向量米方程式的(13),确保,和定义。然后,我们定义作为乘以矢量数,,在一段距离内,第页,来自,其中,但也,以这种方式排除自匹配,并设置:相应地,我们定义作为乘以矢量的数量,,在一段距离内,第页,来自,其中具有、和:这个则定义为:对于有限的时间序列,可以通过以下统计量来估计: 2.2.3. 模糊熵
模糊熵() [43,44]就像它的祖先一样,和[44]是一个“规则统计”,用于量化时间序列中波动的(un)可预测性。用于计算基于模糊隶属函数和向量的形状,定义了向量之间的相似性。模糊隶属函数的渐变和连续边界带来了一系列优点,如连续性,以及在较小的值下,精确度更高,相对一致性更强,对数据长度的依赖性更小。可以被视为(和)用于评估复杂性,特别是对于受噪声污染的短时间序列。 喜欢,不包括自我匹配。然而,它遵循的是一个稍有不同的定义,即首先雇用的人长度为的向量米,通过删除基线,: 即,用于计算,我们使用第一个向量的:然后,相似度,,在每对向量之间,和距离不远,第页由模糊隶属函数定义:哪里是,如和,之间的上确模差和。对于每个矢量,,我们计算所有其他向量的平均相似度,,(即,不包括自身):然后,我们评估:和:这个则定义为:对于有限时间序列,可以通过统计来估计:我们注意到,通过使用不同长度的向量,,和基于与条件块熵类似的原理(即,随着序列长度的增加,信息内容发生变化)。 2.3. 统计相关性和因果关系的度量
上述概念利用信息论或热力学熵的一般思想来获得关于单个时间序列的统计复杂性的信息。这一想法的自然延伸是利用可比较的方法来研究两个时间序列之间,甚至之间相互作用的复杂特征记录。在下文中,我们简要回顾了迄今为止在地球科学背景下使用的相应基本概念。
2.3.1. 相互信息
虽然Shannon熵是对一个过程的结果的不确定性的度量,相互信息(MI)是在已知另一个过程的情况下对其减少的度量(对于两个变量之间的相互依赖强度,还有其他几个概念上相关的对称度量,例如,最大信息系数[45]. 为简单起见,我们在此不再进一步讨论这些替代措施。)。Shannonton型MI可表示为: 即,作为不确定性之间的差异Y(Y)以及剩余的不确定性,如果X(X)已知(和反之亦然). MI在其参数中是对称的,非负且为零,当且仅当X(X)和Y(Y)都是独立的。两个时间序列的滞后交叉MI如下所示:对于,一个测量过去的信息X(X)包含在中的Y(Y)、和反之亦然对于类似地,auto-MI定义为对于(用于,这给出了经典的香农熵,). 正如时间序列的熵可以基于符号或模式进行估计一样,MI可以通过简单地将相应的边际熵和联合熵插入方程(30)来进行估计。与基于模式的估计器相比,对于binning估计器(即,使用基于双变量符号化的频率分布的估计器每个时间序列的符号,但通常考虑单个符号,即,),选择箱子的自适应策略更可取,这样边缘分布是均匀的[46,47,48]. 对于连续时间序列,一类有用的估计量基于最近邻统计(参见第2.4.1节例如,利用[49]、克拉斯科夫等。引入MI的最近邻估计[47]. 在二元高斯分布的极限情况下,MI简单地由以下公式给出:哪里是线性皮尔逊相关系数。 互信息概念有几个简单的概括。一方面,可以通过替换Shannon熵得到的广义互信息函数谱来表征两个变量之间的非线性二元相互关系,通过Rényi熵,,任意顺序q个[50](注意,此替换不保留经典MI函数的非负性[50].). 另一方面,相互信息背后的思想可以直接扩展到变量,导致所谓的(广义)冗余[51,52,53]以下为: 2.3.2. 条件互信息与传递熵
MI的一个重要概括是条件互信息(CMI):它测量了X(X)和Y(Y)那就是不包含在第三个变量中,Z轴,也可以是多元的。CMI共享MI的属性,当且仅当X(X)和Y(Y)相互独立在Z上有条件地此外,可以使用熵特征的任何现有估计值(包括装箱、顺序模式或k个-最近邻)用于定义CMI及其通用版本。类似于方程式(32),多元高斯过程的CMI可以表示为偏相关,其中相关性,,替换为。 特别令人感兴趣的是,利用信息理论方法,根据时间序列数据量化变量之间的因果关系。第一步是评估两个时间序列之间信息传递的方向性。虽然滞后MI可用于量化信息Y(Y)已经存在于的过去X(X),此信息可能存在于这两个过程的共同历史中,因此,它不是在X(X)到Y(Y)。为了克服这一限制,传递熵(技术工程师)[54]测量过去的信息X(X)现在共享的Y(Y)和不已经包含在过去的Y(Y):使用上面的脚本““表示(无限)过去向量,例如。,应注意,此处使用的因果关系概念是预测意义上的格兰杰因果关系,它是在中针对线性过程引入的[55]后来推广到非线性框架[56,57]. TE和Granger因果关系实际上可以证明与高斯变量等价[58]. 2.3.3. 图形模型
TE的定义导致了必须估计无限维密度的问题,这通常被称为“维数灾难”。在TE的通常朴素估计中,无限向量被简单地截断为,必须选择至少与假定的最大耦合延迟一样大X(X)和Y(Y)。由于延迟未知,这可能导致非常大的估计维数先验的。如所示[59,60],高估计维数严重影响了方向性推断的可靠性。在[59],通过使用图形模型。 虽然前面讨论的TE是方向性的双变量测量,但更全面的因果关系评估需要包含多个变量,以便能够排除常见驱动因素和间接因果关系。在图形模型方法[61,62,63]多元过程的条件独立性在图中可视化;在我们的例子中,是一个时间序列图。如所示图1a、 该图中的每个节点表示多元离散时间过程的子过程,,在某个时间,吨.节点和通过定向链接连接““,当且仅当和: 即,如果它们不在整个过程的过去上有条件地独立,这意味着与.如果,我们说链接““表示滞后耦合 τ,而对于,它表示滞后时的自相关性 τ.节点和由一个无定向的同期链接连接”“(通过线条显示,囊性纤维变性.英寸图1a)[63],当且仅当:在那里也有当代的礼物包含在条件中。请注意,平稳性意味着““任何时候”“对于任何。在结果图中,节点的父节点和相邻节点定义为:在[59]介绍了一种通过迭代推断父项来估计时间序列图的算法。补充材料[59]还提供了合适的洗牌测试,并对算法的检测率和假阳性率进行了数值研究。
图1。(在线着色)多元过程中的因果关系. (一)时间序列图(见文本中的定义)。一套父母,(蓝色方框,灰色节点),分隔从整个过程的过去,,用于算法中估计图形。(b条)过程图,它聚合时间序列图中的信息,以实现更好的可视化(边缘标签表示相关的滞后)。
图1。(在线着色)多元过程中的因果关系. (一)时间序列图(见文本中的定义)。这套父母,(蓝色方框,灰色节点),分隔从整个过程的过去,,用于算法中估计图形。(b条)过程图,它聚合时间序列图中的信息,以实现更好的可视化(边缘标签表示相关的滞后)。
时间序列图编码了特定因果关系的存在,但并不意味着以有意义的方式评估因果关系的强度。本主题在中进行了讨论[64],其中概念瞬时信息传输(麻省理工学院)[65]用于仅将可解释的耦合强度归因于时间序列图的推断链接。MIT介于X(X)在某个滞后时间,过去和Y(Y)时间吨是CMI,它测量的是Y(Y)与源熵共享X(X):属性瞬时的因为麻省理工学院测量“时刻”的信息在里面X(X)被转移到类似于方程式中同期链接的定义(38),我们也可以定义一个同期的MIT:麻省理工学院很容易理解,因为它排除了过去的信息,而不仅仅是来自Y(Y),但也来自X(X),即,通过串行相关性传输的信息。经常X(X)和Y(Y)被多个链接纠缠,只有排除这两个过去才真正产生一个仅取决于相互耦合强度的耦合度量。这在以下方面得到了分析和数值证明[64]. 2.4. 使用相空间方法的链接
2.4.1. 将熵重新解释为相空间特征
在最常见的公式中,上述许多特征明确地基于所研究系统的离散化(通过粗粒度和后续符号化或使用顺序模式或相关方法),引起了熵和相关复杂性测度的信息论解释。因此,这些度量通常被认为是非线性时间序列分析方法的一个主要领域,这与利用动力系统相空间概念的另一类成熟的理论框架相对。在后一种情况下,通常会考虑变量集(或一个变量的时滞复制),这些变量被假定跨越一个度量空间,在该度量空间中,系统的行为可以通过从观测轨迹中采样的“状态向量”集之间的距离来完全描述。
重新考虑上述更详细的熵度量,我们认识到也有多个量词明确使用距离(即(近似、样本和模糊熵),这意味着如果将后续观测确定为某个抽象空间的单个“坐标”,则后一种方法也可以被视为基于相位空间的方法(即,一个“朴素”的可变维嵌入空间)。事实上,如上所述,所述的熵特征类是基于大约30年前Grassberger和Procaccia提出的思想,这是利用相空间概念进行非线性时间序列分析的先驱作品之一。
本着类似的精神,基于此框架的最新互信息和因果关系概念估计器利用相空间概念,将基于直方图的传统符号或顺序模式替换为采样状态向量之间的最近邻关系。明确地,k个-熵的最近邻估计[49],密歇根州[47]和CMI[66]已经发现实际有用,并且具有其他估值器所不具备的理想数值特性。在这里,我们只是简单地说明k个-CMI的最近邻估计。 第一步,邻居的数量,k个,在被选为自由参数。对于与当时的观测结果相对应的每个样本吨上确界范数距离,,到k个-第个最近的邻居定义了一个长度为的立方体围绕相应的状态向量。接下来,距离小于的相应子空间中的点数被计算,屈服,和然后,CMI估计为:哪里ψ是Digamma函数。更小k个结果得到更小的立方体,并且由于(如估计器推导中所假设的)这些立方体中的密度近似恒定,所以估计器的偏差很低。相反,对于大型k个,偏差越大,但方差越小。然而,请注意,对于独立过程,偏差大约为零,即,; 大的k个因此,更适合独立性测试,因为算法需要推断时间序列图。 2.4.2。相空间方法中的其他熵度量
除上述例子外,熵量在各种基于相空间的非线性时间序列分析方法中也经常出现。一个突出的例子是估计混沌吸引子关联维数的Grassberger-Proccia算法[67,68]. 在计算中,和,让我们考虑一下米-维度延迟向量,,其中嵌入维度,米,以及进行了优化,以获得尽可能独立的坐标,并适当地表示记录系统的“真实”维度。计算产生的延迟向量的成对距离,我们可以通过将距离与一些预定义的全局阈值进行比较来区分相互“接近”和“遥远”的向量,第页,在递归矩阵[69]:哪里是Heaviside“函数”。相互接近的向量对的分数:(带有)被称为相关和或复发率观察到的轨迹。具有吸引子维数的耗散混沌系统,后者遵循特征缩放行为,如下所示:具有表示时间序列数据的采样间隔,以及吸引子的关联维数。通过改变第页和米因此,可以估计二阶Rényi熵,,以及相关和的相关维数。 或者,可以利用递归矩阵的其他特性来估计不同的熵量。其中,长度分布,,中非零项形成的“对角线”提供了一个通用的评估工具从时间序列数据[70]. 类似的方法可用于估计二阶广义MI。香农熵,离散分布的,,在所谓的递归量化分析框架中用作启发式复杂性度量[69]. 然而,已经表明,该定义不允许以期望的方式正确区分混沌动力学的不同“程度”。反过来,与长度分布相关的香农熵,,对角线的完全由零项构成,提供了一种衡量动力学无序的方法,该方法根据系统的最大李亚普诺夫指数来衡量混沌动力学的复杂性[71]. 更重要的是,后一个量与基于符号动力学的经典Shannon熵估计显示出了极好的一致性,但由于后一种情况下出现的粗粒度,它并不具有某些缺点。 值得注意的是,最近首次成功尝试将相空间中的“重现”概念转换为符号数据[11,72,73]. 一种特殊情况是订单模式递归图[74,75]已成功应用于神经生理时间序列分析。 2.4.3. 相位空间方法的因果关系
为了完整性,我们简要地提到,与具有熵特征的动态复杂性表征类似,检测因果关系的互补双变量和多变量问题也可以通过信息理论和相空间方法来补充解决。基于距离的特征允许人们可靠地检测不同变量之间的定向耦合,这一点已经被不同的作者开发和应用,例如[76,77,78,79,80,81,82]. 一类特殊的方法是基于递归矩阵,利用条件递归概率[83,84]或耦合网络统计中的不对称[85]. 由于这些方法不在本次审查的重点范围内,我们参考上述参考文献以了解更多详细信息。 3.应用
3.1. 空间天气和磁层
在过去的二十年中,越来越明显的是,磁层不能被视为一个自治系统,而应该从驱动非线性动力系统的角度来研究[86]. 早在1990年,Tsurutani等。[87]提供了磁层非线性过程的首批迹象之一,声称AE指数对行星际磁场(IMF)向南分量有非线性响应。与此同时,贝克等。能够提供一个机械模拟来模拟磁层的驱动,得出的结论是,使用混沌理论的工具,我们可以对磁层的风暴时间行为有相当大的了解[88]. 许多重要的工作都在继续讨论磁层活动中的低维混沌[89,90,91,92]. 另一方面,Chang及其同事[93,94,95,96]提出磁层动力学是接近临界状态的无限维非线性系统的动力学,这一假设后来得到AE指数统计分析的支持[97,98]极地飞船上紫外成像仪(UVI)获得的极光观测[99,100]. 现场观测结果表明,尺度方差、湍流、非高斯涨落和间歇性是等离子体片动力学的基本要素[101,102,103],而两者都是就地全球观测结果表明,在局部和整体弛豫过程发生的同时,可能出现动力学相变和对称性破缺现象[104,105,106,107]. 由于上述原因,很明显,由于长程关联的出现,经典磁流体动力学(MHD)方法不足以描述许多磁层现象的更动力学方面,除了不同尺度之间的耦合外,还需要利用与非平衡系统的多尺度动力学有关的新概念[28,29,108,109,110]. 本着这种精神,多重分形模型被用于描述空间天气[111]. 此外,AE指数和太阳风数据都检验了自组织临界性(SOC)的出现[112,113]作为了解太阳风-磁层耦合系统中全球能量储存和释放的一种手段[114,115]作为磁尾动力学的范例[116]. 此外,湍流空间等离子体中物理变量的概率分布是与尺度相关的,并且由非张量单参数(Tsallis)分布很好地建模,其中q个测量系统中的关联度(长程相互作用)[117]. 磁暴是地球空间动力学中最突出的全球现象,它将太阳风、磁气圈、电离层、大气层,偶尔还会将地球表面连接起来[118,119,120]. 磁暴在近地空间环境中产生了许多不同的物理效应:空间带电粒子的加速、空间和地面电流的增强、令人印象深刻的极光显示以及地球表面的全球磁场扰动[121]. 后者通过每小时扰动风暴时间(Dst)指数作为风暴监测的基础,该指数由四个中纬度磁台的平均值计算得出[122]. 此处使用的Dst数据用于说明目的(图2)包括2001年3月31日和2001年11月6日发生的两次强磁暴,最小Dst值分别为−387 nT(纳特斯拉)和−292 nT,以及一些较小的事件(例如,2001年5月和8月,两次Dst都小于−100 nT)。 所有熵计算均在256个样本长窗口上进行,窗口沿时间序列滑动,步长为一个样本。对于符号Tsallis熵的情况,值[123]对于非张量参数,q个。对于计算,指数函数具有作为模糊隶属函数,使用和,其中是所分析时间序列片段的标准偏差,允许定量比较不同幅度的片段。相同的值米和第页也用于和计算。相应分析结果如所示图2。 近似熵、样本熵、模糊熵和非张量Tsallis熵敏感地追踪了磁层不同“生理”(平静时间)和“病理”(强磁暴)状态之间的复杂性差异。它们意味着出现了两种截然不同的模式:(1)与强烈磁暴相关的模式,其特点是组织程度较高;(2)与正常时期相关的模式,其特点是组织程度较低。总的来说,所有四个熵度量都清楚地区分了Dst时间序列中不同的复杂性状态(参见图2).
图2。从上到下:2001年1月1日至2001年12月31日的Dst时间序列,与两次强磁暴(用红色标记)和相应的,,非张量Tsallis熵,,用于及时滑动车窗。公共横轴是时间(以天为单位),表示从Dst数据开始的相对时间位置。三角形表示五个时间间隔,其中第一、第三和第五间隔对应于较高的熵,而第二和第四时间窗口表现出较低的熵(囊性纤维变性.熵图中以红色显示的部分)。
图2。从上到下:2001年1月1日至2001年12月31日的Dst时间序列,与两次强磁暴(用红色标记)和相应的,,非张量Tsallis熵,,用于及时滑动窗口。公共横轴是时间(以天为单位),表示从Dst数据开始的相对时间位置。三角形表示五个时间间隔,其中第一个、第三个和第五个间隔对应较高的熵,而第二个和第四个时间窗口显示较低的熵(囊性纤维变性.熵图中以红色显示的部分)。
图2表示和在探测地球磁层动力学复杂性方面,与其他熵测量方法相比,其结果更佳(即,它们提供了更清晰的过渡画面)。对此可能的解释是,一方面,是一个熵,服从非张量统计理论,这与经典的玻尔兹曼-吉布斯统计力学不同。因此,它有望更好地描述磁层的动力学,磁层是一个具有大变率的非平衡物理系统。另一方面,在处理来自动力系统的非平稳信号(如磁层信号)时,比这里介绍的其他熵测度更稳定。 图2也可以用于设置边界值或阈值和Tsallis熵来区分不同的磁层状态。沿着这些线,我们建议对和Tsallis熵。类似地,0.15和0.1的值可以在以下情况下起到指示限值的作用,用于平静磁气圈和风暴磁气圈之间的过渡和分别是。 3.2. 震前电磁发射
在特定条件下,地球的异质地壳在大规模机械故障后会经历能量的突然释放。这些具有潜在灾难性的现象称为地震(EQ)。从简化的观点来看,当主要断层的两个表面在构造板块运动产生的应力作用下相互滑动时,会发生显著的EQ。由于一些重要情商的灾难性性质及其对人类生活的直接影响,人们对所有相关现象都非常感兴趣,特别是那些在情商发生之前系统观察到的现象,因此可以被视为潜在的情商前兆。
人类历史一开始被记录下来,与情商相关的电磁(EM)现象就被反复认识。自古以来,EQ光现象就在世界各地被报道[124]考虑到没有特定的仪器,只需要眼睛观察。然而,由于存在适当的测量仪器,人们观察到了各种各样的EM现象[125]. 例如,1954年卡拉什尼科夫首次提出与地震或火山活动有关的磁效应的存在[126]. 该领域的重点研究现在通常被称为“地震-电磁”,实际上始于20世纪80年代,从直流(DC)频段扩展到甚高频(VHF)频段,同时,它涉及对震源区发射的电磁信号或震中地区电磁波异常传输的理论和实验研究[124]. 从那时起,大量的大地电流异常(例如[127,128])、超低频(ULF)异常(例如[129,130,131,132,133])甚低频(VLF)至甚高频异常(例如[133,134,135,136,137,138]以及由岩石圈-大气-电离层(LAI)耦合现象引起的各种大气-电流层异常(例如[124,139,140,141,142]以及其中的参考文献)已经被报道、分析和解释。有关更多信息、历史数据和评论,请参阅[124,125,143,144,145]及其参考文献。 识别观测到的EM异常,例如与EQ相关的异常,是一个具有挑战性的研究课题。EM异常相对于EQ发生的时间间隔就其本身而言不是可信的证据。由于情商准备过程的多方面性质,在将EM异常分类为与情商相关之前,需要对其进行多学科分析,以确定情商准备流程的特征。
自曼德尔布罗特早期工作以来[146]根据对现场观测和实验室实验数据的分析,断层和裂缝的自相似性被广泛记录;囊性纤维变性。[147]以及其中的参考文献。此外,地震活动和断裂的几个特征(如临界性、复杂性、频率-幅度定律、,等。)已经在实验室和地球物理尺度上进行了调查(例如[148,149,150,151,152,153]以及其中的参考)。这些发现导致了这样一种假设,即与EQ制备相关的任何EM发射都应呈现特定特征,如分形标度、临界性、相变特征、对称性破缺、频率-尺寸定律、断裂和断层的普遍结构模式、复杂性特征、长程相关性、,内存,等。,取决于与之相关的情商准备过程的阶段。对现场记录的震前电磁信号进行的大量分析验证了这一假设(例如[18,136,137,138,148,153,154,155,156,157,158,159]以及其中的参考)。 如前所述,对于表现出长程相关性、记忆或分形特性的系统,非张量Tsallis熵被认为是一种合适的数学工具[1,25,26,160]. 情商准备过程的一个中心特性是,由于系统各组成部分之间的重复非线性相互作用,出现了具有丰富结构的相干大规模集体行为[147,161]. 因此,Tsallis熵也是一种物理上有意义的工具,用于研究断裂诱导EM前兆的发射。 检验诸如震前电磁辐射等瞬态现象的一种方法是将相应的时间序列分析为一系列不同的时间窗口。其目的是在灾难性事件临近时发现动力学特征的明显差异。如前所述,,和特别适用于分析受噪声污染的短时间序列。由于记录的EM时间序列通常受到现场测量站所在地背景噪声的强烈污染,,和特别适合以不同(短)时间窗口的形式进行分析。
地震是一个关键现象[147,148,155]. 因此,预计统计模式的显著变化,即熵“下降”的出现,代表着与电磁记录的正常行为的偏差,揭示了电磁异常的存在。具体而言,我们旨在通过应用符号Tsallis熵的不同熵度量,揭示在接近EQ发生时间时,观测到的EM时间序列中组织水平的任何增加(熵降),,和。 作为一个示例,我们在这里考虑与雅典(希腊)地震相关的震前千赫(kHz)EM活动()发生在1999年9月7日[137,138,156,157,162,163,164,165,166]. 所有熵计算都是在1024个样本长的窗口上进行的,这些窗口沿着具有25%相互重叠的时间序列滑动,即,步长为768个样本。对于符号Tsallis熵[137]对于非可扩展性参数,q个。这里,长度为的单词的结果呈现。,和使用与中Dst时间序列相同的设置进行估算第3.1节。 图3显示了与Dst指数相同的分析(图2)用于与雅典地震相关的10 kHz震前EM时间序列。可以观察到,与背景噪声相比,较低的熵值可以被识别吗?ed在时间点~292600 s和~729000 s之间(绿色部分图3)尽管在时间上分布稀疏。反过来,在雅典kHz信号的分析摘录尾部的两个强EM脉冲期间,熵值突然下降,表明了不同的行为。这归因于情商准备过程尾部的一个新的独特阶段,其特点是与前一阶段相比,组织程度显著提高,复杂性降低(例如[153,157]).
图3。从上到下:记录的10 kHz(东西向)磁场强度时间序列的一部分(以任意单位表示),涵盖从1999年8月28日00:00:00 UT(世界时)到9月7日的11天。1999年,23:59:59 UT,与雅典EQ相关,以及相应的,,滑动窗口的非张量Tsallis熵(见正文)。公共水平轴是时间(以天为单位),表示从EM记录分析部分开始的相对时间位置。震前电磁辐射表现出较低的熵值,这表现在两个不同的阶段:第一阶段,熵值在时间上稀疏分布(囊性纤维变性时间序列和熵图的一部分显示为绿色),然后是一个以连续显著降低的熵值为特征的阶段(时间序列和熵值绘制为红色)。
图3。从上到下:记录的10 kHz(东西向)磁场强度时间序列的一部分(以任意单位表示),涵盖从1999年8月28日00:00:00 UT(世界时)到9月7日的11天。1999年,23:59:59 UT,与雅典EQ相关,以及相应的,,滑动窗口的非张量Tsallis熵(见正文)。公共水平轴是时间(以天为单位),表示从EM记录分析部分开始的相对时间位置。震前电磁辐射表现出较低的熵值,这表现在两个不同的阶段:第一阶段,熵值在时间上稀疏分布(囊性纤维变性时间序列和熵图的一部分显示为绿色),然后是一个以连续显著降低的熵值为特征的阶段(时间序列和熵值绘制为红色)。
从获得的结果来看,似乎所有采用的熵度量都显示了可比较的性能。然而,,和通常随时间呈现更强的波动,提供了更高的分辨率,并且EM异常(尤其是两个强EM脉冲)与背景噪声基线的差异更清晰。值得注意的是,Tsallis熵计算图3考虑到1024个点的窗口长度足够小,可以提供伪静态条件,因此执行时没有显式检查平稳性。 3.3. 气候及相关领域
由于气候变异性的数据量相对较大,地球系统动力学的各个方面(例如水文和生物地球化学)密切相关,因此统计力学和信息理论概念有许多应用,包括各种熵特征和复杂性度量,在这个领域。由于在这一领域有大量潜在应用,我们在下文中仅限于总结与某些特定气候相关研究相关的近期努力的一些例子,这些研究可以被视为对各种潜在研究问题具有代表性。
3.3.1. 当前气候变化的复杂性
当今地球气候动力学复杂性的定量表征一直是许多研究的主题。值得注意的是,熵特征和相关的复杂性度量特别适合于这一目的。例如,Paluš和Novotná[167]演示冗余的使用(即,MI的多元推广),结合保留原始时间序列线性相关特性的替代数据,用于测试不同气候变量(地表气压和温度、位势高度数据)的非线性,这是混沌动力学出现的必要先决条件。 在全球范围内,von Bloh等. [168]研究了地表气温观测结果,以及全球环流模型的相应结果。为了揭示与气候系统非线性动力学相关的空间特征,他们考虑了二阶Rényi熵的空间模式,,根据复发图估算(Paluš最近提出了类似分析等。[169]根据全球分布的地表气温异常计算的高斯过程熵率)。他们的结果表明,(在本研究期间)最先进的气候模型无法追踪观测到的气候动力学非线性的基本空间特征,例如显著的纬向以及陆地-海洋熵梯度。后一个发现可以被视为一个公认的事实,它已被描述为其他非线性特征,例如描述温度波动的长期依赖程度的赫斯特指数(参见,例如[170,171,172,173]). 观测到的温度波动的复杂性的一个原因是,气候在许多不同的时间尺度上表现出相关的变化,从日尺度到季节尺度和年际尺度。非线性大规模振荡(偶极子)模式尤其突出了较长的时间尺度,如厄尔尼诺/南方涛动(ENSO)。研究这些模式的空间分布和时间可变性并表征其动力学无序程度可以提供经典线性分析技术无法提供的大量补充信息。在其他熵特征中,人们发现Tsallis的非张量熵在这方面特别有用,再次利用了气候系统通常远离平衡的事实。
Ausloos和Petroni[174]研究了南方涛动指数(SOI)在不同时间尺度上的归一化变异性。他们的结果表明,随着所考虑的尺度的变化,非张力发生了质的变化,导致了经典的Boltzmann-Gibbs尺度()规模更大。超越独家考虑在非扩展统计力学框架中,还可以找到其他量的特征标度指数,这是由Tsallis’q个-三联体[175]已获得每日ENSO波动[176],但也包括其他地球科学变量,例如平流层臭氧层的深度[177]各种气象变量、地震间隔时间、磁层动力学、,等。[178]. 除了非扩展熵之外,其他信息熵概念也有很大的潜力,可以根据各自的动力学复杂性来区分气候记录。作为最近的一个例子,我们在这里提到了用于表征日径流时间序列的复熵因果平面的考虑[36]基于遥感数据的植被动态[179]或从赤道太平洋ENSO地区地面气温记录之间的相关性中获得的复杂网络的度分布[180]. 3.3.2. 古气候变率的动态变化
为了获得与大尺度气候模式(如ENSO)在长时间尺度上的变化相关的动力学复杂性的可靠估计,仪器记录可能提供的时间覆盖不足。相反,利用古气候代理数据获取过去几个世纪、几千年甚至更深层的非线性变化信息是可行的。在这种情况下,熵特征可以再次为历史气候变化的定性变化提供有趣的见解。
萨科等。[181]研究了基于直方图的Shannon熵,以及从厄瓜多尔Laguna Pallcacocha沉积层序获得的代理记录的置换熵。他们的研究揭示了一个明显的时间间隔,置换熵显著降低,对应于距今9000年至8000年之间的大规模快速气候变化(RCC)的已知时期(BP)。后一阶段包括全球观测到的8.2 kyr(千年)事件,据信该事件起源于北大西洋强烈的融水脉冲[182]. 就动态熵而言,所获得的结果表明环境条件的变化具有相当程度的规律性。我们假设,这一规律性确实反映了8.2 kyr事件期间显著的可变性,超过了典型的“背景波动”幅度。值得注意的是,在过去8000年中其他较弱的RCC事件中[182],在排列熵中没有这样明显的下降。相反,发现相应的熵值显示出显著的低频变化,其中甚至一些暂时的熵最大值与已知的RCC发作相一致。 英国石油公司9000年至8000年时间间隔的特殊特征得到了Ferri的补充分析的支持等。[183]使用Tsallis'q个-三联体[175]他发现三重态的三个特征标度指数在这段时间间隔内改变了它们的相对顺序。上述结果再次强调了熵特征(尤其是在非张量框架中)作为接近临界转变的指标的相关性,另一项关于南极冰芯记录的研究结果也支持了这一点[184]. 以前的结果突出了非线性时间序列分析方法在古气候变率研究中的巨大潜力,这些方法不仅限于统计力学和信息理论方法,而且还证明了基于相空间的特征,例如基于递归图的不同量词[85,185,186,187,188,189]. 作为一个重要的警告,我们需要提到由于古气候代理数据的不均匀采样和时间尺度不确定性,存在严重的方法学问题[190,191,192]通常不允许直接使用现有的(线性和非线性)时间序列分析方法,但需要开发专门定制的估计器。值得注意的例外是树木年轮、每年层压(弯曲)沉积物和其他成层地质档案(例如,一些冰芯、珊瑚、,等。),其中可靠的年龄深度模型最终可以根据层计数推断出来。 3.3.3. 水文气象和陆地大气交换
信息理论概念的另一个与气候相关的最新应用领域是生物地球化学和生态水文学中跨尺度过程的研究,即研究大气动力学和水文与生物圈(尤其是植被)之间的相互依赖关系。总的来说,生物圈被认为是地球系统的重要组成部分,它与各种空间和时间尺度上的其他组成部分相互作用,甚至相互作用。确定这种相互依赖关系以及相关的量表是一项具有挑战性的任务,基于信息理论的双变量和多变量特征似乎特别适合于此。
认识到后一个事实,诸如互信息或传递熵等方法的应用最近变得越来越重要。Brunsel及其同事[193,194]应用熵概念量化地表植被获得的信息,作为输入降水场所覆盖时间尺度的函数,揭示了信息内容与数据分辨率之间的明确关系。此外,他们能够描述蒸散量估计值对植被空间尺度和土壤水分动态的敏感性,这些植被和土壤水分动力学是从卫星测量中获得的,卫星测量用于得出这些估计值。斯托伊等。[195]利用Shannon熵和相对熵(Kullback-Leibler散度)评估遥感数据中尺度聚合所贡献的信息量。基于推断出的信息丢失,他们能够定义用于处理此类数据的“最佳”像素大小。随后,布伦塞尔[196]应用香农熵、相对熵和互信息量研究了日降水量数据时间尺度的空间变化,揭示了传统分析技术无法区分的降水量中存在明显的尺度区域。 虽然在上述示例中,考虑了具有相同空间和/或时间分辨率的不同数据集的信息内容和信息传输,但最近提出了一个更通用的框架[197]. 在此背景下,香农熵和相对熵被用于识别陆地大气H中的主导空间尺度从遥感数据获得的地表和大气之间的O通量,并调查物候周期不同阶段相应过程的相互作用(即植被的发育阶段)。所得结果为蒸散的多尺度空间结构提供了一个深入而独特的视角,蒸散是决定植被生长的最重要气候变量之一。本着同样的精神,科克伦等。[198]将相对熵与基于小波的多分辨率分析结合起来,对来自所谓通量塔的地面涡流协方差测量进行研究大气边界层和自由对流层之间的交换。上述研究例证了熵特征对于研究当地到全球尺度上气候-植被反馈的各个方面的相关性,从而提供了以前未被承认的关于陆地碳循环以及地球生物地球化学的信息。 作为研究生物圈和气候系统之间相互依存关系的一种补充方法,Ruddell和Kumar提出了生态水文学中信息过程网络的概念,描述了对应于同步、反馈和强迫的不同类型的耦合[199,200]. 这里,通过传递熵对不同时间滞后下同时测量的变量之间的信息流进行量化,提供了相应交互结构的加权网络表示,可以使用适当的统计方法对其进行进一步量化。Kumar和Ruddell[201]在不同气候区的七个生态系统中,成功地应用了他们的形式从通量塔测量值推断反馈回路。作为一个特别相关的结果,他们提供了证据,证明反馈往往会最大限度地提高信息产量,因为参与反馈循环的变量表现出“适度”的可变性。研究发现,信息量随着生态系统总生产力的增加而增加,并揭示了相应过程对特定生态和气候环境、季节模式、,等。具体而言,干旱和寒冷的生态系统对水和能源供应的微小变化反应更强烈、更迅速,这符合生态学的一般经验。 3.3.4. 大气变化模式之间的相关性和因果关系
最近一个重要的互信息应用领域是气候网络来自空间分布的气候记录。这里,与气候模型中不同测量站或网格点的数据相对应的单个时间序列被视为变量,它们之间的统计关联强度可以用各种线性和非线性度量来表征。选择最强和/或统计上最重要的成对关联提供了一组离散的空间相关性,可以通过网络理论概念进行进一步分析。除了经典的线性相关性和涉及不同同步概念的概念外[202,203,204,205](已证明其在气候数据双变量分析方面的潜力[206,207]在应用于网络建设之前),基于符号动力学的互信息应用[208,209]或订单模式[210,211]已经引起了相当大的兴趣,并导致了对气候系统中相关空间相关性主干的多尺度描述。最近,相应的框架已被成功地推广到利用条件互信息研究定向相互关系[60]. 我们需要提到的是,基于信息理论特征的气候网络方法是一个正在进行的方法论讨论的主题,涉及到诸如内在动态复杂性(其本身可以通过概念来表征,如高斯过程熵率[169])或导致虚假非线性的数据伪影[212]. 除了气候网络的构建和分析之外,还首次成功地将信息理论概念应用于耦合和因果分析,并与气候学的一些更具体的研究问题相关。庞培和伦格[65]利用基于排列熵的技术研究了北大西洋海流路径驱动下北大西洋两个特定地点的海表温度(SST)异常之间的相互依赖性。他们的分析揭示了海洋耦合的两个不同的、相关的时间尺度,以及瞬时的相互关系;后者很可能是由大气过程介导的,即北大西洋涛动(NAO)偶极子模式。使用传统的互信息或线性互相关,这些非零耦合延迟无法被清晰地检测到。在一项类似的研究中,扩展了已建立的传递熵框架的图形模型证明了它们能够从冬季中欧和东欧每日海平面压力的台站数据中获得具有气候意义的耦合模式[59]. 另一项最近使用相同形式的研究基于不同高度的月气温异常,调查了海面和对流层上层之间的垂直热输送,这对我们对大气Walker环流功能的机械图像有着明显的影响[64]. 作为一个示例性案例研究,我们在这里回顾一下最初由[213],他演示了使用线性偏相关的MIT估计算法及其在基于月分辨率再分析数据研究太平洋沃克环流中的应用。在下面,我们使用用k个-中描述的最近邻方法第2.4.1节。 沃克循环的基本机制[214,215,216,217]这表明赤道西太平洋的加热,伴随着低表面气压,促进了东太平洋水域的上升流。这导致沿赤道太平洋表面的东风信风。随后,潮湿的空气在西太平洋上空上升,沿中太平洋和东太平洋下降的干燥气团关闭了环流。 为了测试东太平洋(EPAC)之间的反馈是否超过–W、,S–N) 和西太平洋(WPAC,该地区的平均海平面压力异常–E、,S–N) 通过赤道太平洋中部表面(CPAC,平均SST–W、,S–N) 研究了三变量过程(EPAC、CPAC、WPAC)的时间序列图和MIT。
图4显示了使用显著性水平估计时间序列图后的滞后MI和MIT的显著值%. MI滞后函数在所有变量对之间都是显著的,因此不可能对因果结构进行精确评估。例如,我们发现EPAC之间存在宽峰值→ CPAC和CPAC→ WPAC,而MIT值仅在滞后1和0时显著(表示同期相关性)。非常有趣的是,虽然MI在EPAC中具有宽峰值→ WPAC中,时间序列图显示没有关联(即使显著性水平低于90%)。事实上,这种联系显然是通过赤道中部太平洋的表面进行的。反过来,链接WPAC的MIT→ 滞后1的EPAC仍然很重要,这表明链路返回的路径不同,而不是通过赤道中太平洋表面,这符合气团返回对流层高层的气候学理论。 总之,时间序列图方法证实了沃克循环模式,麻省理工学院进一步估计了潜在因果依赖的强度。我们发现通常具有很强的自动MIT值,特别是对于温度变量CPAC和EPAC,这表明由于海洋的比热容较大,它们具有较强的惯性。此外,耦合EPAC的MIT值→ CPAC和CPAC→ WPAC具有可比性,而前者的MI峰值明显更大。这种效应可以用EPAC和CPAC内的强自相关性来解释,这会增加MI,但在MIT中被“过滤掉”。另一个有趣的地方是链接WPAC→ 这里恢复了描述下降机制的CPAC,而在[213]. 这一发现表明这种依赖具有非线性特征。然而,在简单的Walker循环图片中,人们不会期望链接CPAC→ 厄尔尼诺事件期间,上述沃克环流模式不同,大气上升气流区域向太平洋中部移动,并且显著变宽,这可以解释EPAC。在这里,我们使用了整个时间样本来检验“平均”影响是通过太平洋中部进行调节的假设;时间分辨分析将是未来研究的主题。
图4。(左侧)所有变量对(西太平洋(WPAC)、赤道中太平洋(CPAC)、东太平洋(EPAC))的互信息滞后函数(灰色)和显著瞬时信息传递(MIT)值(黑色)。注意,(条件)互信息((C)MI)值已根据方程式归一化为(部分)相关性的尺度(32). 灰色水平线表示MI的显著性阈值。(赖特)流程图,如中所示图1b、 其中,节点颜色表示滞后1的自动MIT强度,链接颜色表示交叉MIT强度。标签表示滞后。直线表示同时代的联系。最重要的发现是正在消失的联系EPAC→ WPAC,这表明东太平洋对西太平洋的影响是通过赤道中太平洋的表面介导的。反过来,链接WPAC→ EPAC是保守的,这意味着这种影响不是通过这个区域介导的。
图4。(左侧)所有变量对(西太平洋(WPAC)、赤道中太平洋(CPAC)、东太平洋(EPAC))的互信息滞后函数(灰色)和显著瞬时信息传递(MIT)值(黑色)。注意,(条件)互信息((C)MI)值已根据方程式归一化为(部分)相关性的尺度(32). 灰色水平线表示MI的显著性阈值。(赖特)流程图如所示图1b、 其中,节点颜色表示滞后1的自动MIT强度,链接颜色表示交叉MIT强度。标签表示滞后。直线表示同时代的联系。最重要的发现是消失链EPAC→ WPAC,这表明东太平洋对西太平洋的影响是通过赤道中太平洋的表面介导的。反过来,链接WPAC→ EPAC是保守的,这意味着这种影响不是通过这个区域介导的。
4.讨论
中讨论的示例第3节证明了熵特征不仅提供了检测空间模式的通用方法,而且还提供了检测动态复杂性的时间变化的通用方法。这对于预测正在研究的系统的动态状态中即将发生的定性变化特别相关。从统计学的角度来看,此类关键现象(极端事件)应具有特征(除其他特征外[218,219,220,221,222])通过以下关键症状:(i)组织程度高或信息含量高;(ii)强烈的持续性,表明在导致系统失衡的潜在现象中存在正反馈机制;(iii)基础活动有明确的优先方向;以及(iv)在平衡状态下没有二阶跃迁的足迹。 在这篇综述中,我们重点讨论了上述不同类型熵的第一个症状:一方面,使用符号动力学技术的非张量Tsallis熵,另一方面,近似熵、样本熵和模糊熵。我们注意到,已经确定,表现出关键现象的物理系统,如磁暴、地震或气候变化,其特征是长期相互作用或长期记忆,或具有多重分形性质,最好由Tsallis提出的广义统计力学形式主义来描述[1,25]. 因此,尽管引入的各种动态组织或信息含量的度量可以揭示与极端事件启动相关的关键特征,即低复杂性、高组织度或高信息含量,从物理角度来看,使用Tsallis熵似乎是一种特别合适的度量方法。 我们澄清了使用Tsallis熵会导致双重信息。熵指数,q个描述了Tsallis熵与标准Boltzmann-Gibbs熵的偏差,即长程相互作用、长期记忆和/或多重分形行为的出现。然而,指数,q个,本身并不是系统复杂性或组织性的度量。反过来,Tsallis熵的时间变化,,对于给定q个量化系统复杂性或组织的动态变化。下部值表征具有较低复杂度或较高组织的信号部分。
与非扩展统计力学框架相比,,和特别适用于分析受噪声污染的短时间序列。例如由于记录的震前EM发射时间序列通常被这种背景噪声强烈污染,,和特别适合以不同(短)时间窗口的形式进行分析。我们预计在气候背景下对某些时间序列的分析也会有类似的好处。
越来越多的经验证据支持这样一种可能性,即物理学、生物学、工程学和经济学等学科中出现的一些系统可能具有某些惊人相似的数量特征。这些特性可以方便地归入尺度不变性和普适性标题下[223,224,225,226,227,228]. 例如,de Arcangelis等。[228]已经表明,太阳耀斑和地震等明显不同现象背后的随机过程具有普遍性。 平衡等。[229]最近确立了太阳耀斑、磁暴和地震动力学的普遍性原则。上述相似性得到了太阳耀斑和磁暴能量分布的幂律观测的定量支持,该幂律与非张量Tsallis形式主义有关,该形式主义将地震震级分布的Gutenberg-Richter定律作为特例。在随后的研究中[230]、平衡等。延长了他们以前的工作[229]包括地震前电磁辐射。因此,它们为地球磁气圈、太阳日冕以及耦合的地球电离层、大气和岩石圈系统中的普遍行为提供了证据,其中分别发生磁暴、太阳耀斑和震前kHz电磁异常。 另一个有趣的现象是离散尺度不变性的出现,它见证了不同系统之间的普遍性。到目前为止,在断裂、地震活动、金融系统中已经记录了离散尺度不变性(有关审查,请参阅[147])以及最近代表磁层活动的Dst时间序列[231]. 普遍统计行为的证据表明,有可能采用一种通用的方法来预测太空天气和地震。无论如何,将地震预报的思想和方法转变为太阳耀斑和磁暴的预报,可以改进空间天气预报。类似的概念可用于处理空间天气和地震以及气象灾害引起的极端事件。例如,可以应用和测试天气预报技术来预测空间天气或地震的演变,以及反之亦然。
除了动力学复杂性的定量表征外,本综述中总结的各种近期示例还指出,基于熵的特征对于识别和量化不同(地球物理或其他)变量之间的相互依赖性、不同尺度上的变异性、,等。除了获得对两个变量之间的二元相互关系强度的估计,并通过适当的统计测试评估相应的重要性之外,揭示和表征非对称相互依赖性是更好地“机械”理解治理过程的关键点,它可以显示不同量之间的对称交互作用,但也有不同的“驱动-响应”关系。后者在思考因果关系问题时具有特别的相关性,例如,试图理解一个变量中的某些动力学模式如何影响另一个变量的行为。作为这类研究问题的一个具体地球科学示例,我们提到了尚未系统地理解的极端气候条件对不同类型生态系统中植被动态的影响[232]. 在对地球科学数据进行适当分析和建模的其他复杂问题中,跨尺度变化是地球科学中的一个常见问题[3]当涉及到与这些“组件”相连的物理过程的检测、量化和属性时。值得注意的是,这种动态相互依赖在反馈或各种同步方面促进了复杂的非线性动力学。除了本综述中提到的某些气候示例外,我们还展望了与传递熵、瞬时信息传递和图形模型相关的现代方法在解决地球系统科学各个领域的当代研究问题方面的潜力。除其他外,这些信息理论泛函在应用于诸如太阳风与地球磁层和地球空间之间的时间相关耦合(风暴-次风暴关系和相互依赖性)等问题方面具有很大的潜力[233]). 最后,我们设想了信息论方法在明确研究时空动力学方面的系统应用。具体而言,与复杂网络分析相结合,其中普通或条件互信息等概念已被成功用于推断气候背景下变量组之间最相关的耦合[60,208,209,210,211]在揭示和量化可能未知的动力学相互关系、响应和反馈方面具有巨大潜力。除了在气候网络中的应用外,后一种概念也被成功地用于研究地震活动的时空主干[234],建议用类似的方法解决更广泛的潜在研究问题。 5.结论
基于统计力学和信息论考虑的熵特征表现出很大程度的概念相似性。例如,众所周知,经典的玻尔兹曼-吉布斯熵与最初在电信科学背景下引入的香农熵类似。这种二重性,在最近发展的非扩展统计力学框架中得到了进一步阐述,为系统应用熵的信息理论概念和相关的复杂性度量提供了基本基础和理论基础,同时,互补相空间熵特性,用于研究“抽象”(数学)和观测(物理)系统中的动力学复杂性。更具体地说,在微观热力学框架中量化构型无序的想法被转移到代表可观察动力学的“构型”,即,由于所研究系统的演化而产生的模式,允许通过各种类型的熵和相关的复杂性度量来量化动态复杂性。
在这篇综述中,我们确定了这些特征在地球科学中的四个主要应用领域:静态记录复杂性的测量(例如,用于识别气候数据复杂性的空间模式);
从非平稳时间序列中识别动力转换及其准备阶段(即,与即将发生的“奇异”极端事件有关的关键现象,如地震、磁暴或气候状况变化,这些都是古气候学已知的,但预计在未来气候中可能发生,与气候转折点的存在有关[235,236]); 变量、子系统或不同空间和/或时间尺度之间的复杂性和信息传递特征(例如,太阳风与磁层或大气与植被之间的耦合);
识别与某些地球科学过程之间因果关系相关的变量之间的定向相关性,这对于改进基于过程的不同变量甚至系统之间耦合的理解是必要的,开发适当的数值模拟模型的必要前提。
为了解决上述以及概念上类似的研究问题,我们讨论了不同类别的熵特征,说明了它们在不同类型的数据和问题中各自的优势。值得注意的是,所考虑方法的方法潜力和局限性与可用时间序列的具体特性密切相关:符号动力学方法(例如块熵、置换熵、Tsallis的非张量熵)通常需要大量数据才能进行准确估计,这主要是由于离散化过程中信息细节的系统性丢失。因此,我们认为这种方法特别适合于研究近似平稳过程的长时间序列(例如气候或水文时间序列)和来自非平稳和/或非平衡系统的高分辨率数据(例如与地震活动相关的电磁记录)。
Tsallis的非张量熵专门用于描述与记录波动的动力学复杂性变化相关的非平衡现象,如在临界现象、某些极端事件或动力学状态转移的背景下产生的。
基于距离的熵(,和)与基于任何类型的符号离散化的其他熵特征相比,对短数据和可能有噪声的数据提供更高程度的鲁棒性。这表明了它们在研究滑动窗口框架中动态转换的动态复杂性变化方面的特殊用途。
定向双变量测量和图形模型允许对变量之间的因果关系进行统计评估。本着这种精神,这类方法提供了一个通用且广泛适用的工具箱,其中图形模型思想产生了大量的双变量特征(包括条件互信息和作为特殊情况的传递熵),但在实际估计中可能会表现出相当大的算法复杂性。
我们强调,上述研究问题和数据属性是相对通用的,可以在地球科学的各个领域中找到,也可以在其他科学学科中找到。因此,学习源于统计力学或信息理论的熵概念在一个领域的成功应用,可以为其他领域(地球科学或其他领域)提供重要的见解或概念想法,甚至可以激发新的研究问题和方法。文中提到了用这种方法研究前瞻性问题的一些相应示例第4节本着这种精神,本次审查旨在提供这样的激励,而不是对所有可用的方法或最近的应用进行完整的总结。