1.简介
给定一个系统,无论它是自然的还是人造的,并且给定一个可观察到的系统,其进化可以通过时间进行追踪,一个自然的问题就出现了:关于底层系统动态的这种可观察编码有多少信息?系统的信息内容通常通过概率分布函数(PDF)进行评估P(P)描述一些可测量或可观测数量的分配,通常是一个时间序列因此,量化给定观测值的信息内容在很大程度上相当于表征其概率分布。这通常是通过称为信息熵[1]. 熵是一个具有多种特定领域解释的基本量:例如,它与无序、状态空间量或信息缺乏有关[2]. 在处理信息内容时,香农熵通常被视为基础和最自然的一个[三,4]. 给定任意离散概率分布,使用M(M)自由度,香农的对数信息测度为:这可以被视为与以下描述的物理过程相关的不确定性的度量:P(P)例如,如果,我们可以完全肯定地预测哪些可能的结果我,其概率由,将实际发生。在这种情况下,我们对概率分布所描述的基本过程的了解是最大的。相反,对于均匀分布,我们的知识是最小的()不确定性最大,即,. 自从Shannon的论文发表以来[三]他的熵被用于表征各种各样的系统。然而,这种传统方法存在许多缺点。 首先也是最重要的是,香农和其他经典度量忽略了时间序列值之间的时间关系,因此没有考虑过程中出现的结构和可能的时间模式[5]. 换句话说,如果两个时间序列定义为和,它认为。更一般地说,当一个人只指定序列的每个时间点时,就会发生这种情况,来自给定有限字母表的符号,从而创建符号序列可以被视为非因果粗粒正在考虑的时间序列的描述。因此,顺序关系和动力学的时间尺度都丢失了。通常的直方图技术对应于这种赋值。原因信息如果符号序列中包含有关系统过去动态的信息,即,字母符号已分配到(相空间)轨道的一部分. 其次,经典熵测度假设了系统的一些先验知识;具体来说,在使用基于信息论的量词时,应事先提供与所分析的时间序列相关的概率分布。确定最合适的PDF是一个基本问题,因为PDFP(P)样本空间Ω是密不可分的。已经提出了许多方法来正确选择概率空间。除其他外,我们可以提及频率计数[6],基于振幅统计的程序[7],二进制符号动力学[8]、傅里叶分析[9],或小波变换[10]. 它们的适用性取决于数据的特定特征,例如平稳性、时间序列长度、参数变化、噪声污染程度、,等。在所有这些情况下,可以以某种方式捕获动力学的全局方面,但不同的方法在辨别所有相关物理细节的能力上并不相同。人们还必须承认,上述技术是以一种相当“特别的方式”引入的,它们不是直接从所研究系统的动力学特性本身派生出来的。因此,一个问题自然会出现:是否有一种方法可以定义更通用、更独立于系统的PDF? 第三,经典方法通常是处理线性系统的最佳方法,并且只能很好地描述高度非线性的混沌状态。
Bandt和Pompe[11]通过引入一种简单而稳健的方法来解决这些问题,该方法通过比较时间序列中的相邻值来考虑时间因果关系。适当的符号序列自然地从时间序列中产生,不需要预先假定任何知识。“分区”自然是通过比较相邻相对值的顺序来设计的,而不是根据不同的级别来分配振幅。基于这种符号分析置换熵然后生成。Bandt和Pompe生成PDF的方法是一种简单的符号化技术,它将因果关系纳入与时间序列相关的PDF评估中。事实证明,它的使用明显提高了基于信息理论的量词的质量(参见,例如[12,13,14,15]以及其中的参考)。这一方法的威力和实用性在随后的许多论文中都得到了验证,正如基石论文引文数量的变化所表明的那样[11]通过时间查看图1. 我们回顾了置换熵背后的原理,介绍了源于Bandt和Pompe的原始思想的方法,并描述了从经济物理学和生物学领域得出的几个应用。
2.置换熵
每次秒给定时间序列的,向量由D类-构造后续值: D类被称为嵌入维数,并确定每个矢量中包含的信息量。对于这个向量,一个序数模式被关联,定义为排列属于它满足了 换句话说,每个向量的值都是按升序排序的,并且是排列模式π使用置换值的偏移量创建。一个数值例子可能有助于澄清这一概念。以时间序列为例。对于,对应于的值向量是; 向量按升序排序,给出,相应的排列模式是。对于,值的向量为,导致排列。请注意,如果两个值相等(这里是第一个和第三个元素),则它们将根据出现的时间进行排序。
图形化,图2说明长度顺序模式的构造原理和4[16,17]. 考虑价值序列。对于,只有两个可能的方向到上下。对于,从开始(上)图案的第三部分可以在,如下所示,或介于和类似的情况可以从(向下)。对于,对于,存在4个可能的本地化,给予不同的顺序模式。在图中图2,用整圈和连续线表示序列值,这导致了这种模式.对应于和5可以在中找到图2第页,共页[17]. 方程2可以通过考虑嵌入延迟进一步扩展τ:什么时候τ大于1时,组成排列的值是非连续的,从而在不同的时间分辨率下映射系统的动力学。
图2。长度顺序模式的构造原理图解D类[16,17]. 如果,圆圈和连续线表示序列值这导致了这种模式.
图2。长度顺序模式的构造原理图解D类[16,17]. 如果,圆圈和连续线表示序列值这导致了这种模式.
排列熵背后的想法是,模式可能不具有相同的发生概率,因此,这种概率可能揭示有关底层系统的相关知识。极端情况由禁止的图案也就是说,在分析的时间序列中根本没有出现的模式。
禁止图案的出现有两个原因。第一个,也是最微不足道的一个,是由于任何实时时间序列的长度都是有限的,因此导致了有限大小的影响。回到前面的例子,排列不出现在序列中,即,没有按降序排列的连续值的三元组。第二个原因与生成时间序列的系统的动力学性质有关。如果一个时间序列是用一个完美的随机数生成器构造的,那么应该预期所有可能的数字序列,并且不应该出现禁止的模式。相反,假设我们正在研究后勤地图[18],定义为:为所有人x个包括在.图3(左)显示了此类映射的行为,对应于混沌动力学;黑线表示所有可能的初始值,红色曲线表示一次迭代后的相应输出(即,)和第二个后面的绿色曲线(). 这些曲线的顺序以图形方式表示相应的排列模式;例如,对于,从下到上我们可以看到黑色、红色和绿色的曲线:因此,(即,),导致读者可能会注意到,该图可以生成5个不同的排列,由垂直虚线包围的5个区域标识,而嵌入维为3的可能排列数为:换句话说,排列被系统自身的动态所禁止。
图3。(左)的行为后勤地图[18]带有.情节代表了(红色曲线)和(绿色曲线)的所有可能值(黑线);(右)数量禁止的图案,用于,在通过后勤地图具有,作为序列长度的函数。每个点对应于禁用图案的平均值,垂直条对应于相应的标准偏差。
图3。(左)的行为后勤地图[18]带有.情节代表了(红色曲线)和(绿色曲线)的所有可能值(黑线);(右)数量禁止的图案,用于,在通过逻辑地图具有,作为序列长度的函数。每个点对应于禁用图案的平均值,垂直条对应于相应的标准偏差。
在图3(右),用等式5创建的时间序列中发现的禁用模式的平均数及其标准偏差表示为序列长度的函数,从而同时表示这两个因素。 这种方法的相关性很明显:通过评估时间序列元素的某些排列模式的存在或不存在,就有可能获得有关底层系统动力学的信息。即使所有模式最终都出现了,每个模式出现的概率也可以揭示有关这种动态的相关信息。更一般地说,对于每个时间序列,可以关联一个概率分布∏,其元素是与我可能的排列模式-因此,. The
排列熵,,则定义为与该分布相关的香农熵:为了评估这种分布所编码的信息量,对数通常以2为基数。此外,通过注意到,一个归一化置换熵可以定义为: 一个非常相关的信息度量,,已调用归一化Kullback-Leibler熵(KLE)于年推出[19]. 它量化了有序模式概率分布和均匀分布之间的距离。 方程4表明,得到的概率分布有两个主要参数:维数D类以及嵌入延迟τ。前者在评估适当的概率分布中起着重要作用,因为D类确定可访问状态的数量,由此外,为了获得可靠的统计数据并正确区分随机动力学和确定性动力学,有必要[13,20]. 出于实用目的,作者[11]建议与合作有时间滞后尽管如此τ可能提供与系统固有时间尺度相关的附加信息[21,22,23,24]. 3.应用置换熵
3.1. 区分噪声和混沌
为了对系统建模,有必要识别潜在的动力学。随机或混沌(确定性)分类对于实现建模目标至关重要。
这并不总是一件容易的任务。例如,考虑由等式5的逻辑图生成的时间序列。时间序列采用间隔中的值、和用于动力学是混沌的[18]. 在这种情况下,逻辑图显示出几乎平坦的PDF直方图,峰值位于和此直方图-PDF构成系统的不变度量[18]. 因此,如果我们使用这个PDF,我们可以获得接近其对应最大值的香农熵值:logistic映射与不相关随机噪声几乎无法区分。 如果在从时间序列中提取相关PDF时适当考虑了时间因果关系(在序列值中),这个问题可以得到解决,这是人们从Bandt和Pompe方法中自动获得的结果[11]. 具体来说,在无约束随机过程(不相关过程)每个有序模式出现的概率相同[25,26,27,28]. 也就是说,如果数据集足够长,所有顺序模式最终都会出现。 阿米戈和同事[25,26]建议使用最后一个属性进行测试,即为了区分受观测白噪声(不相关噪声)污染的有限时间序列中的确定性(混沌)和纯随机性,丢失的序数模式的数量。该测试基于两个重要的实际属性:它们的有限性和噪声污染。这两个属性很重要,因为有限性会在没有约束的随机序列中产生缺失模式,而噪声会模糊确定性时间序列和随机时间序列之间的差异。阿米戈提出的方法等。[26]包含在缺少顺序模式(长度)衰减之间的图形比较中D类)作为序列长度函数的被分析时间序列N个以及对应于高斯白噪声的衰减。 随机过程也可能呈现出被禁止的模式[14]. 然而,在不相关或某些相关随机过程的情况下,可以从数值上确定不出现了被禁止的模式。此外,还可以导出分析表达式[29]对于一些随机过程(即基于长度有序模式的PDF分数布朗运动). Carpi最近扩展了Amigó的方法等。[30]用于分析此类随机过程:特别是分数布朗运动(fBm)、分数高斯噪声(fGn)和功率谱和(). 更准确地说,他们分析了缺失有序模式的衰减率,作为模式长度的函数D类(嵌入维数)和时间序列长度N个结果表明,对于固定的模式长度,随机过程中缺失序数模式的衰减不仅取决于序列长度,还取决于它们的相关结构。换句话说,缺失的序数模式在具有较高相关性结构的时间序列中更为持久。卡皮等。[30]还表明,丢失有序图案的估计衰减率的标准偏差随着增加而减小D类这是因为更长的模式包含更多的时间信息,因此更有效地利用相关结构捕捉时间序列的动态。 3.2. 统计复杂性与复杂性熵平面
众所周知,熵测度不能量化过程中存在的结构或模式的程度[5]. 此外,最近的研究表明,统计或结构复杂性的度量对于更好地理解混沌时间序列是必要的,因为它们能够捕获其组织属性[31]. 这种特定类型的信息并不是通过随机性度量来揭示的。相反的极端完美顺序(如周期序列)和最大随机性(如公平抛硬币)没有复杂的结构,统计复杂性为零。在这些极端之间,存在着广泛的物理结构可能程度,应通过统计复杂性度量。引入了一种有效的统计复杂性度量(SCM)来检测动力学的基本细节并区分不同程度的周期性和混沌[32]. 该度量提供了对系统概率分布细节的额外洞察力,而这种概率分布不受熵等随机性度量的区分[13,31]. 它还可以帮助揭示与正在研究的物理过程各组成部分之间的相关结构有关的信息[33,34]. 此度量是概率分布函数的函数P(P)与时间序列相关,定义为归一化香农熵和另一个称为不平衡的术语的乘积。使用序数模式PDF自然会带来几个优点,即。包含时间序列元素之间的时间关系以及非线性单调变换的不变性。
更正式地说,如下[35],MPR统计复杂性度量定义为产品属于(i)归一化香农熵和(ii)所谓的不平衡定义为广义(热力学意义上)Jensen–Shannon散度链接两个PDF[36]. Jensen–Shannon散度量化了两个(或多个)概率分布之间的差异,对于比较不同序列的符号组成特别有用[37]. 此外,复熵平面,它代表了系统复杂性的演化,作为其熵的函数,用于研究由某些特征参数修改引起的系统动力学变化(例如,参见[12,15,38,39,40]以及其中的参考)。以这种方式构建的复杂性测度具有许多热力学量中发现的密集性质[32]. 我们强调,上述定义的统计复杂性是两个归一化熵(香农熵和Jensen–Shannon散度)的函数,但该函数并不平凡,因为它取决于两个不同的概率分布,即,对应于系统状态的一个,P(P)和均匀分布,,作为参考状态。 3.3. 时间尺度的识别
通常,当第一次研究一个复杂的物理或生物系统时,其调查的第一个几乎是强制性的步骤包括确定其特征维度。
通常,这个问题是通过自相关函数或延迟互信息来解决的(例如,请参见[41,42]). 最近,PE被提议作为一种替代方法。具体来说,这个想法是,当嵌入延迟的值为τ(见方程式4等于系统的特征延时。 Zunino及其同事已经对这种方法进行了检查[22]带有Mackey–Glass振荡器生成的时间序列[43]. 结果表明,置换熵表现出与系统延迟相对应的最小值,以及与该延迟的谐波和次谐波相对应的其他二次极小值。此外,还表明,即使在使用多个延迟或时间序列受到噪声污染的情况下,该方法也能够恢复系统的特性。在[23]该技术还应用于具有光反馈的混沌半导体激光器产生的时间序列,可以识别系统的三个重要特征:反馈时滞、弛豫振荡周期和脉冲时间尺度。类似的应用程序也可以在[24,44,45]. 3.4. 时间序列之间的相关性
确定两个或多个时间序列的动力学之间的关系是许多科学领域的一个相关问题,其中包括经济学和生物物理学。过去曾提出过几种技术,但它们通常需要事先了解绘制时间序列的概率分布。PE的模型依赖性使其成为解决此问题的理想工具。
Matilla-GarcíA和Ruiz Marín提出了一种基于排列模式的时间序列独立性测试[46]. 具体来说,给定一个二维时间序列和嵌入维度D类,到的每个子集二维置换模式已分配。注意,由于时间序列的维数,可能的模式数量从到.所有的出现概率生成全局概率分布∏。当时间序列的两个分量相互独立时,证明了∏上计算的Shannon熵渐近遵循分配。由于使用了排列模式,该方法的优点是不需要任何模型假设(即,它是非参数的),并且适用于非线性过程的分析。 几篇论文扩展了马蒂拉·加西亚和鲁伊斯·马林的工作[46]. 例如,在[47]提出了一种空间独立性测试方法;英寸[48]排列熵用于检测空间结构,特别是相邻度的顺序;此外,在[49]符号熵用于评估线性和非线性空间因果关系的存在。 卡诺瓦斯等。[50]基于列联表的构建,提出了一种分析两个时间序列相关性的替代方法,即,矩阵,其中报告了两个不同时间序列中两个模式同时出现的频率。构建列联表后,可以使用标准统计检验来检查这两个系列的独立性,包括皮尔逊四分法、G检验或费希尔-弗里曼-霍尔顿检验[51]. 最后,值得注意的是巴赫拉米纳萨布的工作等。[52]其中,置换熵与条件互信息一起用于评估两个时间序列之间的因果(或驾驶员响应)关系。用van der Pol振荡器对该方法进行了测试,证明其对外部噪声具有良好的耐受性。 3.5. PE定义的一些改进
PE的原始定义存在两个主要缺陷,最近已经提出了解决方案。
首先,很明显,当使用Bandt–Pompe方法对时间序列进行符号化时,没有考虑相邻值之间差异的大小。因此,外观非常不同的向量映射到同一符号。Liu和Wang介绍了细粒度PE(FGPE),其中在排列类型中添加了一个因子,用于区分这些不同的向量[53]. 结果表明,FGPE能够更灵敏地识别时间序列的动态变化,并更接近混沌时间序列的Lyapunov指数。显然,与计算传统PE所需的时间相比,估算FGPE所需时间稍大。 其次,通过假设所研究的时间序列具有连续分布,Bandt和Pompe[11]忽略相等值,只考虑数据之间的不相等。此外,这些作者建议根据可能的等式的出现顺序对其进行排序,或通过在原始时间序列中添加小的随机扰动来消除它们。卞(音)等。[54]最近提出了改进的置换熵(mPE)方法,用于改进等值的符号化。他们已经表明,当观测到的时间序列以较低分辨率数字化时,相等值的概率可能非常高。在这种情况下,处理等式的原始配方可能会在结果中引入一些偏差。通过将相等的值映射到相同的符号,mPE可以更好地描述系统状态。与三个不同组(年轻人、老年人和充血性心力衰竭)相关的心率变异性的复杂性在这个改进版本中得到了更好的描述,从而在各组之间实现了更明确的区分。 4.生物医学应用
在过去几年中,排列熵和相关度量已成为研究生物系统(如大脑或心脏)时间序列的特别合适的复杂性度量。这种日益成功的原因是多方面的。
首先,生物系统通常具有复杂的动力学特征,即使在静止状态下也具有丰富的时间结构[55]. 例如,自发的大脑活动包含一组动态转换状态,这些状态在大脑皮层不断被重新编辑[56],以非随机方式[57,58]. 另一方面,各种病理学与高度定型的活动模式的出现有关[59]. 例如,癫痫发作通常以有序的症状序列为特征。置换熵似乎特别适合在健康系统和病理状态下捕捉这种结构。 第二,虽然在过去几十年里,已经设计了大量的线性和最近的非线性方法来从时间序列中量化这种结构[60,61]除了对潜在动力学的类型作出限制性假设外,他们中的大多数人甚至容易受到低水平噪声的影响。即使最具确定性,生物时间序列也通常包含一定程度的随机性,例如以动态和观测噪声的形式。因此,分析此类系统的信号意味着采用无模型且稳健的方法。与大多数非线性度量相反,置换熵和导出的度量可以针对任意真实世界的时间序列进行计算,并且对噪声源和伪影相当鲁棒[11,62]. 最后,用于临床目的的实时应用需要计算简约的算法,这些算法可以为相对较短且有噪声的时间序列提供可靠的结果。大多数现有的方法都需要长的、稳定的和无噪声的数据。相反,置换熵是非常快速和稳健的,并且在有大量数据集且没有时间进行预处理和参数微调时显得特别有利。
在下文中,我们简要概述了有序时间序列分析在大脑(电)活动研究中的应用,即在癫痫研究中[63,64,65,66,67,68,69],麻醉学[70,71,72,73,74]和认知神经科学[75,76]. 下面回顾的所有研究都调查了用脑电图(EEG)技术记录的大脑电活动。我们还回顾了使用源于原始Bandt和Pompe方法的各种方法对心率节律的研究[17,19,52,54,77]. 4.1. 癫痫研究
癫痫是最常见的神经系统疾病之一,约占世界人口的1%。癫痫表现为癫痫发作,癫痫发作是由异常、超同步的大脑活动引起的。癫痫发作的突然且往往是不可预见的,这是该病最令人致残的方面之一。在许多癫痫患者中,抗癫痫药物可以很好地控制癫痫发作。然而,大约30%的患者对可用的药物没有反应。对于这些患者,神经外科切除致痫性脑组织可能是一种解决方案。通常,外科医生通过在患者的大脑中植入颅内电极来努力识别这种组织。正确识别癫痫活动的存在,表征相应大脑活动的时空模式,并预测癫痫发作的发生是主要的挑战,有效解决这些挑战可以显著提高癫痫患者的生活质量。
4.1.1. 分类
在生物医学研究中,能够对不同的情况进行分类通常非常重要,例如用于诊断目的。在癫痫患者中,区分正常和病理脑电图记录通常是一项非平凡的任务。有序模式分布已被证明是分类和区分各种生物系统动力学状态的一种有价值的工具。维西等。[65]说明了置换熵对正常和癫痫脑电图进行分类的能力。用判别分析进行分类的结果表明,置换熵测度可以区分正常和癫痫脑电信号,对于干净脑电信号的准确率超过97%,对于高噪声脑电信号则超过85%。 4.1.2. 确定性检测
癫痫发作通常表现为高度定型的症状和体征序列,变异性有限。辛德勒等。[59]推测这种刻板印象可能意味着发作性神经元动力学可能具有确定性特征,并且这可能在大脑的发作性区域增强。为了验证这一假设,作者使用了16名患者发作期脑电图多通道记录的时变平均禁用模式数。颅内EEG的结果表明,神经元动力学在时空上向更确定的动态机制发生了有限的转变,特别是在癫痫发作期。虽然在癫痫发作期间,禁用模式的平均数量没有显著变化,但在癫痫发作的前三分之一期间,电极上禁用模式的最大数量通常会显著增加,然后在癫痫发作终止前后逐渐减少。有趣的是,对于手术后无癫痫发作的患者,癫痫发作期间的最大禁用模式数往往是在视觉检查确定的癫痫发作区内记录的。 4.1.3. 动态变化检测
动态变化的检测是物理学和生物学中最重要的问题之一。事实上,在临床研究中,准确检测从正常状态到病理状态的转变可能会改进诊断和治疗。这在癫痫病例中尤为明显,因为癫痫检测是诊断的必要前提。在过去的二十年中,人们提出了许多数值方法来检测动态变化。然而,大多数这些方法的计算成本都很高,因为它们涉及到检查系统相空间中的潜在动力学。曹等。[63]使用排列熵来识别三名顽固性癫痫患者记录的颅内脑电图信号中癫痫活动的各个阶段。作者发现癫痫发作后PE急剧下降,随后逐渐增加,这表明癫痫发作后大脑的动力学首先变得更加规则,然后随着其接近正常状态,其不规则性增加。欧阳等。[68]计算用于检测大鼠缺席癫痫发作的有序模式的分布。然后使用两个EEG序列之间的差异性测量来区分发作间期、发作前和发作期状态,即在168次癫痫发作中,109次(64.9%)成功检测到发作前的发作状态。尼古拉和乔治奥[78]研究了置换熵作为自动癫痫发作检测特征的使用。采用支持向量机对正常和癫痫脑电进行分段分类,平均敏感性为94.38%,平均特异性为93.23%。在单次试验分类中获得了完美的敏感性和特异性。最后,关于置换熵在癫痫检测中的应用范围的一个警告性说明来自于布鲁佐的研究等。[69]其中考虑了三名癫痫患者的头皮脑电图数据。通过接收机工作特性分析,作者评估了由前相位和间歇相位引起的有序模式振幅分布的可分性。虽然发作间期和发作前期具有良好的可分性,但发作前期和发作开始时排列熵的变化与警戒状态的变化一致,限制了其在头皮脑电图上预测发作的可能性。另一方面,这一发现表明,对警戒状态进行自动分类可能有用。 4.1.4. 预测
除了癫痫发作的发生率和发作频率外,癫痫发作的突然性和不可控性可能是对患者生活产生负面影响的最重要因素。因此,能够可靠预测癫痫发作发生的方法可以显著改善这些患者的生活质量,并为新的治疗策略铺平道路。锂等。[79]证明,对于一组大鼠来说,排列熵不仅可以用来跟踪脑电图数据的动态变化,还可以成功地检测癫痫发作前的状态。通过计算置换熵的平均值和标准偏差以及另一个常用的度量,确定检测发作前状态的阈值,即,样本熵变化,来自相应的大鼠。该方法成功检测了28只大鼠314次癫痫发作中的169次,平均预测时间约为5秒,优于样本熵(3.7秒)。欧阳等。[67]研究了遗传性失神癫痫大鼠EEG序列的禁戒模式统计。结果表明,从发作间期到发作前,禁用模式的数量显著增加。除了表明从发作间期向发作期过渡的确定性动力学增加外,这些结果还表明,禁用模式可能是失神发作的预测因素。 4.1.5. 时空动力学
虽然大多数癫痫研究的重点长期以来都是确定局部致痫灶,但现在普遍认为癫痫发作动力学本质上是一种空间延伸现象[80]. 一个基本问题是评估在系统不同部分观察到的动力学之间的关系。凯勒等。[64]提出了一种可视化高维时间序列各组成部分之间的时间相关性相似性和差异性的方法。该方法源自对应分析,主要计算模式类型频率。每次,该方法都会量化时间序列组件集的不均匀程度,并提供该系统的一维表示。该方法能够量化癫痫患儿头皮脑电图活动的长期定性变化和局部差异。根据缩放参数计算通道之间的相似性和差异性,从而根据模式频率的特定权重区分组件。 在处理固有的多元数据集时,一个相关的问题是评估所考虑系统的子部分之间的耦合方向(参见第3.4节). 斯坦尼克等。[81]结合转移熵和置换熵分析15例癫痫患者的脑电图记录。结果表明,推导出的指标能够可靠地识别包含癫痫病灶的半球,而无需观察实际的癫痫活动。最后,Li等。[82]提出了一种基于置换分析和条件互信息的方法来估计两个神经元群之间耦合的方向性。模拟显示,在神经元质量模型中,以及在评估局灶性癫痫海马大鼠模型中神经元群体之间的耦合方向方面,该方法优于条件互信息和格兰杰因果关系。这种耦合方向估计方法还允许跟踪捕获事件的传播方向。 总之,这些研究以各种方式回顾了上述观点,通过这些方式,置换熵可以有效地用于解决与癫痫相关的各种基础理论和临床问题。从理论角度来看,使用禁用模式统计的结果暗示了癫痫相关动力学的确定性。从临床角度来看,这些结果表明,置换熵和特别是禁用模式统计不仅可以用于检测癫痫发作,还可以在癫痫发作之前预测即将发生的癫痫发作。此外,尽管禁止序列模式与基于视觉检查的标准脑电图分析在概念上相似,但禁止序列模式可能会提供仅通过视觉检查难以检测的额外信息。例如,辛德勒强调了其临床相关性,尤其是在术前评估中等。研究发现,在通过视觉识别的癫痫发作区记录的脑电图信号中,对于那些没有通过切除该区域而使癫痫发作消失的患者,禁用模式的最大数量往往很少出现[59]. 4.2. 麻醉
麻醉药物主要作用于中枢神经系统。因此,脑电图技术可用于评估麻醉效果。基于脑电图的监护仪是标准麻醉监测的补充,其主要目的是降低手术期间意识障碍的风险。基于脑电图的参数通常旨在将观察到的复杂脑电图模式减少为与麻醉药物效果和临床患者状态(例如意识和无意识)相关的单一值。这些问题在各种研究中进行了研究[70,72,73,74,79],一致表明,排列熵可以用来有效地区分麻醉期间的不同意识水平,从而提供麻醉药物效果的指标。 生物系统,如大脑或心脏呼吸系统,通常在多个时间尺度上表现出活动。即使在静止状态下,不同监管系统之间的相互作用也确保了这些规模的信息不断交换。因此,当不仅在一个特定规模上核算活动,而且在系统运行的所有或大多数相关规模上核算时,正确的描述应该更加准确。这一直觉在两项评估麻醉深度的研究中得到了重要证实。锂等。[83]提出了一种多尺度置换测度,称为复合多尺度置换熵(CMSPE),用于量化七氟醚麻醉期间麻醉药物对脑电图记录的影响。对清醒、轻度和深度麻醉期间的三组模拟脑电图序列进行了检查。结果表明,单尺度置换熵对浅麻醉和深麻醉之间的细微转换是盲的,而CMSPE指数准确地跟踪了这些变化。在意识丧失期间,CMSPE的反应明显快于单尺度排列熵。此外,CMSPE的预测概率略高,并且与麻醉水平密切相关。这些结果与最近一项研究的结果一致[74]其中,单尺度置换和多尺度置换熵在评估麻醉深度方面都有很好的结果。 4.3. 认知神经科学
了解大脑活动的兴趣超出了临床领域。例如,认知神经科学研究生物底物,主要是大脑活动和潜在认知。一项典型的认知神经科学研究涉及平均大脑对给定刺激的反应(电或血流动力学)。从大脑活动固有的可变性中提取所观察到的特定于刺激的反应部分是一项具有挑战性的任务。辛克尔及其同事[75,76]展示了如何使用顺序模式方法来获得更好的信噪比。这是使用置换熵结合递归定量分析(RQA)完成的。作者表明,这种方法的结合可以改进事件相关电位(ERP)的分析,即试验平均EEG信号时间锁定到给定的行为事件。由此产生的被称为顺序模式递归图(OPRP)的技术被应用于语言处理实验期间记录的脑电图数据,从而显著减少了提取任务相关ERP所需的试验次数。 顺序模式也可用于认知神经科学实验中不同试验类型之间的分类。例如,使用排列熵来表征三名受试者执行四种不同运动图像任务的脑电图信号,然后使用支持向量机对其进行分类[84]. 可以实现比传统分类器更高的受试者单次试验分类准确度,偶尔也可以实现完美分类。 4.4. 心脏节律
心脏病通常与心率变异性和搏动间期(BBI)特征模式的变化有关。区分生理和病理BBI模式是一个关键的诊断工具。BBI时间序列的成功分类关键取决于重要功能的可用性。置换熵一直被证明可以大大提高区分不同生理和病理条件下心率变异性的能力[54]. 在区分充血性心力衰竭患者和健康受试者时,顺序模式统计被证明比已建立的心率变异性指标更有效[17]. 顺序模式也被证明是胎儿心脏状态分类的重要特征[19]并且可以通过考虑时间序列的顺序结构来开发和研究聚类方法。伯格等。[77]比较了大量信号特征,包括常规心率变异性参数,以及基于序数模式的统计;目的是评估他们形成合适信号分类器基础的能力。对患有心肌梗死(MI)的动物和人类的研究结果表明,顺序模式可能代表有意义的特征。 心脏不断与其他生理调节机制相互作用,一个系统的故障会触发整个网络的崩溃。理解和量化这些系统之间复杂的耦合模式交互模式是一个重大的理论挑战。两项研究用有序模式统计适当地修改了耦合方向性的信息论度量。巴赫拉米纳萨布等。[52]介绍了一种基于置换熵的方向性指数,它可以区分单向耦合和双向耦合,揭示和量化双向耦合中的不对称性。该方法在20名健康受试者的心肺数据上进行了测试。与现有的生理学文献一致,这项研究的结果表明,呼吸对心脏的驱动作用大于反之。 综上所述,这些结果说明了基于置换熵的方法可能用于解决心脏病学领域中常见的非平凡诊断问题。概念的简单性和计算效率使这种数据分析方法成为筛选和检测孤立系统(如心脏)和耦合系统中生理活动病理模式的极好方法。
5.经济物理应用
评估特定市场的效率和潜在发展是经济学中的一个基本问题,因为这对政治经济学有着明确的影响。主要问题是,这种评估只能通过分析市场指标的时间序列来进行,而市场指标通常是唯一可用的客观输出。有效市场假说(EMH)规定,有效市场应该是完全不可预测的,因为任何确定性结构都可以用来超越市场。如前所述,PE可以有效地用于区分确定性混沌和随机噪声。
使用Bandt和Pompe方法实现这一点的一种自然方法是量化序列中的禁用模式,因为它们的存在表明存在确定性混沌动力学(参见第3.1节). 这一想法在年首次得到检验[85]其中,不同财务指标(道琼斯工业平均指数、纳斯达克综合指数、IBM和波音纽交所股票以及10年期美国债券利率)的实时序列显示,如果不同的时间序列是随机的,则其具有许多被禁止的模式,至少比预期高出两个数量级。通过采用带滑动窗口的滚动样本方法,还发现,禁止模式的演变允许识别出噪声超过财务指标确定性行为的时间段。 除了有助于评估决定论的存在与否,被禁止的模式的数量还可以用来量化市场结构的数量,这反过来又是股市发展水平的一个指标。因此,关于有序模式的统计数据可以作为股票市场效率的模型依赖性度量。在[86]对32个不同国家(包括18个发达市场和14个新兴市场)的股市指数进行了违禁模式数量和归一化市盈率估计。发达市场的禁止模式数量较少,标准化市盈率较高,这表明它们的可预测性较差。 在这个想法的基础上,Zunino和同事分析了库存的位置[38],商品[39]和主权债券[87]复杂性熵因果关系平面中的市场(参见第3.2节). EMH规定,有效市场应与大熵和低复杂性值相关联。时间模式的存在导致了与完全随机过程相关的位置的偏差。因此,到这个随机理想位置的距离被用来量化所分析市场的无效性。结果来自[38,87]结果表明,复熵因果平面能有效区分新兴和发达股市。 股市分析中的另一个常见问题是判断两个或多个时间序列之间的依赖程度。在[46],作者提出了一种基于序数模式的测试,该测试在第3.4节此外,该方法还根据道琼斯工业平均指数、标准普尔500指数和三个汇率时间序列(法国法郎、德国马克和加拿大元均对美元)的每日财务收益进行了评估。结果表明,所有五个时间序列都不是独立的,因此大大偏离了随机过程。 最后,它最近才被展示出来[88]能源市场的波动性可以通过PE及其改进版本FGPE进行有效量化,定义见第3.5节通过数值例子,作者证明了这两种基于序数模式的方法比传统的离散度量(如标准差)更适合于估计与时间序列相关的不确定性。此外,对一些典型电力市场(Nord Pool、Ontario、Omel和四个澳大利亚市场)的分析表明,这些措施有能力检测有趣的特征,如波动的季节性行为和市场之间的关系。 6.结论
在这项工作中,我们回顾了10年前Bandt和Pompe引入的技术[11]这是基于对时间序列中排列模式出现频率的评估。讨论了该方法的数学基础,并描述了原始概念的一些扩展。 Bandt和Pompe方法代表了一种极其简单的技术,它只需要基本形式的两个参数:模式长度/嵌入维度D类和嵌入延迟τ它最重要的优点在于能够提取有关系统动力学的有用知识。禁止模式的数量通常与其他经典非线性量词有关,例如,Lyapunov指数[89],但可以用最小的计算成本进行计算。此外,序数模式的相关PDF对于非线性单调变换是不变的。因此,由测量设备人工引入的非线性漂移或缩放不会修改量词的估计,如果处理实验数据,这是一个很好的特性[90]. 另一个有价值的特性是它对观测噪声和动态噪声的鲁棒性[11]. 最后,它是无模型的,可以应用于任何类型的时间序列,即规则、混乱、嘈杂,等. 虽然PE的最初目标是区分混沌和随机动力学,但很快就清楚,这种方法可以有效地用于解决时间序列分析中的一些重要问题:(a)对不同动力学进行分类;(b) 识别时间序列中的断点;(c) 预测未来事件;(d) 确定时间尺度;(e) 量化时间序列之间的差异;或(f)确定方向性和因果关系。此外,虽然该方法最初设计用于处理简单的标量时间序列,但它已成功地扩展到多变量和多尺度系统。
已经讨论了在经济和生物系统中的几种应用。然而,在文献中可以找到无数其他应用示例:它们包括相关随机过程的特征描述[91,92,93]和激光动力学[94,95,96,97],量子经典跃迁的识别[20,98,99,100],太阳风时间序列分析[101]和气候演变[90],歌曲分类[102]、电机电流信号分析[103]机床颤振现象的控制[104],基因表达特征[105]、网格计算优化[79]伪随机数发生器(PSRG)的特性描述和改进[7,106,107,108,109],确定保持混沌动力学的混沌吸引子的采样周期[110],以及激光信号中消息的加密测试[111].