科学的一个基本和基本追求是推断因果关系和相互作用。就动力系统科学而言,人们可能会问,哪些动力变量直接或间接地通过中间变量影响其他变量,哪些变量似乎只是由于共同驱动因素的影响而相关。虽然科学发现变量之间因果关系的传统方法是通过形成假设和进行受控真实实验的紧密迭代来实现的,但在过去几十年里,提出了新的面向数据的方法,试图从纯粹的观测数据中检测因果关系,受大规模数据集日益增长的可用性驱动。从理论基础到实际计算问题,观测因果推理对复杂动力系统来说都是一个具有挑战性的问题。本期《焦点》的论文涵盖了社会、物理和生物系统中广泛问题的理论和应用。
科学发现的金标准是通过受控实验进行验证:例如,在标准物理实验中,测试变量对…有影响,一个人亲自干预,更改其状态,并测量这是否对,同时尽可能保持所有其他条件不变。然而,在许多问题上,这种受控实验可能是不可行的,例如,当约翰内斯·开普勒发现行星运动定律时,它是基于对轨道动力学的观察。一般来说,出现的中心问题是如何从纯粹的观测数据中进行因果推断。通过干预和观察得出的因果统计数据在Pearl的大量著作中得到了全面描述,并在参考文献中进行了总结。36它为因果关系制定了一个数学框架,并开发了根据观测数据预测干预措施的条件。
与受控实验相反,有一个概念,即观察一个“自由运行”的复杂系统,而不主动探测它,并从(被动的)与时间相关的观察结果中,询问哪些变量和因素是导致其他变量和因素的可比问题。在这种情况下,因果关系可以被解释为对可预测性(或缺乏可预测性)的一种影响形式,也就是说,如果一个时间序列的知识有助于预测另一个时间系列,那么前者可以被视为并被解释为后者的潜在“因果”。这个公式是格兰杰在工作中特别提出的16这使他获得了2003年诺贝尔经济学纪念奖,19这实际上与诺伯特·维纳(Norbert Wiener)十多年前的工作密切相关。68与上述受控实验设置类似,测试变量对…有影响,其中一个建立了一个预测模型根据观测数据(最常见的是线性自回归模型)和其他协变量的过去,并衡量是否包括在模型中提高了在这里,其他变量没有被积极控制,但它们在统计上受到了控制。
基于Shannon熵和互信息的信息论测度9自然允许从符号描述到连续描述,对复杂动态系统中的依赖性进行非常一般的描述。与线性系统的Wiener-Granger因果关系类似,传递熵已经成为研究非线性动力系统之间成对信息传递问题的一种非常流行的方法。53在基本意义上,从到衡量过去的信息量包含关于,超出的过去,这表明了与格兰杰因果关系的密切相似性。在被分析系统是线性高斯随机过程的特殊情况下,证明了Granger因果关系等价于传递熵。三因此,熵方法更通用,因为它适用于一般分布和非线性影响的情况。还请注意,信息理论度量和格兰杰因果关系一样,本质上都是概率性的,因为它们是以比较状态的概率分布函数为前提的。因此,虽然它自然适用于随机过程,包括随机动力系统29或者随机微分方程,2它还可以很好地描述确定性动力系统。为此,我们简单地通过考虑初始条件集合的演化来重新构建视角,2这基本上是遍历理论的基础63以及转移操作员。5,6,29因果推理的另一个方面通常是基于信息的,即理论度量涉及因果耦合强度的概念。24,38,42,44连续变量的信息论度量可以使用最近邻估计量从数据中最有效地进行估计,26其中置换洗牌测试可用于条件独立性测试,41也就是说,测试一个(有条件的)互信息是否为零。
Arnhold、Hirata、Schiff、Sugihara和其他人的工作通过非线性动力系统的动力吸引子和广义同步的概念来考虑因果关系问题。1,17,20,21,39,51,56从高维吸引子可以通过时滞嵌入从单变量测量时间序列中重构的观点出发,60这些作品利用了可以称为紧密性原则根据这一原理,在因果相关系统中,驱动吸引子中与响应吸引子的状态在时间上接近的状态也应该彼此接近。作为一种实施方式,收敛交叉映射56随着吸引子样本数的增加,通过两个系统吸引子上的最近邻的收敛性来测试贴近性原理。
更多来自统计学和机器学习社区,因果推理问题是在结构因果模型的框架内处理的,与Pearl的工作有关。36彼得斯总结的结构因果模型理论等。,37列出了某些因果模型(例如,具有非高斯误差项的线性模型或非线性模型)可以从观测数据中识别出来的条件,而不一定是时间序列数据,如在格兰杰和非线性动力学背景下,这是本焦点问题的主要主题。
更广泛地说,需要多方面的视角,因为尽管标准的格兰杰因果关系和转移熵非常适合信息流的两个变量(或两个子系统、两个分量)设置,但它们并不是为了提出与三个或更多因素相关的问题,包括维度诅咒问题。45例如,如果我们考虑一个由三个子系统组成的系统,,、和,并询问:does影响直接或确实影响但只有中间人? 对于这些问题,必须对上述概念进行条件变体。存在有条件的格兰杰伤亡,7,12,34条件转移熵和状态条件转移熵,67和导致因果熵的特殊变化8、25、58、59此外,如果希望揭示耦合结构,则需要以这些计算为前提的算法;例如,PC算法和基于瞬时信息的因果发现46它解决了在强自相关情况下大规模非线性因果网络的推理,或最优因果熵(oCSE)方法58,59其被设计为使用(CSE)作为潜在的影响度量来揭示直接信息流影响的网络。
虽然大多数方法都是以数据为导向的详细方法,而且许多方法都是信息理论,但最显著的是梁-克莱曼形式主义31它采用热力学微分方程方法,假设已知方程,本着信息论的精神,这也表明在一定的设置下与传递熵相吻合。为了反驳这一点,可以提出一种理论上的直接转移算子描述6,29利用Jensen-Shannon散度代替Kullback-Leibler散度;这些观点在本期中也得到了强调。
一些研究表明,香农信息理论框架在测量依赖性和因果关系方面存在局限性。一个方面是熵对变量的变化不是不变的,9这是对Ref。65另一项最近的工作指出,有些随机过程的过去与未来完全隔绝。23就多元相关性而言,James等。22详细阐述多元论关系,这些关系甚至从根本上质疑了用成对链接表示超图的有向图的概念。这种多因素或协同因果驱动因素在最佳时间序列预测方案中也至关重要。43
特别是近十年来,因果推理和密切相关的信息流概念的研究有了显著的复兴。这可能有几个潜在原因,但并非最不重要的是,该领域的增长与数据科学、机器学习和“大数据”分析的更广泛增长有关,尤其是在复杂系统的背景下。这一繁荣的原因可以从以下几个方面来描述:大规模、更经济实惠的数据收集平台的可用性不断增加,计算设施和设备的功能越来越强大,成本效益越来越高,到处都有大量来自难以想象的传感器的海量数据集。诸如地球大气层的哪一部分可能对预测地球大气层的其他部分产生影响的问题4,10,33,54,64,69这将过于复杂,无法进行分析考虑,但在大规模计算平台上以数据为导向的方法中,如果可能的话,这样的问题显然很重要。以数据为导向的一般科学问题的答案正普遍进入黄金时代,因果推理和信息流也不例外。应用范围包括社交、,18,32,57,62医学,35,40,49,61,66地球科学,13–15,27,28,47,48,52工程,50,55以及金融和经济,11就这些强大的科学工具的令人兴奋的应用,列举了大量不断增长的文献中的一小部分。
然而,从空间和时间分辨率效应到确定性、非线性以及多元素和协同作用,仍然存在许多未决问题。在本期《焦点问题》中,贡献包括在理论和应用方面对这些主题的研究,例如集体动物行为、相互依存的生态动力学、社会沟通和意见传播、机械和其他工程结构中的传感和监测,以及全球气候系统,从而涵盖了社会、物理和生物系统中的广泛问题。