熵测度的分类

摘要

本文分析了不确定性度量的一些方面。我们需要获得新的方法，用模糊的信息构建适当的条件或限制。经典的熵测度起源于科学领域；更具体地说，来自统计物理和热力学。随着时间的推移，它被克劳德·香农（Claude Shannon）改编，创建了当前不断扩展的信息理论。然而，匈牙利数学家阿尔弗雷德·雷尼（Alfred Rényi）证明，根据目的和/或应用需要，存在不同的有效熵测度。因此，必须澄清不同类型的措施及其相互关系。基于这些原因，我们试图从数学的角度对这种模糊熵测度进行适当的修正。

1.简介

这个香农熵是衡量一个人在不知道随机变量的值时所缺少的平均信息含量。这个概念来源于著名的香农论文[1]. 它代表了在某些约束条件下对任何通信进行最佳无损压缩的绝对限制，将消息编码为独立且相同分布的随机变量序列。

通常，我们用以下表达式定义香农熵：

H（H）(P（P）) = −Σ_我对_我日志对_我= Σ_我对_我日志（1/对_我)

H（H）_n个将是的函数n个非负随机变量，加起来为1，表示概率。H（H）_n个作用于n个-样本上的值元组(对_我)_{我=1,2,...,n个}.

我们从观测中获得的信息等于不确定性降低的程度。

在其主要属性，我们有：

连续性。措施H（H）应该是连续，在这种意义上，改变概率值非常小，只会改变H（H）价值很小。

最大化。措施H（H）如果所有结果的可能性相等，即，当所有可能发生的事件均为等概率时，不确定性最高；因此，

H（H）_n个(对₁，对₂,…,对_n个) ≤H（H）_n个(1/n个, 1/n个,…,1/n个)

熵将随着结果的数量而增加，

H（H）_n个(1/n个, 1/n个,…,1/n个) <H（H）_n个+1(1/(n个+ 1), 1/(n个+ 1),…,1/(n个+ 1))

可加性。熵的大小应该独立于过程是如何被考虑的，因为它被分成了几个部分。这种函数关系表征了系统相对于子系统的熵。它要求能够识别每个系统的熵，然后根据其子系统的熵来计算。

即，如果S公司= ∪_{我=1,2,...,n个} S公司_我，然后H（H）(S公司) = Σ_{我=1,2,...,n个} H（H）(S公司_我).

这是因为统计熵是不确定性或对数据无知的概率度量，而信息是减少不确定性的措施。

熵和相关信息度量提供了随机过程长期行为的描述[2]并且这种行为是发展IT（信息论）编码定理的关键因素。

Andrei Nikolaivich Kolmogorov（1903-1987）对这一数学理论的贡献为Shannon公式提供了巨大的进步，提出了一种新的复杂性理论，现在已被转化为计算机科学。根据这样的理论，消息的复杂性是由能够接收这样的消息所需的程序的大小给出的。从这些观点出发，科尔莫戈洛夫分析了文学文本和主题普希金诗歌的熵。这种熵是文本语义容量的函数，取决于诸如文本的扩展性以及相应语言的灵活性等因素。

还应该提到的是，诺伯特·维纳（1894-1964）被认为是控制论的创始人，他在1948年提出了类似的观点来解决这个问题。然而，Shannon使用的方法与Wiener的方法在传输信号的性质和接收器作出的决定类型方面有所不同。

在香农模型中，消息首先被编码，然后被传输，而在维纳模型中，信号直接通过信道传输，无需编码。

R.A.Fischer（1890–1962）提出的另一个衡量标准，即所谓的费希尔信息(金融机构)，将统计信息应用于估计，表示消息所携带的有关不可观测参数的信息量。

当然，关于信息技术的最初研究是由Harry Nyquist（1889-1976）在1924年进行的，后来由Ralph Hartley（1888-1970）进行的，他在1928年认识到了信息测量的对数性质。这是后来香农和维纳论文中的关键。

罗马尼亚数学家和经济学家尼古拉斯·乔治斯库·罗根（Nicholas Georgescu-Roegen，1906-1994）与卡尔·皮尔逊（Karl Pearson）一起在伦敦学习，他的贡献也很有趣，他的伟大工作是熵定律与经济过程在这本令人难忘的书中，他提出热力学第二定律也支配着经济过程。这些思想允许一些新领域的发展，如生物经济学或生态经济学。

此外，还应注意其他一些措施，研究一种不同的措施，即所谓的误差测量，涉及两个概率分布。

R.雅格[三]、M.Higashi和G.J.Klir[4]将熵测度表示为两个模糊集之间的差异。更具体地说，这是模糊集和它的补集之间的区别，补集也是模糊集。

这个香农熵是衡量一个人在不知道随机变量的值时所缺少的平均信息含量。这些想法来源于他们著名的开创性论文[1]. 它代表了对任何通信的最佳无损压缩的绝对限制，在限制条件下，将消息编码为独立且相同分布的随机变量序列。我们从观测中获得的信息等于不确定性降低的程度。所以，

I=高度(之前) −H（H）(之后)

最后，我们可以定义我(信息)就概率而言，第页，通过以下方式

信息测度的性质，I。

(1)

我(P（P）) ≥ 0,即，信息是一个非负量；

(2)

我(1)=0,即，如果事件的概率为1，则我们无法从事件的发生中获得任何信息；

(3)

如果两个独立的事件发生，我们从观察事件中获得的信息是这两个信息的总和；

(4)

信息测度必须是连续的，也是概率的单调函数。因此，概率的微小变化应该会导致信息的微小变化。

2.图熵

图论已经成为检测各种信息网络中众多隐藏结构的主要工具，包括互联网图形、社交网络、生物网络，或者更广泛地说，任何表示海量数据集中关系的图形。分析这些结构对于引入图熵和图对称等概念非常有用。

我们考虑图上的函数，G公司= (V（V），E类)，带有P（P）节点集上的概率分布，V（V），我们假设随机样本不同，P（P）= (对_我)_{我=1,2,…,n个}，在概率空间上。

被称为图熵的数学结构将由GE表示。它将被定义为

H（H）(G公司，P（P）)=最小值_P（P）[∑_{我=1,2,…,n个} 对_我日志对_我]

观察这样的函数是凸的。在非负正值的边界上趋于+∞R（右）ⁿ此外，沿着离开原点的射线单调地趋向于-∞。因此，这样的最小值总是可以实现的，并且是有限的。

系统的熵表示一个观测者对系统状态的不确定性。系统最简单的例子是一个随机变量，它可以由图中的一个节点来表示，它们的边代表了它们之间的相互关系。信息测量两个系统之间的相关性，并将熵减少到一个微小的差异。所以，图的熵（将由GE表示）是对图形结构的度量，或者是缺少图形结构。

因此，它可以被解释为信息量，或信息传达的“惊喜”程度。由于信息的基本单位是比特，熵也可以看作是图中“随机性”的比特数，验证了熵越高，图的随机性就越强。

让G公司现在是任意有限根有向非循环图（缩写为DAG）。对于每个节点，v（v），我们表示我(v（v）)终止于的边数（v）。然后，图的熵可以定义为

H（H）(G公司) = ∑[我(v（v）)−1]日志₂; [（（卡片(E类)−卡片(V（V）)+1）/（i）(v（v）) − 1))]

H（H）（十） 可能有不同的解释。例如，给定一个随机变量，X（X），它告诉我们随机性X（X）我们应该有多大的不确定性X（X），或者有多大的可变性X（X）有。

在图着色问题的一个变体中，我们采用目标函数来最小化这种着色的熵。因此，它被称为最小熵着色。在色熵中，我们理解着色的最小熵。它在编码问题中的作用至关重要。如果我们从计算的角度考虑这个问题，它将是NP-hard型的；例如，在区间图上。

对熵的不同概念的研究将非常有趣，不仅在物理学上，而且在信息论和其他数学科学上，从更广泛的角度来看。此外，它还可能是一个非常有用的工具，例如用于生物计算，或用于许多其他领域，例如研究环境科学。这是因为，在具有重要实际后果的其他解释中，熵定律意味着能量不能完全回收。

到目前为止，人们引用了许多关于这一模糊测度的内容和意义的话，例如：

“熵的增加总是意味着信息的损失，仅此而已”。

[5]

“信息就是已知的熵。熵就是未知的信息”。

[6]

互信息和相对熵，也称为Kullback-Leibler散度除其他相关概念外，在学习系统中非常有用，无论是在有监督还是无监督的情况下。

我们试图分析不同类型的熵之间的相互关系，例如：

-

这个量子熵，也称为冯·诺依曼熵；

-

这个KS-熵（来自科尔莫戈罗夫和西奈），也被称为度量熵[7，8];

-

拓扑熵；或

-

这个图形熵等等。

3.量子熵

1927年，匈牙利数学家Janos Neumann（又称约翰·冯·诺依曼）首次定义了熵，目的是展示量子测量过程的不可逆行为。事实上，量子熵（将表示为定量定量分析)是先前吉布斯熵在量子领域的延伸[8]. 它将被解释为实验者在相同的混合状态下对一系列观察结果进行多次复制时获得的平均信息。它在研究相关系统以及定义纠缠测度方面起着非常重要的作用。回想一下，“纠缠”是量子力学的一个特性，它导致爱因斯坦不喜欢这个理论。然而，从那时起，量子力学已经取得了非常成功的预测实验结果，并且也在这种纠缠理论预测的相关性上得到了证明。

我们可以将QE的概念应用于网络。由于QE是为量子态定义的，我们需要一种将图形映射为状态的方法。量子力学系统的这种状态由密度矩阵描述。通常，它表示为ρ它是一个酉半正定矩阵追踪(ρ)=1.然而，有许多不同的方法可以将图形与密度矩阵相关联。到目前为止，我们已经通过某些有趣的结果消除了几个问题，但仍有许多未决问题。

在已知结果之间，我们可以看到d-正则图的熵在以下情况下趋于极限n个→ ∞ 熵K（K）_n个，即。，的n个-完整n-图。

另一个结果可能是图的熵随着其边的基数而增加。

在这些公开的问题中，我们可以列出其中一些与一个有趣的工具相关的问题，一个相关的矩阵，称为归一化拉普拉斯算子。这由定义

£(G公司) = Δ^−1/2 我(G公司) Δ^−1/2

这个组合拉普拉斯矩阵属于G公司（节略，G的拉普拉斯算子)表示为

我(G公司) = Δ(G公司) –A类(G公司)

因此，可计算为矩阵度Δ之间的差值(G公司)，和邻接矩阵，A(G公司).

这个度节点的v是相邻边的数量v（v）通常表示为d日(v（v）). 这个度数总和图G是d日_G公司，它将由d日_G公司= ∑d日（v） ●●●●。这个平均学位属于G公司表示为d日_G公司 ^*=米∑d日(v（v）)，其中米是非孤立节点的数量。

图表，G公司，是d-常规，如果d日(v（v）) =d日，对于所有人v（v）∈V（V）(G公司).

这个度矩阵G的是(n个×n个)-矩阵的条目如下所示

[Δ(G公司)] (u个，v（v）) =d日(v（v）),如果u=v；否则为0

所以拉普拉斯语图形的，G公司，按度数和缩放为密度矩阵，

ρ_G公司=((我(G公司))/(d日_G公司))=((我(G公司))/(信托收据(Δ(G公司))))=((我(G公司))/(日（m）_G公司 ^*))

用密度矩阵熵的著名表达式，ρ，由S公司(ρ) = −信托收据(ρ日志₂ ρ).

因此，从图的拉普拉斯概念出发，我们可以说S公司(ρ_G公司)是的QEG公司.

如果我们假设特征值的两个递减序列我（G） 和ρ_G公司，分别由给出

λ₁≥λ₂≥…≥λ_n个=0，和μ₁≥μ₂≥ ... ≥μ_n个= 0

通过比例因子相互关联，即，

μ_我= ((λ_我)/(d日_G公司)) = ((λ_我})/(日（m）_G公司^*))

因此密度矩阵ρ的熵_G公司也可以写成

S公司(G公司) = −∑μ_我日志₂ μ_我

使用符号约定0 log 0=0。由于其行总和为0，因此我们可以得出结论，密度矩阵的最小特征值也必须等于零，并且图的连通分量的数量由0的重数作为特征值给出。

QE是一个非常有用的工具，用于解决诸如何时应用于生成树枚举之类的问题。

4.算法熵

算法熵生成字符串的最小程序的大小。它由K（K）(x个)或AE。它有许多不同的名称，例如，Kolmogorov-Chaitin Complexity，或仅Kolmogoriv Complexition，也称为随机复杂性，或程序规模复杂性[9，10]。

不良事件是一个对象中信息量的度量，x。因此，它还可以度量其随机性程度。对象的AE是对指定此类对象所需计算资源的度量。即，字符串的AE是可以产生该字符串作为其输出的最短程序的长度。因此，量子算法熵（QAE），也称为量子Kolmogorov复杂性（QKC）是通用量子图灵机（UQTM）的最短量子输入长度，它可以产生高保真度的初始“量子比特”字符串。因此，香农熵的概念与香农熵有很大不同，因为它是基于概率分布的，而AE是基于程序的大小。

所有使用的字符串都可以是∑的元素^*= {0,1}^*，按字典顺序排列。字符串的长度x个表示为|x个|.

让单位是一个固定的无前缀通用图灵机。对于∑的任何字符串x^*= {0,1}^*，的x的算法熵将由定义

K（K）(x个) =最小值 _对{|对|以下为：单位(对) =x个}

从这个概念中，我们可以引入t-time Kolmogorov复杂性，或t时限算法熵[11]。

任何时候都可以建设t吨，我们通过

K（K）^t吨(x个) =最小值_对{|对|:单位(对) =x个，最多t(|x个|)步骤}

从这些中，我们可以得到x个和年，

(我)K（K）(x个) ≤K（K）^t吨(x个) ≤ |x个| +O（运行）(1),

(1)

还有

(ii（ii）)K（K）^t吨(x个/年) ≤K（K）^t吨(x个) +O（运行）(1)

Kolmogorov-Chaitin（KC，缩写）作为一种新工具，在组合数学、图论、算法分析或学习理论等领域具有多种应用[10，11]。

5.度量熵

我们现在考虑度量熵，也称为科尔莫戈洛夫熵或Kolmogorov-Sinai熵，缩写K-S熵。它的名字与安德烈·科尔莫戈洛夫（Andrei N.Kolmogorov）及其弟子雅科夫·西奈（Yakov Sinai）有关[4]。

让(X（X），Ω，μ)是概率空间，或者更一般地说，是模糊可测空间[12]. 回想一下X（X）它们的每个元素都是一个可测集，因此是模糊σ-代数的元素，Ω.然后让我^X（X）是从X到闭合单位间隔的映射集，I=[0,1]。

A类模糊σ-代数，∑，在非空集合上，X（X），是I的一个子家族^X（X）满足于

(1)

1∈ Σ;

(2)

如果α∈∑，然后是1–α∈ Σ;

(3)

如果{α_我}是∑中的序列，然后是∨α_我=支持_我∈ Σ;

A类模糊概率测度，在模糊σ-代数上，∑是一个函数

米:Σ → [0,1]

它可以容纳

[1]

米(1) =1

[2]

对于所有α∈∑，m（1−α）=1−m(α)

[3]

对于所有的α，β∈∑，m(α ∨ β) +米(α ∧ β) =米(α) +米(β)

[4]

如果{α_我}是中的序列Σ,这样α_我↑ α、 是α∈ Σ,则m（α）=sup{米(α_我)}

我们打电话给(X（X），Ω，μ)一个模糊概率测度空间，以及的元素Ω被称为可测模糊集.

“模糊划分”由E.Ruspini介绍。给定一个有限的可测分区，℘, 我们可以定义它熵通过

H（H）_μ(℘) = ∑_对∈℘− μ（p） 日志μ(对)

在这些情况下，我们通常采用0log0=0作为约定。

让T型:X（X）→X（X）是一个保测度变换。然后有限可测分区的熵, ℘, 表示为

小时_μ(T型，℘) =林 _n个→∞ H（H）_μ(∨^−k℘)

具有H（H）_μ分区的熵，其中∨表示分区的联接。这样的限制总是存在的。

因此，我们可以定义T的熵作为

小时_μ(T型) =支持_℘小时_μ(T型，℘)

通过对所有有限可测分区取上确界。

多次小时_μ(T型)被命名为T的度量熵。因此，我们可以将这个数学对象与众所周知的拓扑熵区分开来。

我们可以研究度量熵和覆盖数之间的相互关系。

设（X，d）为度量空间Y（Y）⊆X（X）是的子集X（X）我们这么说Y（Y）^*⊆X（X）是一个ε-盖属于Y（Y），如果每个年∈Y（Y），存在一个年^*∈Y（Y）^*这样d(年，年^*) ≤ ε. 很明显，Y有很多不同的封面，但我们在这里特别感兴趣的是一个包含较少元素的封面。

我们称这种封面的基数或大小为封面号码。数学表示，ε-覆盖数Y（Y）是

N个(ε，Y（Y），d日) =最小值{卡片(Y（Y）^*):Y（Y）^*是ε-覆盖}

A类适当的覆盖是一个Y（Y）^*⊆Y（Y）.和一个正确覆盖数定义为最小适当覆盖的基数。覆盖数和适当的覆盖数都由

N个(ε，Y（Y）) ≤N个_适当的(ε，Y（Y）) ≤N个((ε/2） ，Y（Y）)

此外，我们还记得度量熵，H（H）(ε,Y（Y）)是需要发送的一组位的基数的自然表示，以便将集合中的元素标识为精度ε。它将由

H（H）(ε，Y（Y）) =对数N(ε，Y（Y）)

在动力系统中，非混沌运动的度量熵等于零。对于混沌运动，它严格大于零。因此，它将被解释为动力系统复杂性的一个简单指标。

6.拓扑熵

让(X（X），d日)是一个紧度量空间，设f:X→ X是一个连续的映射。对于每个n个>0，我们定义了一个新的度量，d日_n个，由

d日_n个(x个，年) =最大值{d日(（f）^我(x个),（f） ^我(年)):0≤i<n}

两点，x个和年，与此指标接近，如果他们的第一个n个迭代次数（由（f）^我，我=1，2，…）接近。

对于ε>0，以及n个∈N个*，我们说S⊂X是(n个，ε)-分离集，如果每对，x个，年S点的，我们有d个_n个(x个，年) >ε。表示方式N个(n个，ε)a的最大基数(n个，ε)-分离集。它一定是有限的，因为X（X）结构紧凑。一般来说，这个极限可能存在，但它可能是无限的。对这个数字的一种可能解释是，它是衡量可分辨轨道段数量的平均指数增长。所以，我们可以说拓扑熵越高，我们的轨道就越有本质上的不同[2，7]。

从分析的角度来看，拓扑熵是一个连续的单调递增函数。

N个(n个，ε)显示长度的“可分辨”轨道段的数量n个假设我们无法区分间距小于ε的点。

f的拓扑熵定义为

H（H）_顶部=林_ε→0 极限支持_n个→∞[(1个/个)日志N个(n个，ε)]

因此，TE是一个衡量系统复杂程度的非负数。因此，它给出了一组可分辨轨道的基数随时间推移的指数增长[13，14，15，16]。

7.色熵

系统可以定义为作为一个整体一起工作的一组组件。系统的观点使我们能够孤立世界的一部分，因此，我们可以专注于那些比其他方面互动更密切的方面。系统的熵表示一个观测者对系统状态的不确定性[10，12]. 一个系统最简单的例子是一个随机变量，它可以由图中的一个节点表示，它们的边代表了它们之间的相互关系。信息衡量两个系统之间的相关性，并减少到熵之间的差异。因此，图的熵（将用GE表示）是对图结构或缺乏图结构的度量。因此，它可以被解释为通过消息传递的信息量或“惊喜”程度。此外，由于信息的基本单位是比特，熵也可以被视为图中“随机性”的比特数，验证了熵越高，图的随机性就越强。

我们考虑图上的函数，G公司= (V（V），E类)，P是其节点（或顶点）集上的概率分布，V。这个数学结构将由GE表示，并定义为

H（H）(G公司，P（P）) =最小值∑对_我日志对_我

让G公司现在是任意有限根有向非循环图（DAG，缩写）。对于每个节点，v（v），我们表示我(v（v）)终止于v的边数。然后，图的熵为

H（H）(G公司) = ∑[我(v（v）)−1]日志₂[((卡片(E类) −卡片(V（V）) + 1)/(我(v（v）)−1））]

H（H）(X（X）)可能有不同的解释。例如，给定一个随机变量，X（X），它告诉我们随机性X（X）我们应该有多大的不确定性X（X），或可变性有多大X（X）拥有。

在“图着色问题”的一个变体中，我们采用目标函数来最小化这种着色的熵最小熵着色。

在色熵，我们理解着色的最小熵。它在编码问题中的作用至关重要。如果我们从计算的角度考虑这个问题，它就是NP-hard；例如，在区间图上。

8.熵之间的相互关系

20世纪50年代中期，俄罗斯数学家安德烈·科尔莫戈罗夫将香农的熵概率概念引入动力系统理论，并展示了如何使用熵来判断两个动力系统是否是非共轭的，即，非同构。他的工作启发了一种全新的方法，即熵作为一类动力系统的数值不变量出现。由于Kolmogorov度量熵是测度理论动力系统的不变量，因此它与Shannon源熵密切相关[14]。

Ornstein证明了度量熵足以完全分类双边Bernoulli过程，这是一个几十年来一直难以解决的基本问题。最近，已经展示了如何对单边Bernoulli过程进行分类；事实证明，这要困难得多。1961年，Adler等人介绍了[17，18]上述拓扑熵是拓扑动力系统的类似不变量。这些量之间存在一个非常简单的关系，因为在定义在动力系统上的一类合适的测度上最大化度量熵，就得到了它的拓扑熵。在测度理论（K-S）意义上，TE和熵之间的关系由所谓的变分原理，从而确定

小时(T型) =支持{小时_μ(T型)}_{μ ∈P（X）}

这可以解释为TE等于Kolmogorov-Sinai（或K-S）熵的上确界，小时_μ(T型)，其中μ属于所有T型-上的不变Borel概率测度X（X）.

算法熵和香农熵之间的相互关系是，前者的期望值为我们提供了后者，最大值为常数，取决于分布。

此外，我们可以将P（x）的偏离表示为递归概率分布，即

0≤ ∑P（P）(x个)K（K）(x个) −H（H）(P（P）) ≤K（K）(P（P）)

最后，我们回顾一下，给定一个随机变量X，它的香农熵由提供

H（H）(X（X）)=-∑P（P）(x个)日志₂ P（P）(x个)

而有序的Rényi熵α此类随机变量的≠1将为

H（H）_α(X（X）)=(1/(1− α))日志₂(∑P(x个)^α)

α阶Renyi熵收敛于Shannon熵，当α趋于1时，即，

林_α→1｛（1/（1− α))日志₂(∑P(x个)^α)}=-∑P(x个)日志₂P（P）(x个)

因此，

林_α→1 H（H）_α(X（X）) =H（H）(X（X）)

因此，Rényi熵可以看作是Shannon熵的推广，或者说，Shannon熵值是Rénnyi熵的一个特例[13，14]。

9.图形对称性

众所周知，系统中的对称性意味着其元素在一组变换下的不变性。当我们考虑网络结构时，它意味着节点集上的置换下节点的邻接不变性。

设G和H是两个图。来自的同构G公司到H（H）将是两个图的节点集之间的双射，即，a f：G公司→H（H），以便任意两个节点，u个和v（v）G的，在G中相邻当且仅当（f）(u个)和（f）(v（v）)也相邻于H（H）通常称为“保边双射”。如果两个图之间存在同构，G公司和H（H），则此类图称为同构图。

图同构是图集合上的一种等价或相等关系。因此，它将所有图的类划分为等价类。同构的基本思想是，如果我们忽略其组件的个别特征，则某些对象具有相同的结构。一组相互同构的图被称为一类同构图。

图的自同构，G公司= (V（V），E类)将是从G到自身的同构。那么，一个简单图的图自同构，G公司，只是其节点集合上的置换，V（V）(G公司),（f）:G公司→G公司，以便任何边缘的图像G公司总是一个边缘G公司也就是说，如果e（电子）= {u个，v（v）} ∈V（V）(G公司)，然后（f）(e（电子）) = {（f）(u个),（f）(v（v）)} ∈V（V）(G公司). 无论是以群体理论的方式表达，我们都有

u个∼v（v）当且仅当微克∼vg（vg）当且仅当u个^克 ∼v（v）^克

图的所有自同构族G公司是上的置换组V（V）(G公司). 这种群的内部操作是排列的组合。它的名字很有名G的自同构群缩写为Aut(G公司). 相反，所有群都可以表示为连通图的自同构群。自同构群是图的代数不变量。因此，我们可以说，图的自同构是一种对称形式，在这种对称形式中，图被映射到自身上，同时保持边节点的连通性。这种自形工具可以应用于有向图（DG）和无向图（UG）。

我们会说图不变量或图形属性，当它只依赖于抽象结构，而不依赖于图形表示，例如图形的特定标记或绘制。因此，我们可以将图属性定义为在图的所有可能同构下保持的所有属性。因此，它将是图形本身的一个属性，而不依赖于图形的表示。

语义差异还包括其数量或数量特征。例如，当我们说“图不具有有向边”时，这将是一个属性，因为它是一个定性陈述。而当我们说“这种图中二阶节点的数目”时，这将是一个不变量，因为它是一个定量陈述。

从严格的数学观点来看，图的属性可以解释为一类图，由满足某些共同条件的图组成。因此，图属性也可以定义为一个函数，其域是图的集合，其范围是由两个选项（真和假）组成的双值集{T型，F类}根据它，可以验证或违反图的确定条件。图形属性称为遗传的，如果它被它的诱导子图继承。如果它在不相交并下闭合，则它是可加的。例如，图的平面属性是可加的和遗传的。相反，连接的属性两者都不是。

某些图不变量的计算对于区分两个图是同构的还是非同构的可能非常有用。这些标准的支持是，对于任何不变量，具有不同值的两个图之间都不能同构。然而，具有相同不变量的两个图之间可能同构，也可能不同构。因此，我们将得出完整性的概念。

让我(G公司)和我(H（H）)是两个图的不变量，G公司和H（H）如果不变量的同一性曾经暗示对应图的同构，则它将被认为是完整的，即，如果我(G公司) =我(H（H）)，然后G公司将与同构H（H）.

有向图，或有向图，是通常的一对G公司= (V（V），E类)，但现在有一个附加条件：从节点i到节点j最多有一条定向边，即1≤我，j个≤n个。我们添加了“无环的“当没有任何长度的循环时。通常，我们使用缩写DAG来表示非循环有向图。一个非常重要的结果可能是：对于每个nn个-DAG或带有n个标记节点的DAG等于(n个×n个)-特征值为正实数的0和1矩阵。

可以证明每个群都是图的自同构群。如果该群是有限的，则该图可以被认为是有限的。此外，George Pólya观察到，并不是每个群都必须是树的自同构群。

10.对称不变性

物理学和任何科学中最基本的结果之一[12，14，15，16，19]是伟大的数学家得到的吗埃米·诺特(1882–1935). 这一点于1915年得到证实，并于1918年发表。它指出，物理系统作用的任何可微对称性都有相应的守恒定律。因此，对于物理理论的每个连续对称性，都有相应的守恒量，即.，不随时间变化的物理量。因此，平移下的对称性对应于动量守恒；旋转对称与角动量守恒；能量守恒在时间上的对称性。相对论、量子力学等中也存在。这是一个非常重要的结果，因为它允许我们从理论的数学形式中导出守恒量。回想一下，物理系统的作用是拉格朗日函数的积分，从中可以根据最小作用原理确定系统的行为。注意，这个定理不适用于不能用拉格朗日函数建模的系统，例如耗散系统。

这个诺特定理不仅在现代理论物理中，而且在变分法中，因此在建模和优化等领域中，都变得至关重要。事实上，所有现代物理学都是建立在一系列对称性原理的基础上的，其余的都是从这些对称性原理出发的。所以，我们可以这么说自然法则受到对称性的约束这样的定理允许不同但本质上等价的语句“对于由局部作用产生的每个可微对称，都对应着一个守恒电流”这与现代物理学中许多发展中的学科联系在一起，例如量子力学中的规范对称性、Witten（弦理论）的结果以及许多其他学科。Noether不仅被这个定理所铭记（实际上，它们是两个结果，有很多后果），还被抽象代数的许多贡献所铭记。诺特定理还有一个量子版本，称为沃德-塔卡西恒等式。

物理量的守恒定律由一个连续性方程表示，其中守恒量称为Noether电荷，而携带该“电荷”的流是Noether's电流。在量子力学中，波函数在相位变化下的不变性导致了粒子数守恒。

11.模糊熵

近几十年来，模糊数学及其应用的扩展非常强大[17，20]. 不同数学领域的平行版本，但适应了真实程度，是超前的。一种基本思想，根据这种思想，一个元素不一定完全属于一个集合，也不一定绝对属于一个集，但它或多或少可以属于一个集中，也就是说，在某种程度上，它标志着科学思维的一场现代革命，使有时层次化的数学适应现实世界的特点。因此，它产生了新的领域，如模糊测度理论，它推广了勒贝格和其他作者的经典测度理论。它作为一种工具在我们自己的论文中一定非常有用，并且出现在每个数学领域。在模糊建模中，我们试图构建模糊系统。很多时候，这将是一项非常困难的任务，因为需要确定许多参数。它为分析具有非随机不精确输入信息的结构提供了巨大的潜力。

在模糊优化中[17，21]，我们的目标是最大化或最小化服从某些模糊约束的模糊集，但我们不能直接用模糊集的“值”来实现这一点。因此，在金融等领域，我们希望最大化/最小化受概率质量/密度函数限制的离散/连续随机变量的值。因此，我们将多目标问题转化为一个受模糊约束的单一清晰目标，利用遗传算法可以得到较好的近似解。此外，还有不同的模糊优化问题，其中包括学习模糊神经网络，这有助于解决模糊线性规划问题（FLP），以及使用此类遗传算法的模糊库存控制。

12.关于负熵

负熵对于熵的公理化概念（表示为H（H）). 它的许多开创性思想都来自克劳德·香农（Claude E.Shannon）[1]和阿尔弗雷德·雷尼[17，22]. 它还与随机变量的编码长度有关。事实上，通过一些简单的假设，H（H）是随机变量的编码长度。熵是信息论的基本概念。对于随机变量，可以将其解释为变量观测产生的信息程度。变量中的“随机性”越多，熵越大。对于离散随机变量，Y（Y），作为

H（H）(Y（Y）) = −∑P（P）(Y=Y_我)日志P（P）(Y=Y_我)

其中年_我可能的值是年。

这可以推广到连续情况，然后称为微分熵（也称为连续熵). 它将由定义

H（H）(年) = −∫（f）(年)日志 （f）(年)第y天

具有（f）(年)与连续随机变量相关的密度函数Y（Y）.

根据高斯随机变量的熵最大，在方差相同的所有随机变量中。因此，正态分布或高斯分布是所有分布中“最不结构化”的，或者等价地说，“最随机”的。但我们有第二个非常重要的非高斯性度量（偏离常态）。它使用不同的名称进行调用，例如负熵，负熵或同向性，表示为J。实际上，它是微分熵的一个稍作修改的版本，定义如下

J型(年) =H（H）(年_高斯)负极H（H）(年)

存在年_高斯协方差矩阵相同的高斯随机变量年.

它的一些属性很有趣，比如

J型(年)≥0，每个年

也就是说，负熵总是非负的。在正态分布的情况下为空：

J型=0当且仅当其为高斯

根据薛定谔的经典著作生命是什么？

“生命系统的负熵是指它为了保持自身的低熵而输出的熵”

还有布里渊[23]这么说

“一个有生命的系统输入负熵并存储它”

皮埃尔·居里提出的居里对称原理假设原因对称群是效果对称群的一个子群这一观点可能对因果理论产生深刻的影响，也可能分析物理理论基础之间的关系。

13.结论

统计熵是对不确定性或对数据无知程度的概率度量。然而，信息应该是减少不确定性的措施。概率分布的熵就是这种分布信息的期望值。所有这些改进的工具必须使我们不仅在优化理论等领域取得进展，而且在广义模糊测度、经济学、生物学建模等领域也取得进展[17，24，25]. 这里，根据匈牙利数学家阿尔弗雷德·雷尼多年前提出的观点，我们展示了一些不同的熵测度，根据其上下文和应用需求，这些测度或多或少有用[22，26，27，28]。