1.简介
香农熵[1]概率测度的第页关于有限集X由以下人员提供:有许多定理试图从似是而非的假设出发来刻画香农熵;例如,请参阅Aczél和Daróczy的书[2]. 这里我们给出了一个新的非常简单的特征定理。主要的新颖之处在于,我们不直接关注单个概率测度的熵,而是关注改变与可测保持函数相关的熵。单个概率测度的熵可以恢复为单点空间上唯一保测度函数的熵的变化。 一个保测度函数可以将多个点映射到同一个点,但反之亦然,因此熵的这种变化总是减少由于热力学第二定律提到熵增加,这似乎违反直觉。如果我们将函数视为某种数据处理,而不引入任何额外的随机性,那么这种情况可能就不那么明显了。然后熵只能减小,我们可以讨论与函数相关的“信息损失”。
一些例子可能有助于澄清这一点。考虑唯一可能的映射.假设第页概率测度是这样每个点都有度量,同时q个是集合上唯一的概率测度.然后,同时.与地图相关的信息丢失(f)定义为,在本例中等于换句话说,保测度映射(f)丢失一点信息。
另一方面,(f)如果我们替换第页通过概率测度对于其中一具有度量值1和b条具有度量值0。自,函数(f)现在有信息丢失.这么说可能有些奇怪(f)不会丢失任何信息:毕竟,它是映射的一和b条到了同一点。然而,因为这一点b条概率为零,知道这一点让我们得出结论概率为1。
重点从概率测度转移到测度保持功能表明采用范畴理论的观点是有益的[三],其中有对象和态射他们之间。然而,读者只需要知道“类别”的定义就可以理解本文。 我们的主要结果是,香农熵在信息损失方面有一个非常简单的特征。为了说明它,我们考虑一个范畴,其中一个态射是具有概率测度的有限集之间的保测度函数。我们假设F类是为任何此类态射赋值的函数,我们称之为信息丢失。我们还假设F类遵守三条公理。如果我们把一个态射称为“过程”(被认为是确定性的),我们可以用下面的话大致描述这些。有关精确的语句,包括所有定义,请参见第2节.- (i)
功能性.给定一个由两个阶段组成的过程,整个过程中丢失的信息量是每个阶段丢失的信息总量: - (ii)
凸线性.如果我们翻转概率-λ决定是否执行一个或另一个过程的硬币,丢失的信息是λ第一个进程丢失的信息乘以第二次丢失信息的倍数: - (iii)
连续性。如果我们稍微改变一个流程,丢失的信息只会稍微改变:是的连续函数(f).
考虑到这些假设,我们得出结论:存在一个常数这样,对于任何,我们有这个结果的魅力在于,前两个假设看起来像线性条件,并且没有任何假设暗示该函数有任何特殊作用,但它出现在结论中。这里的关键是Faddeev的成果[4]中描述的第4节. 为了许多科学目的,可能性措施还不够。我们的结果推广到有限集上的一般测度,如下所示。有限集上的任何测度都可以表示为对于某些标量λ和概率测度第页,我们定义在这种更普遍的环境下,我们不再局限于凸面的度量的线性组合。因此,我们主要定理中的凸线性条件被两个条件取代:可加性()和同质性(). 如前所述,结论是,在乘法常数之前,F类给每个态射赋值信息丢失.
当我们替换同质性公理时,很自然会想知道会发生什么通过更一般的同质性条件:对于某些数字在这种情况下,我们发现与…成比例,其中就是所谓的Tsallis熵α. 2.主要成果
我们使用带有概率测度的有限集。有限集上的所有测度X将假定为非负,并在σ-所有子集的代数X。任何这样的度量都是由它在单粒子上的值决定的,所以我们将考虑一个概率度量第页在X作为X-数字元组()令人满意的.
定义1。 让 是对象所在的类别 由带有概率测度p的有限集X给出,其中一个态射 是来自的度量保持函数 到 ,也就是说,一个函数 这样的话为所有人 . 我们通常会写一个对象作为第页简而言之,并编写一个态射就这么简单.
有一种方法可以将对象和形态的凸线性组合.让和是具有概率测度的有限集,并且让然后有一个概率度量关于集合的不交并X和Y(Y),其在某点的值k个由提供给定的形态和,有一个唯一的态射限制为(f)关于测度空间第页和至克关于测度空间q个. 同样的符号可以以显而易见的方式扩展到两个以上对象或态射的凸组合。例如,给定对象属于和非负标量加起来是1,有一个新对象.
回想一下香农熵概率测度第页关于有限集X是按照惯例. 定理2。 假设F是任何发送态射的映射 到中的数字 并遵守这三条公理:- (i)
功能性以下为:无论何时 是可组合的形态。 - (ii)
凸线性以下为:对于所有形态 和标量 . - (iii)
连续性:F是连续的。
然后存在一个常数 对于任何态射 在里面 ,哪里 是p的香农熵。相反,对于任何常数 ,该公式确定了符合条件(i)-(iii)的映射F。 我们需要解释条件(iii)。一系列形态在里面 收敛到一个态射如果:对于所有足够大的n个,我们有,,以及为所有人;
和逐点显示。
我们定义F类成为连续的如果无论何时是一个收敛到态射的态射序列(f). 定理2的证明见第5节首先,我们展示了如何推导有限集上一般测度的Shannon熵的特征。 以下定义与定义1类似:
定义3。 让 是其对象是具有测度的有限集,其形态是保测度函数的范畴。
有更多的机动空间比中的我们可以采用对象和形态的任意非负线性组合,而不仅仅是凸组合。任何非负线性组合都可以由直接和和与非负标量相乘得到,定义如下。对于直和,首先要注意,两个具有测度的有限集的不交并是同一类型的另一个对象。我们写出了作为然后,给定的形态,有一个唯一的态射限制为(f)关于测度空间第页和至克关于测度空间q个.
对于标量乘法,首先要注意,我们可以用一个非负实数乘以一个测度,然后得到一个新的测度。所以,给定一个对象和一个数字我们得到一个物体具有相同的基础集和然后,给定一个态射,有一个唯一的态射其底层功能与(f).
这与我们之前的凸线性组合表示法一致。 我们希望给出一些条件来保证发送态射的映射非负实数来自香农熵的倍数。为此,我们需要定义有限集的香农熵X配备有量具第页,不一定是概率度量。定义总质量属于成为如果这是非零的,那么第页形式为对于唯一的概率测度空间。在这种情况下,我们定义香农熵属于第页成为.如果第页为零,我们将其香农熵定义为零。 我们可以为发送变形的映射定义连续性到中的数字正如我们所做的那样,并显示:
推论4。 假设F是任何发送态射的映射 到中的数字 遵守这四条公理:- (i)
功能性以下为:无论何时 是可组合的形态。 - (ii)
- (iii)
同质性以下为:对于所有态射f和all . - (iv)
连续性:F是连续的。
然后存在一个常数 对于任何态射 在里面 ,哪里 是p的香农熵。相反,对于任何常数 ,该公式确定了符合条件(i)-(iv)的映射F。 证明。拿张地图F类遵守这些公理。然后F类对的态射上的映射的限制遵循定理2的公理。因此存在一个常数这样的话无论何时是概率测度之间的态射。现在取一个任意态射在里面.自(f)保持测量,说吧。如果然后,和对于某些态射在里面; 然后通过同质性,如果然后,所以通过同质性。所以无论哪种情况。逆语句遵循定理2中的逆语句。☐ 3.为什么香农熵有效
为了证明定理2的简单部分,我们必须检查确实确定了一个函子,它遵守该定理的所有条件。由于所有这些条件在F类,考虑以下情况就足够了很明显F类是连续的,方程(1)在任何时候都是即时的,,中是否存在形态以下为:工作是证明方程(2). 我们首先建立一个有用的公式,如往常一样(f)是一个态射在里面.自(f)我们保持了测量所以在最后一步中,我们注意到我该地图到j个然后对所有数据进行汇总j个等于全部的总和我因此,因此其中,当。如果我们考虑第页和q个作为随机变量的分布和具有,那么正是的条件熵x个鉴于年因此,我们所称的“信息丢失”是条件熵的一个特例。 此公式便于检查方程式(2),只需在两侧涂抹(5)即可。 在推论4(on)的证明中),事实上满足这四个公理是从类似的事实中推导出来的也可以直接检查。为此,值得注意的是然后可以看出方程式(5)等待每一个同构(f)在里面可加性和同质性公理很容易遵循。 4.法代夫定理
为了证明定理2的困难部分,我们使用了Faddeev给出的熵的特征[4]并在Rényi的一篇论文开头进行了很好的总结[5]. 为了说明这个结果,在集合上写一个概率测度是很方便的作为n个-元组Faddeev最初的研究结果表明,只有轻微的外观变化: 定理5。 (法德耶夫)假设我是一个映射,它将任何有限集上的概率测度发送给一个非负实数。假设:- (i)
我在双向投影下是不变的。
- (ii)
我是连续的。
- (iii)
对于形式集上的任何概率测度p ,和任何数字 ,
那么我是香农熵的常数非负倍数。 在条件(i)中,我们使用的是给定双射的事实有限集与上的概率测度X,上有一个唯一的概率测度这样的话第页是度量保持;我们要求这样我对这两个概率测度取相同的值。在条件(ii)中,我们在单纯形上使用标准拓扑在任意概率分布集上放置拓扑n个-元素集。 Faddeev定理中最有趣的条件是(iii)。它在文献中被称为“分组规则”([6]第2.179节)或“递归性”([2],第1.2.8节)。这是“强可加性”的特例([2]第1.2.6节),这已经出现在Shannon的作品中[1]和法迪耶夫[4]. 也就是说,假设第页是集合上的概率测度假设每个,我们有一个概率测度关于有限集.然后也是一个概率测度空间,该空间的Shannon熵由强可加性公式:使用香农熵的定义和对数的基本性质可以很容易地验证这一点。此外,Faddeev定理中的条件(iii)与以下条件等价:,允许我们将Faddeev定理重新表述如下: 定理6。 假设我是一个映射,它将任何有限集上的概率测度发送给一个非负实数。假设:- (i)
我在双向投影下是不变的。
- (ii)
我是连续的。
- (iii)
,哪里 是集合上唯一概率测度的名称 .
- (iv)
对于集合上的任何概率测度p 和概率度量 在有限集上,我们有
那么我是香农熵的常数非负倍数。相反,Shannon熵的任何常数非负倍数都满足条件(i)–(iv)。 证明。既然我们已经知道香农熵的倍数具有所有这些性质,我们只需要检查条件(iii)和(iv)是否意味着Faddeev方程(7). 采取,和对于:则条件(iv)给出根据条件(iii)给出了Faddeev方程。 这个公式看起来不可思议从Faddeev的原始定理5或等效定理6中的假设中出现。我们可以通过描述Faddeev论点中的一个关键步骤来揭开这一神秘面纱,正如Rényi所简化的那样[5]. 假设我是满足Faddeev结果假设的函数。让平等的我应用于n个-元素集。因为我们可以用元素作为的不相交并集米不同的n个-元素集,定理6的条件(iv)意味着Faddeev定理的条件也意味着这两个方程的唯一解是这就是对数函数的输入方式。使用定理5的条件(iii)或定理6的等价条件(iii和iv)我可以推导出概率测度第页这样,每个是理性的。任意概率测度的结果遵循连续性。 5.主要结果证明
现在我们完成定理2的证明。假设F类遵守本定理陈述中的条件(i)–(iii)。
回想一下表示集合配备了独特的概率测度。对于每个对象,有一个唯一的态射我们可以把这看作是一张压垮的地图第页到了一定程度,就会丢失所有第页有。因此,我们定义了度量的“熵”第页通过给定任何态射在里面,我们有因此,根据我们的假设F类是功能性的,或者换句话说:综上所述,足以证明我是香农熵的倍数。 我们使用定理6来实现这一点。函数性意味着当一个态射(f)是可逆的,与(8)一起,这给出了定理6的条件(i)。自是可逆的,它也给出了条件(iii)。条件(ii)是即时的。真正的工作是检查条件(iv)。
给定概率测度第页在连同概率测度关于有限集分别得到一个概率测度关于的不交并。我们也可以分解第页作为直接金额:定义同构然后通过凸线性和我,而且(8)和(9)。比较以下两个表达式给出了定理6的条件(iv),从而完成了定理2的证明。 6.Tsallis熵的表征
自1948年香农定义熵以来,熵在许多方面都得到了推广。我们的定理2可以很容易地推广到刻画一类推广,即所谓的“Tsallis熵”。对于任何正实数α,的Tsallis序熵α概率测度第页关于有限集X定义为:当可以用以下事实来解释:存在并等于香农熵. 虽然这些熵通常以Tsallis命名[7]早在1988年Tsallis首次发表关于它们的论文之前,其他人就已经对它们及其相关量进行了研究。例如,Havrda和Charvát[8]在1967年的一篇信息论论文中,帕蒂尔和泰利已经引入了一个类似的公式,该公式适用于以2为底的对数[9]已使用其本身是衡量生物多样性的一个指标。 Tsallis熵的特征与Shannon熵的特征完全相同,只是在一个方面:在凸线性条件下,均匀度从1到α.
定理7。 让 .假设F是任何发送态射的映射 到中的数字 并遵守这三条公理:- (i)
功能性以下为:无论何时 是可组合的形态。 - (ii)
与凸组合的兼容性以下为:对于所有形态 以及所有 . - (iii)
连续性:F是连续的。
然后存在一个常数 对于任何态射 在里面 ,哪里 是p的阶数αTsallis熵。相反,对于任何常数 ,该公式确定了符合条件(i)-(iii)的映射F。 证明。我们使用Furuichi的定理V.2[10]. Furuichi定理的表述与定理5(Faddeev定理)的表述相同,只是条件(iii)被替换为Shannon熵被顺序的Tsallis熵取代α因此,本定理的证明与定理2的证明相同,只是Faddeev定理被Furuichi定理所取代。☐ 与Shannon熵的情况一样,这个结果可以推广到有限集上的任意测度。为此,我们需要定义有限集上任意测度的Tsallis熵。我们通过要求这样做为所有人以及所有.何时这与香农熵相同,当,我们有(类似于(6))。以下结果与推论4相同,只是同质性程度再次从1变为α. 推论8。 让 .假设F是任何发送态射的映射 到中的数字 ,并遵循这四个属性:- (i)
功能性以下为:无论何时 是可组合的形态。 - (ii)
- (iii)
学位的同质性以下为:对于所有态射f和 . - (iv)
连续性:F是连续的。
然后存在一个常数 对于任何态射 在里面 ,哪里 是α级的Tsallis熵。相反,对于任何常数 ,该公式确定了符合条件(i)-(iv)的映射F。 证明。这与推论4遵循定理2的方式一样,遵循定理7。☐