期刊上的下一篇文章
循环熵辅助三阶:叠加基元的松散稳定
期刊上的上一篇文章
与Tsallis熵相关的N维非线性Fokker-Planck方程
 
 
订购文章重印
字体类型:
宋体 佐治亚州 宋体,Verdana
字体大小:
澳大利亚 澳大利亚 澳大利亚
行距:
列宽:
背景:
第条

从信息损失的角度描述熵

1
美国加利福尼亚大学河滨分校数学系,加利福尼亚州92521
2
新加坡国立大学量子技术中心,新加坡,117543
西班牙Castelldefels(巴塞罗那)08860号地中海科技园Fotóniques研究所
4
英国格拉斯哥G12 8QW格拉斯哥大学数学与统计学院
*
信件应寄给的作者。
2011,13(11), 1945-1957;https://doi.org/10.3390/e1311195
收到的意见:2011年10月11日/修订日期:2011年11月18日/接受日期:2011年11月21日/发布日期:2011年11月24日

摘要

以下为:
Shannon熵和Tsallis熵作为信息遵循某些性质的度量有许多特征。利用Faddeev和Furuichi的工作,我们得出了一个非常简单的特征。这种表征不是关注有限集上概率测度的熵,而是关注与保测度函数相关的“信息损失”或熵变化。信息损失是条件熵的一种特殊情况:即,它是随机变量的熵,条件是该变量的某个函数。我们证明了香农熵给出了信息损失的唯一概念,即函数的、凸线性的和连续的。这个特征自然也推广到了Tsallis熵。
分类:
移动交换中心一次:94A17;次要:62B10

图形摘要

1.简介

香农熵[1]概率测度的第页关于有限集X由以下人员提供:
H(H) ( 第页 ) = - X 第页 自然对数 ( 第页 )
有许多定理试图从似是而非的假设出发来刻画香农熵;例如,请参阅Aczél和Daróczy的书[2]. 这里我们给出了一个新的非常简单的特征定理。主要的新颖之处在于,我们不直接关注单个概率测度的熵,而是关注改变与可测保持函数相关的熵。单个概率测度的熵可以恢复为单点空间上唯一保测度函数的熵的变化。
一个保测度函数可以将多个点映射到同一个点,但反之亦然,因此熵的这种变化总是减少由于热力学第二定律提到熵增加,这似乎违反直觉。如果我们将函数视为某种数据处理,而不引入任何额外的随机性,那么这种情况可能就不那么明显了。然后熵只能减小,我们可以讨论与函数相关的“信息损失”。
一些例子可能有助于澄清这一点。考虑唯一可能的映射 (f) 以下为: { , b条 } { c(c) } .假设第页概率测度是 { , b条 } 这样每个点都有度量 1 / 2 ,同时q个是集合上唯一的概率测度 { c(c) } .然后 H(H) ( 第页 ) = 自然对数 2 ,同时 H(H) ( q个 ) = 0 .与地图相关的信息丢失(f)定义为 H(H) ( 第页 ) - H(H) ( q个 ) ,在本例中等于 自然对数 2 换句话说,保测度映射(f)丢失一点信息。
另一方面,(f)如果我们替换第页通过概率测度 第页 对于其中具有度量值1和b条具有度量值0。 H(H) ( 第页 ) = 0 ,函数(f)现在有信息丢失 H(H) ( 第页 ) - H(H) ( q个 ) = 0 .这么说可能有些奇怪(f)不会丢失任何信息:毕竟,它是映射的b条到了同一点。然而,因为这一点b条概率为零 第页 ,知道这一点 (f) ( x个 ) = c(c) 让我们得出结论 x个 = 概率为1。
重点从概率测度转移到测度保持功能表明采用范畴理论的观点是有益的[],其中有对象和态射他们之间。然而,读者只需要知道“类别”的定义就可以理解本文。
我们的主要结果是,香农熵在信息损失方面有一个非常简单的特征。为了说明它,我们考虑一个范畴,其中一个态射 (f) 以下为: 第页 q个 是具有概率测度的有限集之间的保测度函数。我们假设F类是为任何此类态射赋值的函数 F类 ( (f) ) [ 0 , ) ,我们称之为信息丢失。我们还假设F类遵守三条公理。如果我们把一个态射称为“过程”(被认为是确定性的),我们可以用下面的话大致描述这些。有关精确的语句,包括所有定义,请参见第2节.
(i)
功能性.给定一个由两个阶段组成的过程,整个过程中丢失的信息量是每个阶段丢失的信息总量:
F类 ( (f) ) = F类 ( (f) ) + F类 ( )
(ii)
凸线性.如果我们翻转概率-λ决定是否执行一个或另一个过程的硬币,丢失的信息是λ第一个进程丢失的信息乘以 ( 1 - λ ) 第二次丢失信息的倍数:
F类 ( λ (f) ( 1 - λ ) ) = λ F类 ( (f) ) + ( 1 - λ ) F类 ( )
(iii)
连续性。如果我们稍微改变一个流程,丢失的信息只会稍微改变: F类 ( (f) ) 是的连续函数(f).
考虑到这些假设,我们得出结论:存在一个常数 c(c) 0 这样,对于任何 (f) 以下为: 第页 q个 ,我们有
F类 ( (f) ) = c(c) ( H(H) ( 第页 ) - H(H) ( q个 ) )
这个结果的魅力在于,前两个假设看起来像线性条件,并且没有任何假设暗示该函数有任何特殊作用 - 第页 自然对数 第页 ,但它出现在结论中。这里的关键是Faddeev的成果[4]中描述的第4节.
为了许多科学目的,可能性措施还不够。我们的结果推广到有限集上的一般测度,如下所示。有限集上的任何测度都可以表示为 λ 第页 对于某些标量λ和概率测度第页,我们定义 H(H) ( λ 第页 ) = λ H(H) ( 第页 ) 在这种更普遍的环境下,我们不再局限于凸面的度量的线性组合。因此,我们主要定理中的凸线性条件被两个条件取代:可加性( F类 ( (f) ) = F类 ( (f) ) + F类 ( ) )和同质性( F类 ( λ (f) ) = λ F类 ( (f) ) ). 如前所述,结论是,在乘法常数之前,F类给每个态射赋值 (f) 以下为: 第页 q个 信息丢失 H(H) ( 第页 ) - H(H) ( q个 ) .
当我们替换同质性公理时,很自然会想知道会发生什么 F类 ( λ (f) ) = λ F类 ( (f) ) 通过更一般的同质性条件:
F类 ( λ (f) ) = λ α F类 ( (f) )
对于某些数字 α > 0 在这种情况下,我们发现 F类 ( (f) ) 与…成比例 H(H) α ( 第页 ) - H(H) α ( q个 ) ,其中 H(H) α 就是所谓的Tsallis熵α.

2.主要成果

我们使用带有概率测度的有限集。有限集上的所有测度X将假定为非负,并在σ-所有子集的代数X。任何这样的度量都是由它在单粒子上的值决定的,所以我们将考虑一个概率度量第页X作为X-数字元组 第页 [ 0 , 1 ] ( X )令人满意的 第页 = 1 .
定义1。 FinProb公司 是对象所在的类别 ( X , 第页 ) 由带有概率测度p的有限集X给出,其中一个态射 (f) 以下为: ( X , 第页 ) ( Y(Y) , q个 ) 是来自的度量保持函数 ( X , 第页 ) ( Y(Y) , q个 ) ,也就是说,一个函数 (f) 以下为: X Y(Y) 这样的话
q个 j个 = (f) - 1 ( j个 ) 第页
为所有人 j个 Y(Y) .
我们通常会写一个对象 ( X , 第页 ) 作为第页简而言之,并编写一个态射 (f) 以下为: ( X , 第页 ) ( Y(Y) , q个 ) 就这么简单 (f) 以下为: 第页 q个 .
有一种方法可以将对象和形态的凸线性组合 FinProb公司 .让 ( X , 第页 ) ( Y(Y) , q个 ) 是具有概率测度的有限集,并且让 λ [ 0 , 1 ] 然后有一个概率度量
λ 第页 ( 1 - λ ) q个
关于集合的不交并XY(Y),其在某点的值k个由提供
( λ 第页 ( 1 - λ ) q个 ) k个 = λ 第页 k个 如果 k个 X ( 1 - λ ) q个 k个 如果 k个 Y(Y)
给定的形态 (f) 以下为: 第页 第页 以下为: q个 q个 ,有一个唯一的态射
λ (f) ( 1 - λ ) 以下为: λ 第页 ( 1 - λ ) q个 λ 第页 ( 1 - λ ) q个
限制为(f)关于测度空间第页和至关于测度空间q个.
同样的符号可以以显而易见的方式扩展到两个以上对象或态射的凸组合。例如,给定对象 第页 ( 1 ) , , 第页 ( n个 ) 属于 FinProb公司 和非负标量 λ 1 , , λ n个 加起来是1,有一个新对象 = 1 n个 λ 第页 ( ) .
回想一下香农熵概率测度第页关于有限集X
H(H) ( 第页 ) = - X 第页 自然对数 ( 第页 ) [ 0 , )
按照惯例 0 自然对数 ( 0 ) = 0 .
定理2。 假设F是任何发送态射的映射 FinProb公司 到中的数字 [ 0 , ) 并遵守这三条公理:
(i) 
功能性以下为:
F类 ( (f) ) = F类 ( (f) ) + F类 ( )
无论何时 (f) , 是可组合的形态。
(ii) 
凸线性以下为:
F类 ( λ (f) ( 1 - λ ) ) = λ F类 ( (f) ) + ( 1 - λ ) F类 ( )
对于所有形态 (f) , 和标量 λ [ 0 , 1 ] .
(iii) 
连续性:F是连续的。
然后存在一个常数 c(c) 0 对于任何态射 (f) 以下为: 第页 q个 在里面 FinProb公司 ,
F类 ( (f) ) = c(c) ( H(H) ( 第页 ) - H(H) ( q个 ) )
哪里 H(H) ( 第页 ) 是p的香农熵。相反,对于任何常数 c(c) 0 ,该公式确定了符合条件(i)-(iii)的映射F。
我们需要解释条件(iii)。一系列形态
( X n个 , 第页 ( n个 ) ) (f) n个 ( Y(Y) n个 , q个 ( n个 ) )
在里面 FinProb公司 收敛到一个态射 ( X , 第页 ) (f) ( Y(Y) , q个 ) 如果:
  • 对于所有足够大的n个,我们有 X n个 = X , Y(Y) n个 = Y(Y) ,以及 (f) n个 ( ) = (f) ( ) 为所有人 X ;
  • 第页 ( n个 ) 第页 q个 ( n个 ) q个 逐点显示。
我们定义F类成为连续的如果 F类 ( (f) n个 ) F类 ( (f) ) 无论何时 (f) n个 是一个收敛到态射的态射序列(f).
定理2的证明见第5节首先,我们展示了如何推导有限集上一般测度的Shannon熵的特征。
以下定义与定义1类似:
定义3。 芬米斯 是其对象是具有测度的有限集,其形态是保测度函数的范畴。
有更多的机动空间 FinMeas公司 比中的 FinProb公司 我们可以采用对象和形态的任意非负线性组合,而不仅仅是凸组合。任何非负线性组合都可以由直接和和与非负标量相乘得到,定义如下。
  • 对于直和,首先要注意,两个具有测度的有限集的不交并是同一类型的另一个对象。我们写出了 第页 , q个 FinMeas公司 作为 第页 q个 然后,给定的形态 (f) 以下为: 第页 第页 , 以下为: q个 q个 有一个唯一的态射 (f) 以下为: 第页 q个 第页 q个 限制为(f)关于测度空间第页和至关于测度空间q个.
  • 对于标量乘法,首先要注意,我们可以用一个非负实数乘以一个测度,然后得到一个新的测度。所以,给定一个对象 第页 FinMeas公司 和一个数字 λ 0 我们得到一个物体 λ 第页 FinMeas公司 具有相同的基础集和 ( λ 第页 ) = λ 第页 然后,给定一个态射 (f) 以下为: 第页 q个 ,有一个唯一的态射 λ (f) 以下为: λ 第页 λ q个 其底层功能与(f).
这与我们之前的凸线性组合表示法一致。
我们希望给出一些条件来保证发送态射的映射 FinMeas公司 非负实数来自香农熵的倍数。为此,我们需要定义有限集的香农熵X配备有量具第页,不一定是概率度量。定义总质量属于 ( X , 第页 ) 成为
第页 = X 第页
如果这是非零的,那么第页形式为 第页 第页 ¯ 对于唯一的概率测度空间 第页 ¯ 。在这种情况下,我们定义香农熵属于第页成为 第页 H(H) ( 第页 ¯ ) .如果第页为零,我们将其香农熵定义为零。
我们可以为发送变形的映射定义连续性 FinMeas公司 到中的数字 [ 0 , ) 正如我们所做的那样 FinProb公司 ,并显示:
推论4。 假设F是任何发送态射的映射 FinMeas公司 到中的数字 [ 0 , ) 遵守这四条公理:
(i) 
功能性以下为:
F类 ( (f) ) = F类 ( (f) ) + F类 ( )
无论何时 (f) , 是可组合的形态。
(ii) 
可加性以下为:
F类 ( (f) ) = F类 ( (f) ) + F类 ( )
对于所有形态 (f) , .
(iii) 
同质性以下为:
F类 ( λ (f) ) = λ F类 ( (f) )
对于所有态射f和all λ [ 0 , ) .
(iv) 
连续性:F是连续的。
然后存在一个常数 c(c) 0 对于任何态射 (f) 以下为: 第页 q个 在里面 FinMeas公司 ,
F类 ( (f) ) = c(c) ( H(H) ( 第页 ) - H(H) ( q个 ) )
哪里 H(H) ( 第页 ) 是p的香农熵。相反,对于任何常数 c(c) 0 ,该公式确定了符合条件(i)-(iv)的映射F。
证明。拿张地图F类遵守这些公理。然后F类对的态射上的映射的限制 FinProb公司 遵循定理2的公理。因此存在一个常数 c(c) 0 这样的话 F类 ( (f) ) = c(c) ( H(H) ( 第页 ) - H(H) ( q个 ) ) 无论何时 (f) 以下为: 第页 q个 是概率测度之间的态射。现在取一个任意态射 (f) 以下为: 第页 q个 在里面 FinMeas公司 .自(f)保持测量, 第页 = q个 = λ 说吧。如果 λ 0 然后 第页 = λ 第页 ¯ , q个 = λ q个 ¯ (f) = λ (f) ¯ 对于某些态射 (f) ¯ 以下为: 第页 ¯ q个 ¯ 在里面 FinProb公司 ; 然后通过同质性,
F类 ( (f) ) = λ F类 ( (f) ¯ ) = λ c(c) ( H(H) ( 第页 ¯ ) - H(H) ( q个 ¯ ) ) = c(c) ( H(H) ( 第页 ) - H(H) ( q个 ) ) .
如果 λ = 0 然后 (f) = 0 (f) ,所以 F类 ( (f) ) = 0 通过同质性。所以 F类 ( (f) ) = c(c) ( H(H) ( 第页 ) - H(H) ( q个 ) ) 无论哪种情况。逆语句遵循定理2中的逆语句。

3.为什么香农熵有效

为了证明定理2的简单部分,我们必须检查 F类 ( (f) ) = c(c) ( H(H) ( 第页 ) - H(H) ( q个 ) ) 确实确定了一个函子,它遵守该定理的所有条件。由于所有这些条件在F类,考虑以下情况就足够了 c(c) = 1 很明显F类是连续的,方程(1)在任何时候都是即时的 以下为: 第页 , (f) 以下为: 第页 q个 ,中是否存在形态 FinProb公司 以下为:
F类 ( (f) ) = H(H) ( ) - H(H) ( q个 ) = H(H) ( 第页 ) - H(H) ( q个 ) + H(H) ( ) - H(H) ( 第页 ) = F类 ( (f) ) + F类 ( )
工作是证明方程(2).
我们首先建立一个有用的公式 F类 ( (f) ) = H(H) ( 第页 ) - H(H) ( q个 ) ,如往常一样(f)是一个态射 第页 q个 在里面 FinProb公司 .自(f)我们保持了测量
q个 j个 = (f) - 1 ( j个 ) 第页
所以
j个 q个 j个 自然对数 q个 j个 = j个 (f) - 1 ( j个 ) 第页 自然对数 q个 j个 = j个 (f) - 1 ( j个 ) 第页 自然对数 q个 (f) ( ) = 第页 自然对数 q个 (f) ( )
在最后一步中,我们注意到该地图到j个然后对所有数据进行汇总j个等于全部的总和因此,
F类 ( (f) ) = - 第页 自然对数 第页 + j个 q个 j个 自然对数 q个 j个 = ( - 第页 自然对数 第页 + 第页 自然对数 q个 (f) ( ) )
因此
F类 ( (f) ) = X 第页 自然对数 q个 (f) ( ) 第页
其中,当 第页 = 0 。如果我们考虑第页q个作为随机变量的分布 x个 X Y(Y) 具有 = (f) ( x个 ) ,那么 F类 ( (f) ) 正是的条件熵x个鉴于因此,我们所称的“信息丢失”是条件熵的一个特例。
此公式便于检查方程式(2),
F类 ( λ (f) ( 1 - λ ) ) = λ F类 ( (f) ) + ( 1 - λ ) F类 ( )
只需在两侧涂抹(5)即可。
在推论4(on)的证明中 FinMeas公司 ),事实上 F类 ( (f) ) = c(c) ( H(H) ( 第页 ) - H(H) ( q个 ) ) 满足这四个公理是从类似的事实中推导出来的 FinProb公司 也可以直接检查。为此,值得注意的是
H(H) ( 第页 ) = 第页 自然对数 第页 - 第页 自然对数 ( 第页 )
然后可以看出方程式(5)等待每一个同构(f)在里面 FinMeas公司 可加性和同质性公理很容易遵循。

4.法代夫定理

为了证明定理2的困难部分,我们使用了Faddeev给出的熵的特征[4]并在Rényi的一篇论文开头进行了很好的总结[5]. 为了说明这个结果,在集合上写一个概率测度是很方便的 { 1 , , n个 } 作为n个-元组 第页 = ( 第页 1 , , 第页 n个 ) Faddeev最初的研究结果表明,只有轻微的外观变化:
定理5。 (法德耶夫)假设我是一个映射,它将任何有限集上的概率测度发送给一个非负实数。假设:
(i) 
我在双向投影下是不变的。
(ii) 
我是连续的。
(iii) 
对于形式集上的任何概率测度p { 1 , , n个 } ,和任何数字 0 t吨 1 ,
( ( t吨 第页 1 , ( 1 - t吨 ) 第页 1 , 第页 2 , , 第页 n个 ) ) = ( ( 第页 1 , , 第页 n个 ) ) + 第页 1 ( ( t吨 , 1 - t吨 ) )
那么我是香农熵的常数非负倍数。
在条件(i)中,我们使用的是给定双射的事实 (f) 以下为: X X 有限集与上的概率测度X,上有一个唯一的概率测度 X 这样的话第页是度量保持;我们要求这样对这两个概率测度取相同的值。在条件(ii)中,我们在单纯形上使用标准拓扑
Δ n个 - 1 = ( 第页 1 , , 第页 n个 ) R(右) n个 | 第页 0 , 第页 = 1
在任意概率分布集上放置拓扑n个-元素集。
Faddeev定理中最有趣的条件是(iii)。它在文献中被称为“分组规则”([6]第2.179节)或“递归性”([2],第1.2.8节)。这是“强可加性”的特例([2]第1.2.6节),这已经出现在Shannon的作品中[1]和法迪耶夫[4]. 也就是说,假设第页是集合上的概率测度 { 1 , , n个 } 假设每个 { 1 , , n个 } ,我们有一个概率测度 q个 ( ) 关于有限集 X .然后 第页 1 q个 ( 1 ) 第页 n个 q个 ( n个 ) 也是一个概率测度空间,该空间的Shannon熵由强可加性公式:
H(H) 第页 1 q个 ( 1 ) 第页 n个 q个 ( n个 ) = H(H) ( 第页 ) + = 1 n个 第页 H(H) ( q个 ( ) )
使用香农熵的定义和对数的基本性质可以很容易地验证这一点。此外,Faddeev定理中的条件(iii)与以下条件等价: ( ( 1 ) ) = 0 ,允许我们将Faddeev定理重新表述如下:
定理6。 假设我是一个映射,它将任何有限集上的概率测度发送给一个非负实数。假设:
(i) 
我在双向投影下是不变的。
(ii) 
我是连续的。
(iii) 
( ( 1 ) ) = 0 ,哪里 ( 1 ) 是集合上唯一概率测度的名称 { 1 } .
(iv) 
对于集合上的任何概率测度p { 1 , , n个 } 和概率度量 q个 ( 1 ) , , q个 ( n个 ) 在有限集上,我们有
( 第页 1 q个 ( 1 ) 第页 n个 q个 ( n个 ) ) = ( 第页 ) + = 1 n个 第页 ( q个 ( ) )
那么我是香农熵的常数非负倍数。相反,Shannon熵的任何常数非负倍数都满足条件(i)–(iv)。
证明。既然我们已经知道香农熵的倍数具有所有这些性质,我们只需要检查条件(iii)和(iv)是否意味着Faddeev方程(7). 采取 第页 = ( 第页 1 , , 第页 n个 ) , q个 ( 1 ) = ( t吨 , 1 - t吨 ) q个 ( ) = ( 1 ) 对于 2 :则条件(iv)给出
( ( t吨 第页 1 , ( 1 - t吨 ) 第页 1 , 第页 2 , , 第页 n个 ) ) = ( ( 第页 1 , , 第页 n个 ) ) + 第页 1 ( ( t吨 , 1 - t吨 ) ) + = 2 n个 第页 ( ( 1 ) )
根据条件(iii)给出了Faddeev方程。
这个公式看起来不可思议
( 第页 1 , , 第页 n个 ) = - c(c) 第页 自然对数 第页
从Faddeev的原始定理5或等效定理6中的假设中出现。我们可以通过描述Faddeev论点中的一个关键步骤来揭开这一神秘面纱,正如Rényi所简化的那样[5]. 假设是满足Faddeev结果假设的函数。
ϕ ( n个 ) = 1 n个 , , 1 n个
平等的应用于n个-元素集。因为我们可以用 n个 元素作为的不相交并集不同的n个-元素集,定理6的条件(iv)意味着
ϕ ( n个 ) = ϕ ( n个 ) + ϕ ( )
Faddeev定理的条件也意味着
n个 ( ϕ ( n个 + 1 ) - ϕ ( n个 ) ) = 0
这两个方程的唯一解是
ϕ ( n个 ) = c(c) 自然对数 n个
这就是对数函数的输入方式。使用定理5的条件(iii)或定理6的等价条件(iii和iv)可以推导出概率测度第页这样,每个 第页 是理性的。任意概率测度的结果遵循连续性。

5.主要结果证明

现在我们完成定理2的证明。假设F类遵守本定理陈述中的条件(i)–(iii)。
回想一下 ( 1 ) 表示集合 { 1 } 配备了独特的概率测度。对于每个对象 第页 FinProb公司 ,有一个唯一的态射
! 第页 以下为: 第页 ( 1 )
我们可以把这看作是一张压垮的地图第页到了一定程度,就会丢失所有第页有。因此,我们定义了度量的“熵”第页通过
( 第页 ) = F类 ( ! 第页 )
给定任何态射 (f) 以下为: 第页 q个 在里面 FinProb公司 ,我们有
! 第页 = ! q个 (f)
因此,根据我们的假设F类是功能性的,
F类 ( ! 第页 ) = F类 ( ! q个 ) + F类 ( (f) )
或者换句话说:
F类 ( (f) ) = ( 第页 ) - ( q个 )
综上所述,足以证明是香农熵的倍数。
我们使用定理6来实现这一点。函数性意味着当一个态射(f)是可逆的, F类 ( (f) ) = 0 与(8)一起,这给出了定理6的条件(i)。 ! ( 1 ) 是可逆的,它也给出了条件(iii)。条件(ii)是即时的。真正的工作是检查条件(iv)。
给定概率测度第页 { 1 , , n个 } 连同概率测度 q个 ( 1 ) , , q个 ( n个 ) 关于有限集 X 1 , , X n个 分别得到一个概率测度 第页 q个 ( ) 关于的不交并 X 1 , , X n个 。我们也可以分解第页作为直接金额:
第页 第页 ( 1 )
定义同构
(f) = 第页 ! q个 ( ) 以下为: 第页 q个 ( ) 第页 ( 1 )
然后通过凸线性和,
F类 ( (f) ) = 第页 F类 ( ! q个 ( ) ) = 第页 ( q个 ( ) )
而且
F类 ( (f) ) = 第页 q个 ( ) - 第页 ( 1 ) = 第页 q个 ( ) - ( 第页 )
(8)和(9)。比较以下两个表达式 F类 ( (f) ) 给出了定理6的条件(iv),从而完成了定理2的证明。

6.Tsallis熵的表征

自1948年香农定义熵以来,熵在许多方面都得到了推广。我们的定理2可以很容易地推广到刻画一类推广,即所谓的“Tsallis熵”。对于任何正实数α,的Tsallis序熵α概率测度第页关于有限集X定义为:
H(H) α ( 第页 ) = 1 α - 1 1 - X 第页 α 如果 α 1 - X 第页 自然对数 第页 如果 α = 1
α = 1 可以用以下事实来解释: α 1 H(H) α ( 第页 ) 存在并等于香农熵 H(H) ( 第页 ) .
虽然这些熵通常以Tsallis命名[7]早在1988年Tsallis首次发表关于它们的论文之前,其他人就已经对它们及其相关量进行了研究。例如,Havrda和Charvát[8]在1967年的一篇信息论论文中,帕蒂尔和泰利已经引入了一个类似的公式,该公式适用于以2为底的对数[9]已使用 H(H) α 其本身是衡量生物多样性的一个指标。
Tsallis熵的特征与Shannon熵的特征完全相同,只是在一个方面:在凸线性条件下,均匀度从1到α.
定理7。 α ( 0 , ) .假设F是任何发送态射的映射 FinProb公司 到中的数字 [ 0 , ) 并遵守这三条公理:
(i) 
功能性以下为:
F类 ( (f) ) = F类 ( (f) ) + F类 ( )
无论何时 (f) , 是可组合的形态。
(ii) 
与凸组合的兼容性以下为:
F类 ( λ (f) ( 1 - λ ) ) = λ α F类 ( (f) ) + ( 1 - λ ) α F类 ( )
对于所有形态 (f) , 以及所有 λ [ 0 , 1 ] .
(iii) 
连续性:F是连续的。
然后存在一个常数 c(c) 0 对于任何态射 (f) 以下为: 第页 q个 在里面 FinProb公司 ,
F类 ( (f) ) = c(c) ( H(H) α ( 第页 ) - H(H) α ( q个 ) )
哪里 H(H) α ( 第页 ) 是p的阶数αTsallis熵。相反,对于任何常数 c(c) 0 ,该公式确定了符合条件(i)-(iii)的映射F。
证明。我们使用Furuichi的定理V.2[10]. Furuichi定理的表述与定理5(Faddeev定理)的表述相同,只是条件(iii)被替换为
( ( t吨 第页 1 , ( 1 - t吨 ) 第页 1 , 第页 2 , , 第页 n个 ) ) = ( ( 第页 1 , , 第页 n个 ) ) + 第页 1 α ( ( t吨 , 1 - t吨 ) )
Shannon熵被顺序的Tsallis熵取代α因此,本定理的证明与定理2的证明相同,只是Faddeev定理被Furuichi定理所取代。
与Shannon熵的情况一样,这个结果可以推广到有限集上的任意测度。为此,我们需要定义有限集上任意测度的Tsallis熵。我们通过要求这样做
H(H) α ( λ 第页 ) = λ α H(H) α ( 第页 )
为所有人 λ [ 0 , ) 以及所有 第页 FinMeas公司 .何时 α = 1 这与香农熵相同,当 α 1 ,我们有
H(H) α ( 第页 ) = 1 α - 1 X 第页 α - X 第页 α
(类似于(6))。以下结果与推论4相同,只是同质性程度再次从1变为α.
推论8。 α ( 0 , ) .假设F是任何发送态射的映射 FinMeas公司 到中的数字 [ 0 , ) ,并遵循这四个属性:
(i) 
功能性以下为:
F类 ( (f) ) = F类 ( (f) ) + F类 ( )
无论何时 (f) , 是可组合的形态。
(ii) 
可加性以下为:
F类 ( (f) ) = F类 ( (f) ) + F类 ( )
对于所有形态 (f) , .
(iii) 
学位的同质性以下为:
F类 ( λ (f) ) = λ α F类 ( (f) )
对于所有态射f和 λ [ 0 , ) .
(iv) 
连续性:F是连续的。
然后存在一个常数 c(c) 0 对于任何态射 (f) 以下为: 第页 q个 在里面 FinMeas公司 ,
F类 ( (f) ) = c(c) ( H(H) α ( 第页 ) - H(H) α ( q个 ) )
哪里 H(H) α 是α级的Tsallis熵。相反,对于任何常数 c(c) 0 ,该公式确定了符合条件(i)-(iv)的映射F。
证明。这与推论4遵循定理2的方式一样,遵循定理7。

鸣谢

我们感谢n个-Category Café,特别是David Corfield、Steve Lack、Mark Meckes和Josh Shadlen,为您提供鼓励和有益的建议。托拜厄斯·弗里茨得到了欧盟STREP QCS的支持。Tom Leinster得到了EPSRC高级研究奖学金的支持。

工具书类

  1. 香农,C.E.传播数学理论。贝尔系统。技术J。 1948,27, 379–423. [谷歌学者] [交叉参考]
  2. Aczél,J。;Daróczy,Z。关于信息的度量及其特征。科学与工程数学; 学术出版社:美国纽约州纽约市,1975年;第15卷。[谷歌学者]
  3. Mac Lane,S.职业数学家分类。数学研究生课文5; 施普林格:德国柏林,1971年。[谷歌学者]
  4. Faddeev,D.K.关于有限概率方案的熵概念。Uspehi Mat.Nauk(新南威尔士州) 1956,1, 227–231. (俄语)[谷歌学者]
  5. Rényi,A.信息和熵的度量。1960年6月20日至7月30日,美国加州大学伯克利分校统计实验室,第四届伯克利数理统计与概率研讨会论文集;加利福尼亚大学出版社:伯克利,加利福尼亚州,美国,1961年;第547-561页。[谷歌学者]
  6. 封面,T.M。;J.A.托马斯。信息论要素; 通信与信号处理中的威利级数;威利国际科学:纽约,纽约,美国。[谷歌学者]
  7. Tsallis,C.Boltzmann-Gibbs统计的可能推广。《统计物理学杂志》。 1988,52, 479–487. [谷歌学者] [交叉参考]
  8. 哈夫达,J。;Charvát,F.分类过程的量化方法:结构的概念α-熵。凯贝内提卡 1967,,30–35。[谷歌学者]
  9. 帕蒂尔,G.P。;Taillie,C.多样性作为一个概念及其衡量标准。美国统计协会。 1982,77, 548–561. [谷歌学者] [交叉参考]
  10. Furuichi,S.关于Tslis熵和Tslis相对熵的唯一性定理。IEEE传输。信息。西奥。 2005,51, 3638–3645. [谷歌学者] [交叉参考]

分享和引用

MDPI和ACS样式

Baez,J.C。;弗里茨,T。;T·伦斯特。从信息损失的角度描述熵。 2011,13, 1945-1957.https://doi.org/10.3390/e1311195

AMA风格

Baez JC、Fritz T、Leinster T。从信息损失的角度描述熵。. 2011; 13(11):1945-1957.https://doi.org/10.3390/e1311195

芝加哥/图拉宾风格

Baez、John C.、Tobias Fritz和Tom Leinster。2011.“信息损失熵特征”第11期:1945-1957年。https://doi.org/10.3390/e1311195

文章指标

返回页首顶部