×

信息理论与统计学。 (英语) Zbl 0088.10406号

威利数学统计学出版物。纽约:John Wiley&Sons,Inc。;伦敦:Chapman&Sons,Inc.xvii,395 p.(1959)。
这本专著汇集了作者本人和其他作者的研究成果;它包含了一些新的结果。
第1-5章给出了一般理论。设(mu_1)和(mu_2)是彼此绝对连续的两个概率分布,集(d\mu_1=g(x)d\mu_2)。引入了量(I{12}=int\log g(x),d\mu_1)和其他一些相关的量作为信息度量\(I{12})测量了当(mu_1)是实验的分布时,统计实验区分(mu_1)和(mu_2)的能力。这本书主要关注这一信息概念与统计推断的相关性,偶尔也会触及与传播理论相关的信息概念。然而,统计推断与通信理论之间的密切联系被描述为:“自然”是信道源,统计实验是信道,观测是接收到的部分失真信号。由Sakaguchi导出了一个有趣的不等式,将(I{12})与Wiener-Shannon概念联系起来。另一方面,第7-8页试图将这两个概念联系起来,这很难理解。这似乎是基于贝叶斯定理的错误使用。方程(2,2)假设(H_1)和(H_2)是互斥的,这在示例4.1中是不正确的。
在第二章中发展了\(I_{12}\)的基本性质。它是非负的,可加性的,观察结果的分组将不会带来更多的信息。一般来说,引入统计量(T(x)而不是(x)不会增加信息量,但如果(T(x)对一系列分布足够,也不会减少与该系列任何两个分布相关的信息量。最后一个性质很好地将信息度量与直观的信息概念联系起来,信息概念用于证明充分性原则。(如果没有进一步解释,第20页上“条件密度”的使用似乎不清楚,但没有后果)。
第三章证明了作者提出的信息概念的一个非常有趣的数学性质。设\(T(x)\)是任意统计量,\(Theta)是常数(可能是多维的)。在所有满足(intT(x),d\mu_1=Theta\)的\(mu_1)中,给定的\(\mu_2)最小化\(I{12}\)的形式为\(d\mu_1=\text{const.}e^{tauT(x)}\),其中\(\tau\)是由\(\Theta\)确定的常数。因此,Koopman的指数分布类与最小判别信息相关。这门课学习数学细节。第二章推导了(I{12})和Fisher信息矩阵之间的关系,第三章通过充分性和指数类进一步阐明了这一关系。作者提出了Fréchet-Cramér-Rao不等式。
设(f(x,Theta)是关于已知测度和未知参数的概率密度。设\(I(\Theta_1,\Theta_2;y)\)为统计量\(y=T(x)\)中包含的信息,用于区分\。(Theta)中的(T(x))的区分效率定义为\[\lim_{\Delta\Theta\ to 0}I(\Theta+\Delta\ Theta,\Theta;y)/I(\Theta+\Delta \Theta,\ Theta;x)。\]
第4章和第5章一般用信息概念处理统计决策问题。研究了用一个假设检验另一个假设的情况。对于给定的第一类错误概率,第二类错误概率的下界可用信息概念表示。当独立观测数接近无穷大时,第二类误差概率的渐近性质也是如此。研究了指数族情况下的分类问题,结果表明,熟悉的过程与使用最小判别信息得到的结果一致。
当(mu_2)表示独立观测的概率分布时,估计最小判别信息可以得到有用的统计。当(mu_2)是真实分布时,统计测量样本和总体之间的相似性,并用于构建统计程序,特别是关于检验假设的程序。
研究了这种方法的性质,发展了Kupperman提出的似然比检验的Wilk定理的新版本。
最后八章,即第6-13章,致力于将一般理论应用于多项式、泊松和多元正态总体。事实上,统计理论中的标准学科是以信息概念作为统一的思想来对待的。一些受试者的研究比普通治疗更深入,例如多项分析中的同质性检验和相互作用。
人们可能会怀疑信息概念在统计决策理论中的根本重要性。然而,毫无疑问,这一概念为作者提供了发展各种非常有用的结果的机会。
参考文献列表令人印象深刻,在文本中经常引用。这本专著无疑将是一本非常有价值的参考书。

MSC公司:

62-01 与统计有关的介绍性说明(教科书、辅导论文等)
62B10型 信息理论主题的统计方面
94甲15 信息论(总论)

关键词:

概率论