×

通过熵和方差测量数据的信息性。 (英语) 兹比尔0964.62107

Daniel J.Slottje(编辑),《计量经济学、收入分配和科学方法的进展》。纪念卡米洛·达贡的论文。海德堡:Physica-Verlag。61-77 (1999).
引言:测量数据或新闻的信息性尤其重要,因为它量化了“学习”的量。这对于科学进步以及评估“信息”和技术的方向和价值至关重要。与所有“指数”一样,衡量信息的可取性至少取决于两个考虑因素:第一是利用信息的推理/调查技术。二是要总结的信息的分布特征。例如,根据设计,最小二乘法无法利用分布/数据中“变化”以外的任何信息。并且,高斯分布/数据完全由前两个矩表征;因此,任何指数都是相同时刻的函数。在对比熵和方差作为信息量或不确定性指标时,需要考虑这两个因素。
贝叶斯学习和更新是所有科学中最优雅和流行的形式主义之一。它为评估新信息的价值提供了一种特别有效的手段。正是在这种背景下,我们衡量信息的准确性。贝叶斯分析包括一个似然函数f(x |θ)和一个先验分布P(θ),它映射了分析员关于参数的不确定性。先验由观测数据\(x=(x_1,\dots,x_n)\)更新为后验分布。在观察数据之前和之后的不确定性的比较是令人感兴趣的,因为它量化了任何信息增益。
我们关心的是评估给定数据集的信息性的问题。在后数据阶段测量给定数据集的信息性的问题与更广泛分析的前观察或测量相对于变量空间的“预期信息”的设计阶段不同。众所周知,平均而言,样本根据方差和熵都具有信息性。然而,对于某些数据配置和以前的发行版,情况可能并非如此。
本文概述如下。在第2节中,我们概述了一些信息函数,用于量化给定数据的信息内容和数据中的预期信息。第3节讨论了贝努利参数在两类非信息先验下二进制数据的信息性。第四节讨论了指数数据在共轭先验下的信息性。第5节讨论了高斯数据在均值和方差的共轭先验下的信息性。第6节结束。
关于整个系列,请参见[Zbl 0946.00010号]。

MSC公司:

62第20页 统计学在经济学中的应用
62B10型 信息理论主题的统计方面
2015年1月62日 贝叶斯推断
PDF格式BibTeX公司 XML格式引用