最小复杂度密度估计

@第{条Barron1991MinimumCD，title={最小复杂度密度估计}，author={安德鲁·巴伦（Andrew R.Barron）和托马斯·科弗（Thomas M.Cover）}，journal={IEEE Trans.Inf.Theory}，年份={1991年}，体积={37}，页码={1034-1054}，网址={https://api.semanticscholar.org/CorpusID:14460436}}
证明了一个可解性指标约束最小复杂度密度估计量的收敛速度以及相应总描述长度的信息理论冗余度，以证明最小描述长度原理作为一种推理方法的统计有效性。
通过Publisher查看
网址：www-isl.stanford.edu
541引文
极具影响力的引文
81
背景引文
214
方法引文
140
结果引文
25

541引文

从熵到KL熵：最小信息复杂度密度估计分析

提出了一个一般的信息理论不等式，它度量了一些确定性和随机密度估计量的统计复杂性，并可以改进关于最小描述长度和贝叶斯后验分布收敛性的一些经典结果。

计数过程强度最小复杂度估计的收敛速度

采用基于信息理论的方法对Aalen模型中点过程的强度函数提供一致估计，并表明统计风险受可解性指标的限制，该指标产生特定候选函数族的收敛速度。

基于最小复杂度准则的渐近最优函数估计

应用于函数估计的最小描述长度原则可以产生一个形式为log（似然）+const/spl middot/m的准则，而不是常见的log（可能性）+（m/2）log n，其中…

从ε-熵到KL-熵：最小信息复杂度估计的分析

    数学、计算机科学
  • 2007
提出了一个一般的信息理论不等式，它度量了一些确定性和随机密度估计量的统计复杂性，并可以改进关于最小描述长度和贝叶斯后验分布收敛性的一些经典结果。

最小复杂度非参数估计的一致性

这项工作表明，基于复杂性的先验测度可以确保一致性，至少当限制在无穷维参数（即函数）空间的可数稠密子集时，但这些结果与实际的复杂性分配无关。

随机复杂性估计：一种决策论方法

提出了一种基于密度估计的复杂度决策规则，该规则利用这些估计量的质量来估计观测样本的真概率密度对应的未知元素。

编码与建模中的最小描述长度原则

归一化最大似然编码、混合编码和预测编码均能在渐近消失项内实现随机复杂性。

基于密度凸组合的密度估计：近似和估计界

复杂性正则化及其在人工神经网络中的应用

本文定义了一般的复杂性正则化准则，并建立了估计函数的统计风险界，并在参数和非参数情况下，建立了模型选择准则的一致性、收敛速度和近似渐近最优性。

随机复杂性统计建模

本文利用随机复杂性研究了几个统计建模问题。首先，使用复杂性或最小描述长度的概念，预测能力指数为…
...

48参考文献

随机复杂性与非参数密度估计

我们使用随机复杂性、描述长度和模型选择的概念，开发了基于数据的方法，用于在非参数密度估计中选择平滑参数。在…

贝叶斯方法的信息论渐近性

作者检验了真实密度和贝叶斯密度之间的相对熵距离D/sub-n/，并证明了渐近距离是（D/2）（logn）+c，其中D是参数向量的维数。

通用编码、信息、预测和估计

建立了通用代码与预测和统计估计问题之间的联系。通用码平均长度的已知下限被锐化和推广，…

概率密度函数估计的层次

指数族序列对密度函数的逼近

对于具有L2和L的任何一类对数密度函数和有限维线性空间序列，相对熵的类似收敛结果一般成立。

压缩编码的估计和推理

摘要：一组数据中的系统变化，如通常的统计模型所示，可用于以更紧凑的形式对数据进行编码，而不是将其作为…

积分的通用先验和最小描述长度估计

研究了当每个观测值具有一定精度时，基于最小化重写观测数据所需二进制数字总数的原则进行估计。

有界随机变量和的概率不等式

摘要推导了n个独立随机变量的和S超过其平均数ES的概率的上界…

Kolmogorov复杂性、数据压缩和推断

如果一个随机变量序列具有Shannon熵H，那么众所周知，该序列存在一个只需要H位的有效描述。但是序列的熵H也…

信息论与极大似然原理的推广

经典的最大似然原理可以被认为是相对于一个非常普遍的信息论准则的最佳估计的渐近实现方法，它为统计模型拟合的许多实际问题提供了答案。