×
张彤

从（varepsilon）-熵到KL熵：最小信息复杂度密度估计分析。 （英语） Zbl 1106.62005年

Ann.统计。 34，第5号，2180-2210（2006）.
摘要：我们考虑将（varepsilon）-熵推广到基于KL-divergence的随机密度估计方法的复杂性度量。基于这一扩展，我们发展了一个一般的信息理论不等式，用于度量某些确定性和随机密度估计量的统计复杂性。将介绍新的不平等现象的后果。
特别地，我们证明了该技术可以改进关于最小描述长度和贝叶斯后验分布收敛性的一些经典结果。此外，我们能够导出使用以前的方法无法获得的清晰的有限样本收敛边界。

引用于35文件

MSC公司：

62B10型 信息理论主题的统计方面
2015年1月62日 贝叶斯推断
62G07年 密度估算
62立方厘米10 贝叶斯问题；贝叶斯过程的特征

关键词：

最小描述长度；贝叶斯后验分布

软件：

估计
PDF格式BibTeX公司 XML格式引用
\textit{T.Zhang}，Ann.Stat.34，No.5，2180--2210（2006；Zbl 1106.62005）
全文： 内政部 arXiv公司

参考文献：

[1] Barron，A.和Cover，T.（1991年）。最小复杂度密度估计。IEEE传输。通知。理论37 1034–1054·Zbl 0743.62003号 ·数字对象标识代码：10.1109/18.86996
[2] Barron，A.、Schervish，M.J.和Wasserman，L.（1999）。非参数问题中后验分布的一致性。安。统计师。27 536–561. ·Zbl 0980.62039号 ·doi:10.1214/aos/1018031206
[3] Catoni，O.（2004）。自适应分类的PAC-Baysian方法。网址：www.proba.jussieu.fr/users/catoni/homepage/classif.pdf。
[4] Ghosal，S.、Ghosh，J.K.和van der Vaart，A.W.（2000）。后验分布的收敛速度。安。统计师。28 500–531. ·Zbl 1105.62315号 ·doi:10.1214/aos/1016218228
[5] Le Cam，L.（1973）。维数限制下估计的收敛性。安。统计师。1 38–53. ·兹比尔0255.62006 ·doi:10.1214/aos/1193342380
[6] Le Cam，L.（1986）。统计决策理论中的渐近方法。纽约州施普林格·Zbl 0605.62002号
[7] Li，J.（1999）。混合模型的估计。耶鲁大学统计学系博士论文。
[8] Meir，R.和Zhang，T.（2003）。贝叶斯混合算法的广义误差界。J.马赫。学习。第4839–860号决议·Zbl 1083.68096号 ·doi:10.1162/1532443041424300
[9] Rényi，A.（1961年）。关于熵和信息的度量。程序。伯克利第四交响乐团。数学。统计师。普罗巴伯。1 547–561. 加州大学出版社，伯克利·Zbl 0106.33001号
[10] Rissanen，J.（1989年）。统计调查中的随机复杂性。新加坡世界科学·Zbl 0800.68508号
[11] Seeger，M.（2002）。高斯过程分类的PAC-Baysian泛化误差界。J.马赫。学习。第3 233–269号决议·Zbl 1088.68745号 ·doi:10.1162/153244303765208386
[12] Shen，X.和Wasserman，L.（2001）。后验分布的收敛速度。安。统计师。29 687–714. ·Zbl 1041.62022号 ·doi:10.1214/aos/1009210686
[13] van de Geer，S.（2000）。（M）-估计中的经验过程。剑桥大学出版社·Zbl 0953.62049号
[14] van der Vaart，A.W.和Wellner，J.A.（1996）。弱收敛和经验过程。与统计应用。纽约州施普林格·Zbl 0862.60002号
[15] Walker，S.和Hjort，N.（2001年）。关于贝叶斯一致性。J.R.统计社会服务。B统计方法。63 811–821. JSTOR公司：·Zbl 0987.62021号 ·doi:10.1111/1467-9868.00314
[16] Yang，Y.和Barron，A.（1999）。最小最大收敛速度的信息论确定。安。统计师。27 1564–1599. ·Zbl 0978.62008号 ·doi:10.1214/aos/1017939142
[17] 张涛（1999）。一类随机正则化方法的理论分析。程序中。第十二届计算学习理论年会156-163。纽约ACM出版社·数字对象标识代码：10.1145/307400.307433
[18] 张涛（2004）。广义贝叶斯后验分布族的学习界。神经信息处理系统进展16（S.Thrun，L.K.Saul和B.Schölkopf，eds.）1149–1156。麻省理工学院出版社，马萨诸塞州剑桥。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。