×

多重假设检验的强逆界,应用于高维估计。 (英语) Zbl 1473.62113号

摘要:在统计推断问题中,我们希望获得极大极小风险的下界,即限制任何可能的估计量的性能。要做到这一点,一个标准的方法是使用Fano不等式。然而,最近在信息理论环境中的工作表明,对于信道编码问题,基于二进制假设测试的论点比Fano给出更严格的逆向结果(错误下限)。我们将此技术应用于统计设置,并认为Fano不等式总是可以用此方法代替,以获得更紧的下限,该下限易于计算且渐近尖锐。我们在三个应用中说明了我们的技术:密度估计、二进制分类器的主动学习和压缩感知,在每种情况下都可以获得更严格的风险下限。

MSC公司:

62G05型 非参数估计
62B10型 信息理论主题的统计方面
62G07年 密度估计
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Aeron,S.、Saligrama,V.和Zhao,M.(2010年)。压缩传感的信息论界限。,IEEE传输。通知。理论56 5111-5130·Zbl 1366.94179号 ·doi:10.1109/TIT.2010.2059891
[2] Assouad,P.(1983年)。Deux remarques sur l’estimation公司。,科学学院。Série 1,Mathématique 296 1021-1024·Zbl 0568.62003年
[3] Bickel,P.J.、Ritov,Y.和Tsybakov,A.B.(2009年)。Lasso和Dantzig选择器的同时分析。,统计年鉴1705-1732·Zbl 1173.62022号 ·doi:10.1214/08-AOS620
[4] Birgé,L.(1986)。关于使用Hellinger距离和其他一些奇怪的事实来估计密度。,概率论及相关领域71 271-291·Zbl 0561.62029号 ·doi:10.1007/BF00332312
[5] Birgé,L.(2005)。多重假设检验的新下限。,IEEE传输。通知。理论51 1611-1615·Zbl 1283.62030 ·doi:10.1109/TIT.2005.844101
[6] Candes,E.J.和Tao,T.(2005)。线性规划解码。,IEEE传输。通知。理论51 4203-4215·Zbl 1264.94121号 ·doi:10.1109/TIT.2005.858979
[7] Candes,E.J.(2008)。受限等距特性及其对压缩传感的影响。,康普特斯·伦德斯·马塞马提克346 589-592·Zbl 1153.94002号 ·doi:10.1016/j.crma.2008.03.014
[8] Candes,E.J.和Davenport,M.A.(2013年)。我们估计稀疏向量的能力如何?,应用和计算谐波分析34 317-323·Zbl 1315.94019号 ·doi:10.1016/j.acha.2012.08.010
[9] Candes,E.J.、Romberg,J.和Tao,T.(2006)。鲁棒不确定性原理:根据高度不完整的频率信息进行精确的信号重建。,IEEE传输。通知。理论52 489-509·Zbl 1231.94017号 ·doi:10.1109/TIT.2005.862083
[10] 卡斯特罗和诺瓦克(2008年)。主动学习的最小最大界限。,IEEE传输。通知。理论54 2339-2353·Zbl 1330.68246号 ·doi:10.1109/TIT.2008.920189
[11] Cover,T.M.和Thomas,J.A.(1991)。,信息论要素。约翰·威利,纽约·Zbl 0762.94001号
[12] Donoho,D.L.(2006年)。压缩传感。,IEEE传输。通知。理论52 1289-1306·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[13] Giné,E.和Nickl,R.(2015)。,无限维统计模型的数学基础40。剑桥大学出版社·Zbl 1358.62014号
[14] Guntuboyina,A.(2011年)。使用(f)-发散和应用程序的极大极小风险的下限。,IEEE传输。通知。理论57 2386-2399·Zbl 1366.94143号 ·doi:10.1109/TIT.2011.2110791
[15] Hayashi,M.(2007)。非对称量子假设测试中的误差指数及其在经典量子信道编码中的应用。,物理审查A 76 062301。
[16] Hayashi,M.和Nagaoka,H.(2003)。经典量子信道容量的一般公式。,IEEE传输。通知。理论49 1753-1768·Zbl 1301.94053号 ·doi:10.1109/TIT.2003.813556
[17] Ibragimov,I.A.和Khasminskii,R.Z.(1977年)。高斯白噪声中无穷维参数的估计。,Doklady Akademii Nauk SSSR 236 1053-1055。
[18] Johnson,O.T.(2017)。在有限块长度范围内进行分组测试的强转换。,电气与电子工程师协会。事务处理。通知。理论63 5923-5933·Zbl 1374.94853号
[19] Liu,J.、Cuff,P.和Verdú,S.(2017)\(E_γ)-可分解性。,IEEE传输。通知。理论63 2629-2658·Zbl 1368.94059号
[20] 马萨特,P.(2007)。集中不等式与模型选择。2003年,《圣徒概率学院》(Ecole d'Etéde Probabilités de Saint-Flour XXXIII-2003)(J.Picard主编)Springer·Zbl 1170.60006号
[21] 长冈,H.(2005)。量子信息论中的强逆定理。2001年9月6日至8日,日本东京大学ERATO量子信息科学研讨会论文集,量子统计推断中的渐近理论(M.Hayashi,ed.)。世界科学。
[22] Nakibolu,B.(2017)。奥古斯丁中心和无记忆通道的球形包装。在IEEE国际交响乐团。信息论1401-1405。
[23] Polyanskiy,Y.、Poor,H.V.和Verdú,S.(2010年)。有限块长度体制下的信道编码率。,IEEE传输。通知。理论56 2307-2359·Zbl 1366.94312号 ·doi:10.1109/TIT.2010.2043769
[24] Polyanskiy,Y.和Wu,Y.信息理论讲稿。在线:,http://people.lids.mit.edu/yp/homepage/data/itlectures_v4.pdf。 ·Zbl 1359.94277号 ·doi:10.1109/TIT.2015.2482978
[25] Raskutti,G.、Wainwright,M.J.和Yu,B.(2011年)。球上高维线性回归的Minimax估计率。,IEEE传输。通知。理论57 6976-6994·Zbl 1365.62276号 ·doi:10.1109/TIT.2011.2165799
[26] Sason,I.和Verdú,S.(2015)。有限字母相对熵和Rényi散度的上界作为总变差距离的函数。在,程序。IEEE Inf.理论研讨会(214-218)。
[27] Sason,I.和Verdú,S.(2016年)\(f)-散度不等式。,IEEE传输。通知。理论62 5973-6006·Zbl 1359.94363号 ·doi:10.10109/TIT.2016.2603151
[28] Sason,I.和Verdú,S.(2018年)。Arimoto-Rényi条件熵与贝叶斯(M)元假设检验。,IEEE传输。通知。理论64 4-25·Zbl 1390.94640号
[29] Sibson,R.(1969年)。信息半径。,Zeitschrift für Wahrscheinlichkeits theory und verwandte Gebiete 14 149-160·Zbl 0186.53301号 ·doi:10.1007/BF00537520
[30] Tsybakov,A.B.(2004)。统计学习中分类器的最优聚合。,统计年鉴135-166·Zbl 1105.62353号 ·doi:10.1214/aos/1079120131
[31] Tsybakov,A.B.(2009)。,非参数估计简介。统计学中的斯普林格系列。纽约州施普林格·Zbl 1176.62032号
[32] Vazquez-Villar,G.、Campo,A.T.、Guillén i Fábregas,A.和Martinez,A.(2016)。贝叶斯(M)元假设检验:元逆和Verdü-Han边界很紧。,IEEE传输。通知。理论62 2324-2333·Zbl 1359.62063号 ·doi:10.1109/TIT.2016.2542080
[33] Yang,Y.和Barron,A.(1999)。最小最大收敛速度的信息论确定。,统计年鉴1564-1599·Zbl 0978.62008号 ·doi:10.1214/aos/1017939142
[34] Ye,F.和Zhang,C.-H.(2010)。Lasso和Dantzig选择器在球中的损失率最小值。,机器学习研究杂志11 3519-3540·Zbl 1242.62074号
[35] Yu,B.(1997年)。阿苏德、法诺和勒康。年,Lucien Le Cam 423-435的Festschrift·Zbl 0896.62032号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。