×

具有块结构的大尺度推理。 (英语) Zbl 07547941号

摘要:在大量数据中检测微弱和罕见的影响是许多现代数据分析问题的根源。已知结果表明,在这种情况下,统计推断的潜力受到这些问题固有的大规模多重测试的严重限制。这里,我们表明,当信号中存在可以利用的结构时,基本上更强大的统计推断是可能的,例如,如果信号聚集在许多小块中,就像某些相关应用中的情况一样。在这种情况下,我们导出了检测边界,其中我们允许块的数量和块的长度随样本大小多项式增长。我们推导了单变量和多变量设置以及网络中簇检测问题的这些结果。这些结果作为特殊情况恢复了稀疏信号检测问题(安。统计师。32(2004)962–994),其中信号中没有结构,以及扫描问题(统计师。西尼卡23(2013)409–428),其中信号包含单个间隔。我们开发了一种方法,允许在一般情况下进行最佳自适应检测,从而利用存在的结构,而在没有结构的情况下不会产生相应的惩罚。这种方法的优点是相当大的,因为在没有结构的情况下,平均值需要以(sqrt{logn})的速率增加以确保检测,而结构的存在允许检测,即使平均值减少以多项式速率。

MSC公司:

62G10型 非参数假设检验
62G32型 极值统计;尾部推断
62H15型 多元分析中的假设检验
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Arias-Castro,E.、Candès,E.J.和Durand,A.(2011年)。检测网络中的异常簇。安。统计师。39 278-304. ·Zbl 1209.62097号 ·doi:10.1214/10-AOS839
[2] Arias Castro,E.、Donoho,D.L.和Huo,X.(2005年)。基于快速多尺度方法的几何目标近最优检测。IEEE传输。Inf.理论51 2402-2425·Zbl 1282.94014号 ·doi:10.1109/TIT.2005.850056
[3] CAI,T.T.,JENG,X.J.和JIN,J.(2011)。异质和异方差混合物的最佳检测。J.R.统计社会服务。B.统计方法。73 629-662. ·Zbl 1228.62020号 ·文件编号:10.1111/j.1467-9868.2011.00778.x
[4] CHAN,H.P.(2009)。用平均似然比检验统计量检测空间聚类。安。统计师。37 3985-4010. ·Zbl 1184.62067号 ·doi:10.1214/09-AOS701
[5] CHAN,H.P.和WALTHER,G.(2013)。使用扫描和平均似然比进行检测。统计师。西尼卡23 409-428. ·Zbl 1257.62096号
[6] DELAIGLE,A.和HALL,P.(2009年)。在未知分布、非依赖性和分类的背景下受到更高的批评。数学科学的观点。.统计科学。Interdiscip公司。研究。7 109-138. 世界科学。出版物。,新泽西州哈肯萨克。 ·doi:10.1142/9789814273633_0006
[7] Donoho,D.和Jin,J.(2004)。对检测稀疏非均匀混合物的批评更高。安。统计师。32 962-994·Zbl 1092.62051号 ·doi:10.1214/009053604000000265
[8] DUEMBGEN,L.和WELLNER,J.A.(2014)。分布函数的置信带:重对数定律的新视角。可从arXiv:1402.2918获取。
[9] 范毅、金健和姚政(2013)。稀疏高斯图形模型中的最优分类。安。统计师。41 2537-2571. ·Zbl 1294.62061号 ·doi:10.1214/13-AOS1163
[10] GANGNON,R.E.和CLAYTON,M.K.(2001)。疾病空间聚类的加权平均似然比检验。统计医学。20 2977-2987.
[11] Hall,P.和Jin,J.(2010年)。创新了对相关噪声中稀疏信号检测的更高批评。安。统计师。38 1686-1732. ·Zbl 1189.62080号 ·doi:10.1214/09-AOS764
[12] 于宁斯特。I.(1997年)。假设检验的一些问题导致了无限可分分布。数学。方法统计。6 47-69. ·Zbl 0878.62005号
[13] 于宁斯特。I.(1998)。\[{l^n}\]-球信号的最小最大检测。数学。方法统计。7 401-428. ·Zbl 1103.62312号
[14] INGSTER,Y.I.、POUET,C.和TSYBAKOV,A.B.(2009年)。稀疏高维向量的分类。菲洛斯。事务处理。R.Soc.伦敦。序列号。数学。物理学。工程科学。367 4427-4448. ·Zbl 1185.62115号 ·doi:10.1098/rsta.2009.0156
[15] 于宁斯特。I.和SUSLINA,I.A.(2002年)。在多通道系统中检测具有已知形状的信号。扎普。诺什。塞姆·S·彼得堡·奥特尔。Mat.Inst.Steklov公司(POMI公司) 294 88-112, 261. ·Zbl 1259.94029号 ·数字对象标识代码:10.1007/s10958-005-0133-z
[16] ITÔ,K.和MCKEAN,H.P.JR.(1965)。扩散过程及其采样路径.Die Grundlehren der Mathematischen Wissenschaften乐队125.纽约学术出版社;纽约柏林斯普林格·Zbl 0127.09503号
[17] JAGER,L.和WELLNER,J.A.(2007)。通过phi-digrences进行光纤质量测试。安。统计师。35 2018-2053. ·Zbl 1126.62030号 ·doi:10.1214/00090536070000244
[18] JENG,X.J.、CAI,T.T.和LI,H.(2010)。最优稀疏段识别及其在拷贝数变化分析中的应用。J.Amer。统计师。协会。105 1156-1166. ·Zbl 1390.62170号 ·doi:10.1198/jasa.2010.tm10083
[19] KOU,J.(2017)。块结构的大尺度推理ProQuest LLC,密歇根州安阿伯。论文(博士)-斯坦福大学。
[20] KOU,J.(2021)。识别高斯噪声中矩形信号的支持度。通信统计。理论方法1-28。
[21] KULLDORFF,M.(1999)。空间扫描统计:模型、计算和应用。扫描统计和应用程序.统计工业技术。303-322. Birkhäuser,马萨诸塞州波士顿·Zbl 0941.62063号 ·doi:10.1007/978-1-4612-1578-3_14
[22] LI,J.和SIEGMUND,D.(2015年)。更高的批评:价值观和批评。安。统计师。43 1323-1350. ·Zbl 1320.62039号 ·doi:10.1214/15-AOS1312
[23] MILLER,R.和SIEGMUND,D.(1982年)。最大选择卡方统计。生物识别38 1011-1016. ·Zbl 0502.62091号 ·doi:10.2307/2529881
[24] RIVERA,C.和WALTHER,G.(2013)。使用似然比统计对泊松过程强度或密度的跳跃进行最佳检测。扫描。J.统计。40 752-769. ·Zbl 1283.62179号 ·doi:10.1111/sjos.12027
[25] Shorack,G.R.和Wellner,J.A.(1986年)。经验过程及其在统计学中的应用.概率与数理统计中的威利级数:概率论与数理统计纽约威利·Zbl 1170.62365号
[26] VERZELEN,N.和ARIAS CASTRO,E.(2017年)。稀疏混合模型中的检测和特征选择。安。统计师。45 1920-1950. ·Zbl 1486.62192号 ·doi:10.1214/16-AOS1513
[27] WALTHER,G.(2010年)。使用扫描统计优化和快速检测空间簇。安。统计师。38 1010-1033. ·Zbl 1183.62076号 ·doi:10.1214/09-AOS732
[28] WALTHER,G.(2013)。大规模多重测试和检测稀疏混合的平均似然比。从概率到统计再回来:高维模型和流程.Inst.数学。斯达(智能弹药系统)收集。9 317-326. IMS,俄亥俄州比奇伍德·兹比尔1356.62095 ·doi:10.1214/12-IMSCOLL923
[29] ZHONG,P.-S.、CHEN,S.X.和XU,M.(2013)。在稀疏性和列式依赖性下,测试替代了对高维均值的更高批评。安。统计师。41 2820-2851 ·Zbl 1294.62128号 ·doi:10.1214/13-AOS1168
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。