摘要
检测大量数据中的微弱和罕见影响是许多现代数据分析问题的根源。已知结果表明,在这种情况下,统计推断的潜力受到这些问题固有的大规模多重测试的严重限制。这里,我们表明,当信号中存在可以利用的结构时,基本上更强大的统计推断是可能的,例如,如果信号聚集在许多小块中,就像某些相关应用中的情况一样。在这种情况下,我们导出了检测边界,其中我们允许块的数量和块的长度随样本大小多项式增长。我们导出了单变量和多变量设置以及网络中检测簇问题的这些结果。这些结果恢复为稀疏信号检测问题的特殊情况(安。统计师。 32(2004)962–994),其中信号中没有结构,以及扫描问题(统计师。西尼卡 23(2013)409–428),其中信号包含单个间隔。我们开发了一种方法,允许在一般情况下进行最佳自适应检测,从而利用存在的结构,而在没有结构的情况下不会产生相应的惩罚。这种方法的优点是相当大的,因为在没有结构的情况下,手段需要以一定的速度增加以确保检测,而结构的存在允许检测,即使减少以多项式速率。
资金筹措表
作者得到了NSF拨款DMS-1220311和DMS-1501767的支持。
引用
下载引文
季窑口。
Guenther Walther先生。
“具有块结构的大规模推断。”
安。统计师。
50
(3)
1541 - 1572,
2022年6月。
https://doi.org/10.1214/21-AOS2162
问询处
收到日期:2019年6月1日;修订日期:2021年12月1日;发布日期:2022年6月
欧几里德项目首次提供:2022年6月16日
数字对象标识符:10.1214/21-AOS2162
学科:
主要用户:62G10型,62G32型
次要:62H15型
关键词:块状结构,非均匀混合物检测,稀疏信号检测,结构化伯克-琼斯统计,结构化高级批评,结构化的-发散,更高批评统计和Berk–Jones统计的尾部约束,二项对数似然比过程上确界的尾部界,标准布朗桥上确界的尾界
版权所有©2022数学统计研究所