×

随机块模型中速率最优Chernoff界及其在社区检测中的应用。 (英语) Zbl 1439.62074号

摘要:切尔诺夫系数是分类问题中贝叶斯错误概率的一个上界。在本文中,我们将建立一个基于贝叶斯错误概率的速率最优切尔诺夫界。新的界不仅是Bayes错误概率的上界,也是Bayes误差概率的下界,直至常数因子。此外,我们将此结果应用于随机块模型中的社区检测。作为一个聚类问题,社区检测问题的最优误分类率可以用我们的最优切尔诺夫界来表征。这可以通过在随机块模型的特定参数空间上导出最小最大错误率来形式化,然后通过采用多步EM类型更新的可行算法来实现这样的错误率。

MSC公司:

62F03型 参数假设检验
60G05型 随机过程基础
62B10型 信息理论主题的统计方面
62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 赫尔曼·切尔诺夫。基于观测值总和的假设检验的渐近有效性的度量。,《数理统计年鉴》,第493-507页,1952年·Zbl 0048.11804号 ·doi:10.1214/aoms/1177729330
[2] Claude E Shannon、Robert G Gallager和Elwyn R Berlekamp。离散无记忆信道上编码的错误概率下限。i.《信息与控制》,10(1):65-1031967年·Zbl 0245.94007号 ·doi:10.1016/S0019-9958(67)90052-6
[3] 理查德·布拉胡特。假设检验与信息论。,IEEE信息理论汇刊,20(4):405-4171974·Zbl 0305.62017号 ·doi:10.10109/TIT.1974.1055254
[4] 艾曼纽尔·阿贝和科林·桑德。一般随机块模型中的社区检测:恢复的基本极限和有效算法。在,计算机科学基础(FOCS),2015 IEEE第56届年度研讨会,第670-688页。IEEE,2015年。
[5] 高超,马宗明,张安德森,周哈里森,等。度校正块模型中的社区检测。,《统计年鉴》,46(5):2153-21852018年·Zbl 1408.62116号 ·doi:10.1214/17-AOS1615
[6] 周志新和阿米尼。最优二部网络聚类,《机器学习研究杂志》,21(40):1-682020·Zbl 1498.68281号
[7] Michael Nussbaum,Arleta Szkoła等人。对称量子假设检验的切尔诺夫下限。,《统计年鉴》,37(2):1040-10572009·Zbl 1162.62100号 ·doi:10.1214/08-AOS593
[8] 马可·达赖。经典和经典量子信道的误差概率下限。,IEEE信息理论汇刊,59(12):8027-80562013·Zbl 1364.81056号 ·doi:10.1109/TIT.2013.2283794
[9] Ke Li等人,量子假设检验的二阶渐近性。,《统计年鉴》,42(1):171-1892014·Zbl 1321.62155号 ·doi:10.1214/13-AOS1185
[10] Lin Zhou、Vincent YF Tan和Mehul Motani。二阶渐近最优统计分类。,arXiv预印arXiv:1806.007392018·Zbl 1368.94162号
[11] Karl Rohe、Sourav Chatterjee和Bin Yu。谱聚类和高维随机块模型。,《统计年鉴》,第1878-1915页,2011年·Zbl 1227.62042号 ·doi:10.1214/11-AOS887
[12] 弗洛伦特·克扎卡拉(Florent Krzakala)、克里斯托弗·摩尔(Cristopher Moore)、埃尔沙南·莫塞尔(Elchanan Mossel)、乔·内曼(Joe Neeman)、艾伦·斯利(Allan Sly)、伦卡·兹德博罗娃(Lenka Zdeborová。聚类稀疏网络中的谱赎回。,《美国国家科学院院刊》,110(52):20935-20940,2013年·Zbl 1359.62252号 ·doi:10.1073/pnas.1312486110
[13] 井磊和亚历山德罗·里纳尔多。稀疏随机块模型中谱聚类的一致性。,arXiv预印arXiv:1312.20502013·Zbl 1308.62041号 ·doi:10.1214/14-AOS1274
[14] 唐尼尔·菲什金(Donniell E Fishkind)、丹尼尔·苏斯曼(Daniel L Sussman)、明·唐(Minh Tang)、约书亚·T·沃格斯坦(Joshua T Vogelstein)和凯里·普里贝(Carey E Priebe)。模型参数未知时随机块模型的一致邻接谱划分。,SIAM矩阵分析与应用杂志,34(1):23-392013·Zbl 1314.05186号 ·doi:10.1137/120875600
[15] Van Vu。查找隐藏分区的简单svd算法。,arXiv预印arXiv:1404.3918,2014年·Zbl 1386.68110号 ·网址:10.1017/S096354848317000463
[16] 劳伦特·马苏利(Laurent Massoulié)。社区检测阈值和弱ramanujan属性。年,第四十六届ACM计算理论研讨会论文集,第694-703页。ACM,2014年·Zbl 1315.68210号
[17] Se-Young Yun和Alexandre Proutiere。通过谱算法在随机块模型中精确检测社区。,arXiv预印arXiv:1412.73352014。
[18] Charles Bordenave、Marc Lelarge和Laurent Massoulié。随机图的非回溯谱:社区检测和非正则ramanujan图。在,计算机科学基础(FOCS),2015 IEEE第56届年度研讨会,第1347-1357页。IEEE,2015年·Zbl 1386.05174号
[19] Lennart Gulikers、Marc Lelarge和Laurent Massoulié。适度稀疏度校正随机块模型中社区检测的谱方法。,应用概率学进展,49(3):686-7211917·Zbl 1429.91261号 ·doi:10.1017/apr.2017.18
[20] 玛丽安娜·彭斯基(Marianna Pensky)和张腾(Teng Zhang)。动态随机块模型中的谱聚类。,arXiv预印arXiv:1705.012042017·Zbl 1415.62046号 ·doi:10.1214/19-EJS1533
[21] 艾曼纽尔·阿贝(Emmanuel Abbe)、范建清(Jianqing Fan)、王开正(Kaizheng Wang)和钟一桥(Yiqiao Zhong)。具有低期望秩的随机矩阵的熵特征向量分析。,arXiv预印arXiv:1709.095652017·Zbl 1450.62066号
[22] 周志新和阿米尼。用于社区检测的谱聚类算法分析:一般二分设置。,机器学习研究杂志,20(47):1-472019·Zbl 1484.62088号
[23] Emmanuel Abbe、Enric Boix、Peter Ralli和Colin Sandon。图形增强和光谱稳健性。,arXiv预印arXiv:1809.048182018·Zbl 1484.62117号
[24] 阿拉什·阿米尼(Arash A Amini)和伊丽莎维塔·列维纳(Elizaveta Levina)。关于块模型的半定松弛。,arXiv预印arXiv:1406.56472014·Zbl 1393.62021号 ·doi:10.1214/17-AOS1545
[25] 布鲁斯·哈耶克(Bruce Hajek)、吴一红(Yihong Wu)和徐嘉明(Jiaming Xu)。通过半定规划实现精确的集群恢复阈值。,IEEE信息理论汇刊,62(5):2788-27972016·Zbl 1359.94222号 ·doi:10.1109/TIT.2016.2546280
[26] 阿方索·S·班德拉。随机拉普拉斯矩阵与凸松弛。,《计算数学基础》,第1-35页,2015年·Zbl 1386.15065号 ·doi:10.1007/s10208-016-9341-9
[27] 奥利维尔·盖登(Olivier Guédon)和罗曼·弗什宁(Roman Vershynin)。基于grothendieck不等式的稀疏网络社区检测。,概率论及相关领域,165(3-4):1025-10492016·兹比尔1357.90111 ·doi:10.1007/s00440-015-0659-z
[28] Andrea Montanari和Subhabrata Sen.稀疏随机图上的半定规划及其在社区检测中的应用。年,第四十八届ACM计算机理论研讨会(STOC)论文集,第814-827页。ACM,2016年·Zbl 1376.90043号
[29] Federico Ricci-Tersenghi、Adel Javanmard和Andrea Montanari。基于半定规划的社区检测算法的性能。年,《物理学杂志:会议系列》,第699卷,第012015页。IOP出版社,2016年·兹比尔1359.62188 ·doi:10.1073/pnas.1523097113
[30] Naman Agarwal、Afonso S Bandeira、Konstantinos Koiliaris和Alexandra Kolla。使用半定规划的随机块模型中的多段。《压缩传感及其应用》,第125-162页。施普林格,2017年。
[31] 阿米莉亚·佩里(Amelia Perry)和亚历山大·斯韦恩(Alexander S Wein)。随机块模型中非平衡多段的半定规划。《抽样理论与应用》(SampTA),2017年国际会议,第64-67页。IEEE,2017年。
[32] 费英杰和陈玉东。利用sdp实现同步和块模型中的bayes错误率。,arXiv预印arXiv:1904.096352019a·Zbl 1432.90102号 ·doi:10.1109/TIT.2018.2839677
[33] 费英杰和陈玉东。利用sdp稳健地实现随机块模型中的贝叶斯错误率。在,学习理论会议(COLT),第1235-12692019b页。
[34] Arash A Amini,Aiyou Chen,Peter J Bickel,Elizaveta Levina,et al.大型稀疏网络中社区检测的伪似然方法。,《统计年鉴》,41(4):2097-2122,2013年·Zbl 1277.62166号 ·doi:10.1214/13-AOS1138
[35] 高超(Chao Gao)、马宗明(Zongming Ma)、张安德森(Anderson Y Zhang)和周哈里森(Harrison H Zhou)。在随机块模型中实现最佳误分类比例。,机器学习研究杂志,18(1):1980-20242017·Zbl 1440.62244号
[36] Anderson Y Zhang,Harrison H Zhou,et al.随机块模型中社区检测的最小最大速率。,《统计年鉴》,44(5):2252-22802016·Zbl 1355.60125号 ·doi:10.1214/15-AOS1428
[37] Peter Chin、Anup Rao和Van Vu。稀疏图中的随机块模型和社区检测:具有最佳恢复率的谱算法。在,学习理论会议(COLT),第391-4232015页。
[38] 加文·E·克鲁克斯。关于熵和信息的度量。,技术说明,9:v42017。
[39] 托马斯·M·盖和乔伊·A·托马斯。,信息论要素。John Wiley&Sons,2006年·Zbl 1140.94001号
[40] 塞尔吉奥·弗杜。泊松点过程观测的二元假设检验的渐近误差概率(corresp.)。,IEEE信息理论汇刊,32(1):113-1151986·Zbl 0585.62144号
[41] 罗伊·容克(Roy Jonker)和安东·沃尔根南(Anton Volgenant)。稠密和稀疏线性分配问题的最短增广路径算法。,计算机,38(4):325-3401987·Zbl 0607.90056号 ·doi:10.1007/BF02278710
[42] 埃尔沙南·莫塞尔(Elchanan Mossel)、乔·内曼(Joe Neeman)和艾伦·斯利(Allan Sly)。种植平分模型的一致性阈值。年,第四十七届ACM计算理论研讨会论文集,第69-75页。ACM,2015年·Zbl 1321.05242号
[43] Anderson Y Zhang和Harrison H Zhou。群落检测中平均场变分推断的理论和计算保证。,arXiv预印arXiv:1710.112682017·Zbl 1462.62221号
[44] 科恩拉德·奥德纳特先生、约翰·卡萨米格里亚、拉蒙·穆诺兹·塔皮亚、埃米利奥·巴根、利·马萨内斯、安东尼奥·阿钦和弗兰克·弗斯特雷特。判别态:量子切尔诺夫界。,体检报告,98(16):160501,2007年。
[45] IG谢夫佐娃。李亚普诺夫定理收敛速度估计的改进。在《Doklady数学》第82卷第862-864页。施普林格,2010年·Zbl 1222.60023号 ·doi:10.1134/S1064562410060062
[46] 路易斯·海·陈和奇曼·邵。通过stein方法的非均匀berry-esseen约束。,概率论及相关领域,120(2):236-2542001·兹比尔0996.60029 ·doi:10.1007/PL00008782
[47] Evarist Giné和Richard Nickl。,无限维统计模型的数学基础,第40卷。剑桥大学出版社,2015年·Zbl 1358.62014号
[48] 瓦塞克·查塔尔(Vasek Chvátal)·Zbl 0396.60016号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。