西里奥·莱格拉曼蒂;托马索·里根;丹尼尔·杜兰特;大卫·B·邓森。 扩展的随机块模型及其在犯罪网络中的应用。 （英语） Zbl 1498.62323号 附录申请。斯达。 16，第4期，2369-2395（2022）. 摘要：在多个应用程序中，可靠地学习网络数据中节点之间的组结构具有挑战性。我们特别热衷于研究为罪犯之间关系编码的秘密网络。这些数据易受测量误差的影响，表现出未知数量的核心-边缘、分类和非分离结构的复杂组合，可能揭示犯罪组织的关键架构。这些噪声块模式的共存限制了常规使用的社区检测算法的可靠性，并且需要扩展基于模型的解决方案，以真实地描述节点划分过程，合并来自节点属性的信息，并提供改进的估计和不确定性量化策略。为了弥补这些不足，我们开发了一类新的扩展随机块模型(esbm公司)通过分区过程中的Gibbs类型先验信息推断具有公共连接模式的节点组。这一选择涵盖了犯罪网络的许多现实先验，涵盖了具有固定、随机和无限数量可能组的解决方案，并有助于以原则性的方式包含节点属性。在我们课堂上的新备选方案中，我们将Gnedin过程作为一个现实的先验，它允许组的数量是有限的、随机的，并且受到与犯罪网络一致的强化过程的影响。建议整体使用坍塌吉布斯采样器esbm公司概述了估算、预测、不确定性量化和模型选择的分类和改进策略。这个esbm公司性能在真实模拟和意大利黑手党网络的应用中得到了说明，在该网络中，我们揭示了关键的复杂块体结构，这些结构大多隐藏在最先进的替代方案中。 引用于2文件 MSC公司： 62第25页 统计学在社会科学中的应用 62小时30分 分类和区分；聚类分析（统计方面） 62G05型 非参数估计 2015年1月62日 贝叶斯推断 91天30分 社交网络；意见动态 关键词：贝叶斯非参数;吉布斯型先验;网络;产品划分模型 PDF格式BibTeX公司 XML格式引用 \textit{S.Legramanti}等人，Ann.Appl。Stat.16，No.4，2369--2395（2022；Zbl 1498.62323） 全文： 内政部 arXiv公司 参考文献： [1] ABBE，E.（2017）。社区检测和随机块模型：最新发展。J.马赫。学习。物件。18 1-86. ·Zbl 1403.62110号 [2] AGRESTE，S.、CATNESE，S.、DE MEO，P.、FERRARA，E.和FIUMARA，G.（2016）。黑手党集团的网络结构和弹性。通知。科学。351 30-47之间。 [3] Airoldi，E.M.、Blei，D.M.、Fienberg，S.E.和Xing，E.P.（2008年）。混合成员随机块模型。J.马赫。学习。物件。9 1981-2014. ·Zbl 1225.68143号 [4] AMINI，A.、CHEN，A.、BICKEL，P.J.和LEVINA，E.（2013）。大型稀疏网络中社区检测的伪似然方法。安。统计师。41 2097-2122. ·Zbl 1277.62166号 ·doi:10.1214/13-AOS1138 [5] ATHREYA，A.，FISHKIND，D.E.，TANG，M.，PRIEBE，C.E.，PARK，Y.，VOGELSTEIN，J.T.，LEVIN，K.，LYZINSKI，V.，QIN，Y.和SUSSMAN，D.L.（2017）。随机点积图的统计推断：一项调查。J.马赫。学习。物件。18 1-92. ·Zbl 1473.05279号 [6] BICKEL，P.J.、CHOI，D.、CHANG，X.和ZHANG，H.（2013）。随机块模型最大似然的渐近正态性及其变分逼近。安。统计师。41 1922-1943. ·Zbl 1292.62042号 ·doi:10.1214/13-AOS1124 [7] BINKIEWICZ，N.、VOGELSTEIN，J.T.和ROHE，K.（2017年）。协变量辅助谱聚类。生物特征104 361-377. ·Zbl 1506.62319号 ·doi:10.1093/biomet/asx008 [8] BLONDEL，V.D.、GUILLAUME，J.L.、LAMBIOTTE，R.和LEFEBVRE，E.（2008）。大型网络中社区的快速发展。《统计力学杂志》。10 P10008·Zbl 1459.91130号 [9] CALDERONI，F.、BRUNETTO，D.和PICCARDI，C.（2017年）。犯罪网络中的社区：案例研究。Soc.网络。48 116-125. [10] CALDERONI，F.和PICCARDI，C.（2014）。通过社区分析揭示犯罪组织的结构：Infinito网络。2014年第十届国际信号图像技术和基于互联网的系统会议301-308. IEEE，马拉喀什，摩洛哥。 [11] 坎帕纳，第（2016）页。解释犯罪网络：策略和潜在陷阱。Methodol公司。因诺夫。9 1-10。 [12] 坎帕纳，P.和瓦雷斯，F.（2022）。研究有组织犯罪网络：数据来源、边界和结构性措施的限制。Soc.网络。69 149-159. [13] CARLEY，K.M.、LEE，J.S.和KRACKHARDT，D.（2002年）。破坏网络稳定。连接24 79-92. [14] CATINO，M.（2014）。黑手党是如何组织的？三个黑手党组织的冲突和暴力。欧洲社会学杂志。55 177-220. [15] CAVALLARO，L.、FICARA，A.、DE MEO，P.、FIUMARA，G.、CATANESE，S.、BAGDASAR，O.、SONG，W.和LIOTTA，A.（2020年）。通过数据分析破坏弹性犯罪网络：西西里黑手党案例。公共科学图书馆15 1-22. [16] Chen，K.和Lei，J.（2018）。用于确定网络数据中社区数量的网络交叉验证。J.Amer。统计师。协会。113 241-251. ·Zbl 1398.62159号 ·doi:10.1080/01621459.2016.1246365 [17] Cóme，E.和Latouche，P.（2015）。基于精确集成完全数据似然的随机块模型中的模型选择和聚类。统计模型。15 564-589. ·Zbl 07259003号 ·doi:10.1177/1471082X15577017 [18] CÔME，E.，JOUVIN，N.，LATOUCHE，P.和BOUVEYRON，C.（2021）。具有离散潜在变量模型和集成分类似然的层次聚类。高级数据分析。分类。15 957-986. ·Zbl 07538936号 ·doi:10.1007/s11634-021-00440-z [19] DE BLASI，P.、LIJOI，A.和PRüNSTER，I.（2013）。一类离散非参数先验函数的渐近分析。统计师。西尼卡23 1299-1321. ·Zbl 06202708号 [20] DE BLASI，P.、FAVARO，S.、LIJOI，A.、MENA，R.H.、PRÜNSTER，I.和RUGGIERO，M.（2015）。吉布斯型先验是狄里克莱过程最自然的推广吗？IEEE传输。模式分析。机器。智力。37 212-229。 [21] DIVIÁK，T.（2022）。秘密网络数据收集的关键方面：问题、挑战和机遇。Soc.网络。69 160-169. [22] FAUST，K.和TITA，G.E.（2019年）。社交网络与犯罪：推动该领域发展的陷阱和承诺。每年。修订版克里米诺。2 99-122. [23] FERRARA，E.、DE MEO，P.、CATANESE，S.和FIUMARA，G.（2014）。检测手机网络中的犯罪组织。专家系统。应用。41 5733-5750. [24] FORTUNATO，S.和HRIC，D.（2016）。网络中的社区检测：用户指南。物理学。代表。659 1-44. ·doi:10.1016/j.physrep.2016.09.002 [25] Fosdick，B.K.、McCormick，T.H.、Murphy，T.B.、Ng，T.L.J.和Westling，T.（2019年）。多分辨率网络模型。J.计算。图表。统计师。28 185-196. ·Zbl 07499021号 ·doi:10.1080/10618600.2018.1505633 [26] FRUCHTERMAN，T.M.和REINGOLD，E.M.（1991）。通过强制定向放置绘制图形。柔和。实际。支出。21 1129-1164. [27] Gelman，A.、Hwang，J.和Vehtari，A.（2014）。了解贝叶斯模型的预测信息标准。统计计算。24 997-1016. ·Zbl 1332.62090号 ·doi:10.1007/s11222-013-9416-2 [28] Geng，J.、Bhattacharya，A.和Pati，D.（2019年）。未知社区数的概率社区检测。J.Amer。统计师。协会。114 893-905. ·Zbl 1420.62271号 ·doi:10.1080/01621459.2018.1458618 [29] Girvan，M.和Newman，M.E.J.（2002）。社会和生物网络中的社区结构。程序。国家。阿卡德。科学。美国99 7821-7826·Zbl 1032.91716号 ·doi:10.1073/美国国家统计局.122653799 [30] 格涅丁，A.（2010）。具有有限多种类型的物种抽样模型。电子。Commun公司。普罗巴伯。15 79-88. ·Zbl 1202.60056号 ·doi:10.1214/ECP.v15-1532 [31] GNEDIN，A.和PITMAN，J.（2005）。可交换吉布斯分区和斯特林三角形。扎普。诺什。塞姆. (POMI公司)圣彼得堡。325 83-102. ·Zbl 1293.60010号 ·doi:10.1007/s10958-006-0335-z [32] GORMLEY，I.C.和MURPHY，T.B.（2010年）。一种用于社交网络数据的混合专家潜在位置聚类模型。统计方法。7 385-405. ·Zbl 1233.62205号 ·doi:10.1016/j.stamet.2010.01.002 [33] GRASSI，R.、CALDERONI，F.、BIANCHI，M.和TORRIERO，A.（2019年）。评估犯罪网络领导者的中间性：使用双重投影法的新证据。Soc.网络。56 23-32. [34] Handcock，M.S.、Raftery，A.E.和Tantrum，J.M.（2007年）。基于模型的社交网络聚类。J.罗伊。统计师。Soc.序列号。A类170 301-354. ·doi:10.1111/j.1467-985X.2007.00471.x [35] HARTIGAN，J.A.（1990年）。分区模型。通信统计。理论与方法19 2745-2756. ·doi:10.1080/03610929008830345 [36] Holland，P.W.、Laskey，K.B.和Leinhardt，S.（1983年）。随机块模型：第一步。Soc.网络。5 109-137. ·doi:10.1016/0378-8733（83）90021-7 [37] Karrer，B.和Newman，M.E.J.（2011年）。网络中的随机块模型和社区结构。物理学。版本E(3) 83 016107, 10. ·doi:10.103/物理版本E.83.016107 [38] Kass，R.E.和Raftery，A.E.（1995年）。贝叶斯因素。J.Amer。统计师。协会。90 773-795. ·Zbl 0846.62028号 ·doi:10.1080/01621459.1995.10476572 [39] KEMP，C.、TENENBAUM，J.B.、GRIFFITHS，T.L.、YAMADA，T.和UEDA，N.（2006年）。使用无限关系模型学习概念系统。在会议记录21第一届全国人工智能会议381-388. [40] KIM，D.、HUGHES，M.和SUDDERTH，E.（2012年）。非参数元数据相关关系模型。在ICML'12:会议记录29第十届国际机器学习会议1411-1418. 英国爱丁堡IEEE。 [41] KREBS，V.E.（2002）。绘制恐怖组织网络图。连接24 43-52. [42] LE，V.（2012）。有组织犯罪类型：结构、活动和条件。国际克里米诺杂志。社会学。1 121-131. [43] LE，C.M.和LEVINA，E.（2015）。用谱方法估计网络中社区的数量。预印。可从arXiv:1507.00827获取·Zbl 1493.62313号 [44] LEE，C.和WILKINSON，D.J.（2019年）。图聚类的随机块模型及其扩展综述。申请。Netw公司。科学。4 1-50. [45] LEGRAMANTI，S.、RIGON，T.和DURANTE，D.（2020年）。随机块模型中外生划分结构的贝叶斯检验。Sankhya A公司。按·Zbl 1490.62142号 [46] LEGRAMANTI，S.、RIGON，T.、DURANTE，D.和DUNSON，D.B（2022）。补充“犯罪网络应用的扩展随机块模型”https://doi.org/10.1214/21-AOAAS1595SUPP ·兹比尔1490.62142 [47] Lei，J.和Rinaldo，A.（2015）。随机块模型中谱聚类的一致性。安。统计师。43 215-237. ·Zbl 1308.62041号 ·doi:10.1214/14-AOS1274 [48] LENK，P.（2009）。综合概率谐波平均估计的模拟伪偏差校正。J.计算。图表。统计师。18 941-960. ·doi:10.1198/jcgs.2009.08022 [49] LI，T.、LEVINA，E.和ZHU，J.（2020年）。通过边缘采样进行网络交叉验证。生物特征107 257-276. ·Zbl 1441.62049号 ·doi:10.1093/biomet/asaa006 [50] LIJOI，A.、MENA，R.H.和PRüNSTER，I.（2007a）。贝叶斯非参数混合模型中的强化控制。J.R.Stat.Soc.系列。B.统计方法。69 715-740. ·Zbl 07555373号 ·文件编号：10.1111/j.1467-9868.2007.00609.x [51] LIJOI，A.、MENA，R.H.和PRüNSTER，I.（2007b）。发现新物种概率的贝叶斯非参数估计。生物特征94 769-786. ·Zbl 1156.62374号 ·doi:10.1093/biomet/asm061 [52] LIJOI，A.、PRüNSTER，I.和WALKER，S.G.（2008）。由条件吉布斯结构导出的贝叶斯非参数估计。附录申请。普罗巴伯。18 1519-1547. ·Zbl 1142.62333号 ·doi:10.1214/07-AAP495 [53] 刘凤、蔡德、谢立和罗德（2018）。动态网络中的全局谱聚类。程序。国家。阿卡德。科学。美国115 927-932. ·Zbl 1418.91430号 ·doi:10.1073/美国国家统计局1718449115 [54] MAGALINGAM，P.、DAVIS，S.和RAO，A.（2015）。利用最短路径发现犯罪群体。数字。投资。15 1-17. [55] MALM，A.和BICHLER，G.（2011年）。合作罪犯网络：评估毒品市场的结构脆弱性。J.Res.犯罪。48 271-297. [56] MEILĂ，M.（2007）。比较聚类——基于信息的距离。《多元分析杂志》。98 873-895. ·Zbl 1298.91124号 ·doi:10.1016/j.jmva.2006.11.013 [57] MILLER，J.W.和HARRISON，M.T.（2014）。Pitman-Yor工艺混合物的成分数量不一致。J.马赫。学习。物件。15 3333-3370. ·Zbl 1319.62100号 [58] Miller，J.W.和Harrison，M.T.（2018年）。混合模型具有先验成分数量。J.Amer。统计师。协会。113 340-356. ·Zbl 1398.62066号 ·doi:10.1080/01621459.2016.1255636 [59] MORSELLI，C.（2009）。地狱天使在春天。趋势机构。犯罪12 145-158. [60] MORSELLI，C.、GIGUÈRE，C.和PETIT，K.（2007年）。犯罪网络中的效率/安全权衡。Soc.网络。29 143-153. [61] Müller，P.、Quintana，F.和Rosner，G.L.（2011年）。协变量回归的产品分割模型。J.计算。图表。统计师。20 260-278. ·doi:10.1198/jcgs.2011.09066 [62] NEWMAN，M.E.J.和GIRVAN，M..（2004）。发现和评估网络中的社区结构。物理学。版本E69 026113. [63] 纽曼（2006）。网络中的模块化和社区结构。程序。国家。阿卡德。科学。美国103 8577-8582。 [64] NEWMAN，M.E.J.和Clause，A.（2016）。注释网络中的结构和推理。国家公社。7 1-11. [65] NOROOZI，M.和PENSKY，M.（2020年）。异质块体模型中的统计推断。预印本。arXiv:2002.02610提供·Zbl 1490.62143号 [66] Nowicki，K.和Snijders，T.A.B.（2001）。随机块体结构的估计和预测。J.Amer。统计师。协会。96 1077-1087. ·Zbl 1072.62542号 ·doi:10.1198/016214501753208735 [67] Olhede，S.C.和Wolfe，P.J.（2014）。网络直方图和块模型近似的通用性。程序。国家。阿卡德。科学。美国111 14722-14727. [68] PAJOR，A.（2017）。使用算术平均恒等式估计边际似然。贝叶斯分析。12 261-287. ·Zbl 1384.62096号 ·doi:10.1214/16-BA1001 [69] PAOLI，L.（2007）。意大利的黑手党和有组织犯罪：执法的未被承认的成功。西欧政治。30 854-880. [70] PARK，J.-H.和DUNSON，D.B.（2010年）。贝叶斯广义产品划分模型。统计师。西尼卡20 1203-1226. ·Zbl 1507.62242号 [71] Quintana，F.A.和Iglesias，P.L.（2003）。贝叶斯聚类和产品划分模型。J.R.Stat.Soc.系列。B.统计方法。65 557-574. ·Zbl 1065.62115号 ·doi:10.1111/1467-9868.00402 [72] RAFTERY，A.E.、NEWTON，M.A.、SATAGOPAN，J.M.和KRIVITSKY，P.N.（2007）。使用调和平均恒等式通过后验模拟估计积分似然。在贝叶斯统计8.第1-45条。牛津大学出版社，牛津·Zbl 1252.62038号 [73] RANCIATI，S.、VINCIOTTI，V.和WIT，E.C.（2020年）。从Noordin Top活动网络中识别重叠的恐怖组织。附录申请。斯达。14 1516-1534. ·Zbl 1470.62178号 ·doi:10.1214/20-AOAS1358 [74] RASTELLI，R.、LATOUCHE，P.和FRIEL，N.（2018年）。为动态网络选择潜在随机块模型中的组数。Netw公司。科学。6 469-493. [75] Rohe，K.、Chatterjee，S.和Yu，B.（2011年）。谱聚类和高维随机块模型。安。统计师。39 1878-1915. ·Zbl 1227.62042号 ·doi:10.1214/11-AOS887 [76] Saldaña，D.F.、Yu，Y.和Feng，Y.（2017年）。有多少个社区？J.计算。图表。统计师。26 171-181. ·doi:10.1080/10618600.2015.1096790 [77] SANGKARAN，T.、ABDULLAH，A.和JHANJHI，N.（2020年）。基于同构子图分析的犯罪社区检测。打开计算。科学。10 164-174. [78] Sarkar，P.和Bickel，P.J.（2015）。归一化在随机块模型谱聚类中的作用。安。统计师。43 962-990. ·Zbl 1320.62150号 ·doi:10.1214/14-AOS1285 [79] SCHMIDT，M.N.和MORUP，M.（2013）。复杂网络的非参数贝叶斯建模：简介。IEEE信号处理。美格。30 110-128. [80] SENGUPTA，S.和CHEN，Y.（2018）。具有社区结构的网络中节点流行度的块模型。J.R.Stat.Soc.系列。B.统计方法。80 365-386. ·Zbl 1458.62166号 ·doi:10.1111/rssb.12245 [81] Spiegelhalter，D.J.、Best，N.G.、Carlin，B.P.和van der Linde，A.（2002）。模型复杂性和拟合的贝叶斯度量。J.R.Stat.Soc.系列。B.统计方法。64 583-639. ·Zbl 1067.62010年 ·doi:10.111/1467-9868.00353 [82] STANLEY，N.、BONACCI，T.、KWITT，R.、NIETHAMMER，M.和MUCHA，P.J.（2019年）。具有多个连续属性的随机块模型。申请。Netw公司。科学。4 1-22. [83] SUSSMAN，D.L.、TANG，M.、FISHKIND，D.和PRIEBE，C.E.（2012）。随机块模型图的一致邻接谱嵌入。J.Amer。统计师。协会。107 1119-1128. ·Zbl 1443.62188号 ·doi:10.1080/01621459.2012.699795 [84] TALLBERG，C.（2004）。用协变量建模随机块结构的贝叶斯方法。数学杂志。社会学。29 1-23. ·Zbl 1101.91067号 [85] von Luxburg，U.（2007年）。光谱聚类教程。统计计算。17 395-416. ·数字对象标识代码：10.1007/s11222-007-9033-z [86] WADE，S.和GHAHRAMANI，Z.（2018年）。贝叶斯聚类分析：点估计和可信球（讨论）。贝叶斯分析。13 559-626. ·Zbl 1407.62241号 ·doi:10.1214/17-BA1073 [87] Wang，Y.X.R.和Bickel，P.J.（2017）。随机块模型的基于似然的模型选择。安。统计师。45 500-528. ·Zbl 1371.62017年 ·doi:10.1214/16-AOS1457 [88] WANG，Y.-B.，CHEN，M.-H.，KUO，L.和LEWIS，P.O.（2018年）。估计边际可能性的一种新的蒙特卡罗方法。贝叶斯分析。13 311-333. ·Zbl 1407.62412号 ·doi:10.1214/17-BA1049 [89] Watanabe，S.（2010年）。贝叶斯交叉验证的渐近等价性和奇异学习理论中广泛适用的信息准则。J.马赫。学习。物件。11 3571-3594. ·兹比尔1242.62024 [90] 渡边，S.（2013）。广泛适用的贝叶斯信息准则。J.马赫。学习。物件。14 867-897. ·Zbl 1320.62058号 [91] WHITE，A.和MURPHY，T.B.（2016年）。专家混合成员随机块模型。Netw公司。科学。4 48-80. [92] XU，Z.，KE，Y.，WANG，Y.、CHENG，H.和CHENG（2012）。基于模型的属性图聚类方法会议记录2012ACM SIGMOD国际数据管理会议505-516. [93] YANG，J.、MCAULEY，J.和LESKOVEC，J.（2013）。具有节点属性的网络中的社区检测。2013年电气与电子工程师协会13第十届国际数据挖掘会议1151-1156. [94] ZHANG，Y.、LEVINA，E.和ZHU，J.（2016）。具有节点特征的网络中的社区检测。电子。J.统计。10 3153-3178. ·Zbl 1359.62271号 ·doi:10.1214/16-EJS1206 [95] 赵H.、杜L.和邦廷W.（2017）。利用节点属性处理不完整的关系数据。在机器学习国际会议4072-4081. [96] ZHAO，Y.、LEVINA，E.和ZHU，J.（2012）。度修正随机块模型下网络中社区检测的一致性。安。统计师。40 2266-2292. ·Zbl 1257.62095号 ·doi:10.1214/12-AOS1036 [97] ZHOU和AMINI，A.（2019年）。用于社区检测的谱聚类算法分析：一般二分设置。J.马赫。学习。物件。20 1-47 ·Zbl 1484.62088号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。