阿德里安·奥哈根;怀特，亚瑟 使用贝叶斯初始化平均改进了基于模型的聚类性能。 （英文） Zbl 1417.62177号 计算。斯达。 第34期，第1期，201-231（2019）. 摘要：期望最大化（EM）算法是一种常用的通过坐标上升求混合模型中参数的最大似然估计的方法。该算法的一个严重缺陷是，在多峰似然函数的情况下，它可能会陷入局部最大值。当使用次优起始值初始化算法时，经常会出现此问题。贝叶斯初始化平均（BIA）被提出作为一种集成方法来生成EM算法的高质量起始值。将竞争的试验起始值组合为加权平均值，然后将其用作完整EM运行的起始位置。该方法还可以扩展到变分贝叶斯方法，这是一类类似于EM的算法，基于模型后验的近似。在实际连续、分类和网络数据集上演示了BIA方法，并给出了收敛的对数似然函数和相关的聚类解。与使用竞争初始化方法（如随机开始、层次聚类和确定性退火）产生的输出相比，这些方法具有更好的效果，在较高百分比的情况下，以合理的计算成本获得了最高可用最大似然估计。对于网络数据的随机块模型，即使在可能性不可用的情况下，也会显示出有希望的结果。还讨论了由局部极大值获得的不同聚类解的含义。 引用于2文件 MSC公司： 62H30型 分类和区分；聚类分析（统计方面） 10层62层 点估计 2015年1月62日 贝叶斯推断 62页第10页 统计学在生物学和医学中的应用；元分析 62-08 统计问题的计算方法 关键词：贝叶斯模型平均;EM算法;有限混合模型;层次聚类;基于模型的聚类;多模似然 软件：记录仪;LBFGS-B型;L-BFGS公司;算法548;贝叶斯生命周期评价;L-BFGS-B型;公共生命周期评价;麦克卢斯特;e1071号 PDF格式BibTeX公司 XML格式引用 \textit{A.O'Hagan}和\textit{A.White}，计算。Stat.34，No.1，201--231（2019；Zbl 1417.62177） 全文： 内政部 arXiv公司 参考文献： [1] Agresti A（2002）分类数据分析，第2版。威利，伦敦·Zbl 1018.6202号 [2] 艾特金M，艾特金I（1996）混合分布中最大似然的混合EM/Gauss-Newton算法。统计计算6:127-130 [3] Andrews JL，McNicholas PD（2011），基于模型的聚类、分类和通过多元t分布混合进行判别分析。统计计算22（5）：1021-1029·Zbl 1252.62062号 [4] Baudry JP，Celeux G（2015）EM，混合物。统计计算25（4）：713-726·Zbl 1331.62301号 [5] Baudry JP、Cardoso M、Celeux G、Amorim MJ、Ferreira AS（2015）《利用外部类别变量加强基于模型的聚类选择》。高级数据分析分类9（2）：177-196。https://doi.org/10.1007/s11634-014-0177-3 ·Zbl 1414.62226号 ·文件编号：10.1007/s11634-014-0177-3 [6] Besag J（1986）《脏照片的统计分析》。J R Stat Soc Ser B Methodol公司48:259-302·Zbl 0609.62150号 [7] Biernacki C，Celeux G，Govaert G（2003）为EM算法选择初始值，以获得多元高斯混合模型中的最大似然。计算机统计数据分析41（3-4）：561-575·Zbl 1429.62235号 [8] Byrd R，Lu P，Nocedal J，Zhu C（1995）边界约束优化的有限记忆算法。ACM Trans数学软件16:1190-1208·Zbl 0836.65080号 [9] Carpaneto G，Toth P（1980）算法548：分配问题的解决。ACM跨数学软件6（1）：104-111 [10] Celeux G，Govaert G（1992）一种用于聚类和两个局部版本的分类EM算法。计算统计数据分析14:315-332·Zbl 0937.62605号 [11] Cook R，Weisberg S（1994）回归图形简介。纽约威利·兹伯利0925.62287 [12] Csardi G，Nepusz T（2006）复杂网络研究的igraph软件包。国际J复杂系统1695:1-9 [13] Daudin JJ，Picard F，Robin S（2008）随机图的混合模型。统计计算18:173-183 [14] Dempster AP，Laird NM，Rubin DB（1977）通过EM算法从不完整数据中获得最大似然。J R Stat Soc Ser B Methodol 39（1）：1-38（含讨论）·Zbl 0364.62022号 [15] Fraley C，Raftery AE（1999）Mclust:基于模型的聚类软件。J Classif 16:297-306·Zbl 0951.91500号 [16] Fruchterman TMJ，Reingold EM（1991），通过强制定向放置绘制图形。软件实践实验21（11）：1129-1164 [17] Goodman LA（1974）使用可识别和不可识别模型进行探索性潜在结构分析。生物特征61（2）：215-231·Zbl 0281.62057号 [18] 手DJ，Yu K（2001）《白痴的贝叶斯》：毕竟没那么愚蠢吗？国际统计版次69（3）：385-398·Zbl 1213.62010年 [19] Hoeting A、Madigan D、Raftery A、Volinsky C（1999）《贝叶斯模型平均：教程》。统计科学14（4）：382-401·Zbl 1059.62525号 [20] Holland PW、Laskey KB、Leinhardt S（1983）《随机块模型：第一步》。Soc网络5（2）：109-137 [21] Karlis D，Xekalaki E（2003）为有限混合物的EM算法选择初始值。计算统计数据分析41（3-4）：577-590·Zbl 1429.62082号 [22] Keribin C（2000）混合模型阶数的一致估计。桑基？印度J Stat Ser A（1961-2002）62（1）：49-66·Zbl 1081.62516号 [23] Lee S，McLachlan GJ（2012）多元斜t分布的有限混合：一些最新结果。统计计算24（2）：181-202·Zbl 1325.62107号 [24] Linzer DA，Lewis JB（2011）《poLCA:多体变量潜在类分析的R包》。J Stat Softw统计软件42（10）：1-29 [25] McGrory C，Ahfock D（2014）使用变分贝叶斯SMCVB的隐马尔可夫模型的跨维序列蒙特卡罗。摘自：2014年计算机科学和信息系统联合会议记录，第3卷。第61-66页 [26] McLachlan GJ，Krishnan T（1997）EM算法和扩展。纽约威利·Zbl 0882.62012号 [27] McLachlan GJ，Peel D（1998）《模式识别的进展：结构和句法模式识别（SSPR）和统计模式识别（SPR）国际研讨会》，澳大利亚悉尼，1998年8月11日至13日，《柏林斯普林格学报》，第658-666页，通过多元t分布混合进行稳健聚类分析 [28] McLachlan GJ，Peel D（2000）有限混合模型。纽约威利·Zbl 0963.62061号 [29] Meng XL，Rubin DB（1992）EM算法的最新扩展（带讨论）。In：贝叶斯统计4。牛津大学出版社，牛津，第307-320页 [30] Meng XL，Rubin DB（1993）通过ECM算法的最大似然估计：一般框架。生物特征80:267-278·Zbl 0778.62022号 [31] Meyer D、Dimitriadou E、Hornik K、Weingessel A、Leich F（2012）e1071：统计部其他职能（e1071），TU Wien。R包版本1.6-1。http://CRAN.R-project.org/package=e1071 [32] Moran M、Walsh C、Lynch A、Coen RF、Coakley D、Lawlor BA（2004）《轻度阿尔茨海默病的行为和心理症状综合征》。国际老年精神病学杂志19:359-364 [33] Murphy M，Wang D（2001）前一个生育间隔和母亲的教育是否影响婴儿存活率？中国数据的贝叶斯模型平均分析。杨树桩55（1）：37-47 [34] 尼尔，RM；通用电气公司Hinton；Jordan，MI（ed.），证明增量、稀疏和其他变体的EM算法观点，355-368（1999），剑桥·Zbl 0916.62019号 [35] Nobile A，Fearnside AT（2007），成分数量未知的贝叶斯有限混合：分配采样器。统计计算17（2）：147-162 [36] O'Hagan A、Murphy T、Gormley I（2012）通过期望最大化算法拟合混合模型的计算方面。计算统计数据分析56（12）：3843-3864·Zbl 1255.62180号 [37] Raftery AE，Balabdaoui F，Gneiting T，Polakowski M（2005）使用贝叶斯模型平均来校准预测集合。周一天气评论133:1155-1174 [38] Redner R、Walker H（1984）《混合密度、最大似然和EM算法》。Soc Ind应用数学修订版26:195-329·Zbl 0536.62021号 [39] Rokach L，Maimon O（2010）《聚类方法》。收录：数据挖掘和知识发现手册。柏林施普林格，第321-352页·Zbl 1213.68237号 [40] Schwarz G（1978）估算模型的维数。安统计6:461-464·Zbl 0379.62005年 [41] Slonim N、Atwal GS、Tkacik G、Bialek W、Mumford D（2005）《基于信息的聚类》，美国国家科学院院刊102（51）：18297-18302·兹比尔1135.62054 [42] Snijders TAB，Nowicki K（1997）具有潜在块结构的图的随机块模型的估计和预测。J类14（1）：第75-100页·Zbl 0896.62063号 [43] Ueda N（1998）确定性退火EM算法。神经网络11:271-282 [44] Volant S，Martin Magniette ML，Robin S（2012），无监督分类中具有马尔可夫依赖性的模型聚合的变分贝叶斯方法。计算统计数据分析56（8）：2375-2387·Zbl 1252.62067号 [45] Volinsky CT，Madigan D，Raftery AE，Kronmal RA（1997）比例风险模型中的贝叶斯模型平均：评估中风风险。J R Stat Soc Ser C应用统计46（4）：433-448·Zbl 0903.62093号 [46] Walsh C（2006）阿尔茨海默病综合征的潜在类别分析识别：贝叶斯方法。Metodološki Zvezki-Adv Methodol统计3:147-162 [47] Ward JH（1963）优化目标函数的分层分组。美国统计协会杂志58（301）：236-244 [48] Wasserman S，Faust K（1994）《社会网络分析：方法和应用》。剑桥大学出版社·Zbl 0926.91066号 [49] White A，Murphy TB（2014）《贝叶斯生命周期分析：贝叶斯潜在类别分析的R包》。J Stat Softw杂志61（13）：1-28 [50] Wintle BA、McCarthy MA、Volinsky CT、Kavanagh RP（2003）使用贝叶斯模型平均值更好地表示生态模型中的不确定性。《保护生物》17（6）：1579-1590 [51] Zachary WW（1977）小群体冲突和分裂的信息流模型。人类学研究杂志33（1）：452-473 [52] 周浩，兰格KL（2010）《在通往主导模式的崎岖道路上》。扫描J Stat 37（4）：612-631·Zbl 1226.62027号 [53] Zhu C，Byrd R，Lu P，Nocedal J（1997）算法778:L-BFGS-B:大规模有界约束优化的Fortran子程序。Soc工业应用数学科学计算杂志23（4）：550-560·Zbl 0912.65057号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。