×

高斯混合模型EM算法的统计收敛性。 (英语) Zbl 1435.62256号

研究了期望最大化算法及其变体(包括梯度EM和\(K)均值算法)在任意数量的混合分量和混合权重的高斯混合模型上的统计局部收敛行为。收敛结果是局部的,即假设EM算法是在真实中心的邻域内初始化的。

MSC公司:

62H30型 分类和区分;聚类分析(统计方面)
10层62层 点估计
65千5 数值数学规划方法

软件:

CHIME公司
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Achlioptas,D.和McSherry,F.(2005)。关于混合分布的谱学习。在,COLT·Zbl 1137.68512号
[2] Arora,S.和Kannan,R.(2005)。学习分离的非球面高斯混合。,应用概率年鉴69-92·Zbl 1059.62062号 ·doi:10.1214/10505160400000512
[3] Balakrishnan,S.、Wainwright,M.J.和Yu,B.(2017年)。EM算法的统计保证:从人口到基于样本的分析。,统计年鉴77-120·Zbl 1367.62052号 ·doi:10.1214/16-AOS1435
[4] Belkin,M.和Sinha,K.(2010年)。分布族的多项式学习。在,2010年IEEE第51届计算机科学基础年度研讨会论文集103-112。
[5] Brubaker,S.C.和Vempala,S.(2008)。各向同性PCA和仿射-变分聚类。2008年第49届IEEE计算机科学基础研讨会论文集551-560。
[6] Cai,T.,Ma,J.和Zhang,L.CHIME:用EM算法对高维高斯混合数据进行聚类及其最优性。,统计年鉴。出现·Zbl 1428.62182号 ·doi:10.1214/18-AOS1711
[7] Chaudhuri,K.和Rao,S.(2008年)。使用相关性和独立性学习产品分布的混合。年,第二十届学习理论年会9-20。
[8] Chaudhuri,K.、Kakade,S.M.、Livescu,K.和Sridharan,K.(2009年)。基于典型相关分析的多视图聚类。年,第26届国际机器学习年会论文集129-136。
[9] Dasgupta,S.(1999)。学习高斯混血儿。年,第40届计算机科学基础年度研讨会634-644。
[10] Dasgupta,S.和Schulman,L.J.(2007)。分离的球形高斯混合体EM的概率分析。,机器学习研究杂志8 203-226·Zbl 1222.62142号
[11] Daskalakis,C.、Tzamos,C.和Zampetakis,M.(2017)。两个高斯混合的EM充分性的十步。2017年学习理论会议论文集65 704-710。
[12] Dempster,A.P.、Laird,N.M.和Rubin,D.B.(1977年)。通过EM算法获得不完整数据的最大似然。,英国皇家统计学会杂志,B 39 1-38辑·Zbl 0364.62022号 ·doi:10.1111/j.2517-6161.1977.tb01600.x
[13] Ghosal,S.和van der Vaart,A.W.(2001)。正态密度混合下极大似然和Bayes估计的熵和收敛速度。,统计年鉴1233-1263·Zbl 1043.62025号 ·doi:10.1214/aos/1013203453
[14] Hardt,M.和Price,E.(2015)。学习两个高斯人混合的严格界限。年,第四十七届ACM计算理论研讨会论文集753-760·Zbl 1321.68405号
[15] Heinrich,P.和Kahn,J.(2018年)。有限混合估计的强可辨识性和最优极小极大率。,统计年鉴2844-2870·Zbl 1420.62215号 ·doi:10.1214/17-AOS1641
[16] Hsu,D.和Kakade,S.M.(2013)。球面高斯混合的学习:矩方法和谱分解。年,第四届理论计算机科学创新会议论文集·Zbl 1362.68246号
[17] Jin,C.、Zhang,Y.、Balakrishnan,S.、J.Wainwright,M.和Jordan,M.(2016)。高斯混合模型可能性的局部极大值:结构结果和算法后果。年,《神经信息处理系统进展》29。
[18] Kalai,A.T.、Moitra,A.和Valiant,G.(2010年)。有效学习两个高斯人的混合。年,第四十二届ACM计算理论研讨会论文集553-562·Zbl 1293.68229号
[19] Kannan,R.、Salmasian,H.和Vempala,S.(2008年)。一般混合模型的谱方法。,SIAM计算机杂志38 1141-1156·Zbl 1274.62424号 ·doi:10.1137/S0097539704445925
[20] Klusowski,J.M.和Brinda,W.D.(2016)。EM估计二分量高斯混合中心的统计保证,arXiv预印本,arXiv:1608.02280。
[21] Lu,Y.和Zhou,H.H.(2016)。劳埃德算法及其变体的统计和计算保证。,arXiv预印本。arXiv:1612.02099。
[22] Mei,S.、Bai,Y.和Montanari,A.非经常性损失的经验风险前景。,arXiv预印本。arXiv:1607.06534·Zbl 1409.62117号 ·doi:10.1214/17-AOS1637
[23] Moitra,A.和Valiant,G.(2010年)。解决高斯混合多项式的可学习性。2010年,IEEE第51届计算机科学基础年会93-102。
[24] Nguyen,X.(2013)。有限和无限混合模型中潜在混合测度的收敛性。,统计年鉴370-400·兹比尔1347.62117 ·doi:10.1214/12-AOS1065
[25] Tseng,P.(2004)。EM算法和类熵近点方法的分析。,运筹学数学29 27-44·Zbl 1082.90092 ·doi:10.1287/门.1030.0073
[26] Vempala,S.和Wang,G.(2004)。用于学习混合模型的谱算法。,计算机与系统科学杂志68 841-860·Zbl 1074.68028号 ·doi:10.1016/j.jcss.2003.11.008
[27] Vershynin,R.,《高维概率:数据科学应用简介》·Zbl 1430.60005号
[28] Wang,Z.,Gu,Q.,Ning,Y.和Liu,H.(2015)。高维EM算法:统计优化和渐近正态性。年,《神经信息处理系统进展》28 2521-2529。
[29] Wu,C.F.J.(1983)。关于EM算法的收敛性。,统计年鉴95-103·Zbl 0517.62035号 ·doi:10.1214/aos/1176346060
[30] Xu,J.、Hsu,D.和Maleki,A.(2016)。两高斯混合期望最大化的全局分析。年,《神经信息处理系统进展》29。
[31] Yan,B.、Yin,M.和Sarkar,P.(2017)。梯度EM在多分量高斯混合上的收敛性。年,神经信息处理系统进展30。
[32] X.Yi。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。