×

兹马思-数学第一资源

指数族有限混合模型的小批量学习。(英语) Zbl 1447.62073
小结:基于大规模数据集求解优化问题的需求使得小批量算法越来越流行。利用一个现有的在线期望最大化(EM)算法框架,我们证明了如何构造小批量(MB)算法,并提出了所构造的小批量算法的随机镇定方案。给出了关于小批量EM算法收敛性的理论结果。然后,我们展示了如何应用小批量框架对指数族分布的混合物进行最大似然(ML)估计,重点是正态分布混合物的ML估计。通过仿真研究,证明了混合正态分布的小批量算法优于标准EM算法。通过对著名的MNIST数据集的应用,进一步证明了mini-batch框架的性能。

理学硕士:
62小时30分 分类和鉴别.聚类分析(统计方面)
62小时10分 多元统计分布
6207年 大数据统计与数据科学
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] Amari,S.,信息几何及其应用(2016),日本:斯普林格,日本·Zbl 1350.94001
[2] Bouveyron,C.;Girard,S.;Schmid,C.,高维数据聚类,计算机。统计数据分析,52502-519(2007)·Zbl 05560174
[3] Buhlmann,P.;Drineas,P.;Kane,M.;van der Laan,M.,《大数据手册》(2016年),博卡拉顿:CRC出版社,博卡拉顿·Zbl 1416.62002
[4] Cappé,O.;Moulines,E.,《潜在数据模型的在线期望最大化算法》,J.R.Stat.Soc。B、 71593-613(2009年)·Zbl 1250.62015
[5] Celeux,G.;Chretien,S.;Forbes,F.;Mkhadri,A.,《混合物的组件式EM算法》,J.Comput。图表。Stat.,10697-712(2001年)
[6] Chau,M.;Fu,MC;Fu,MC,《随机逼近概述》,《模拟优化手册》,149-178(2015),纽约:Springer,纽约
[7] 陈海夫,随机逼近及其应用(2003),纽约:克鲁瓦,纽约
[8] Cotter,A.,Shamir,O.,Srebro,N.,Sridharan,K.:通过加速梯度法的更好的小批量算法。在:神经信息处理系统的进展,第1647-1655页(2011年)
[9] DasGupta,A.,《统计学和机器学习的概率》(2011),纽约:斯普林格,纽约·Zbl 1233.62001
[10] Delyon,B.;Lavielle,M.;Moulines,E.《EM算法随机近似版本的收敛性》,Ann。Stat.,27,94-128(1999年)·Zbl 0932.62094
[11] Dempster,AP;Laird,NM;Rubin,DB,通过EM算法从不完全数据中获得最大似然,J.R.Stat.Soc。爵士。B、 第39卷,第1-38页(1977年)·Zbl 0364.62022
[12] Eddelbuettel,D.,与Rcpp的无缝R和C++集成(2013),纽约:Springer,纽约·Zbl 1283.62001
[13] Fisher,RA,《分类学问题中多重测量的使用》,Ann。尤金,7,2,179-188(1936年)
[14] 福布斯,C.;埃文斯,M.;黑斯廷斯,N.;皮科克,B.,《统计分布》(2011年),纽约:威利,纽约
[15] Fraley,C.;Raftery,A.;Wehrens,R.,《基于增量模型的小聚类大数据集聚类》,J.Comput。图表。Stat.,14529-546(2005年)
[16] 随机组合优化;随机组合优化方法。程序。爵士。A、 155267-305(2016年)·Zbl 1332.90196
[17] Han,Z.;Hong,M.;Wang,D.,《大数据应用的信号处理和网络》(2017),剑桥:剑桥大学出版社,剑桥·Zbl 1420.94002
[18] Hardle,WK;Lu,HH-S;Shen,X.,大数据分析手册(2018),Cham:Springer,Cham
[19] Hartigan,JA;Wong,MA,Algorithm AS 136:一种k-均值聚类算法,J.R.Stat.Soc。爵士。C、 28100-108(1979年)·Zbl 0447.62062
[20] Hubert,L.;Arabie,P.《比较分区》,J.Classif.,2193-218(1985)
[21] 《编程语言》(1967),纽约:威利,纽约
[22] Jolliffe,IT,主成分分析(2002),纽约:斯普林格,纽约
[23] Jones,PN;McLachlan,GJ,《回归背景下的有限混合模型拟合》,Aust。J、 Stat.,34233-240(1992年)
[24] Kiefer,J.;Wolfowitz,J.,《回归函数最大值的随机估计》,人工神经网络。数学。Stat.,23462-466(1952年)·Zbl 0049.36601
[25] Kullback,S.;Leibler,RA,关于信息和充分性,Ann。数学。Stat.,22,79-86(1951年)·Zbl 0042.38403
[26] 库什纳,HJ;Yin,GG,随机逼近与递归算法与应用(2003),纽约:斯普林格,纽约
[27] LeCun,Y.;Bottou,L.;Bengio,Y.;Haffner,P.,《基于梯度的学习应用于文档识别》,Proc。IEEE,862278-2324(1998)
[28] Li,M.,Zhang,T.,Chen,Y.,Smola,A.J.:随机优化的有效小批量训练。在:第20届ACM SIGGDD知识发现和数据挖掘国际会议论文集(第661-670页)(2014年)
[29] Liang,F.;Zhang,J.,使用随机近似算法估计错误发现率,Biometrika,95961-977(2008)·Zbl 1437.62525
[30] McLachlan,GJ;Krishnan,T.,EM算法和扩展(2008),纽约:Wiley,纽约
[31] McLachlan,GJ;Lee,SX;Rathnayake,SI,有限混合模型,Ann。版次。Stat.Appl.,6355-378(2019年)
[32] McLachlan,GJ;Peel,D.,有限混合模型(2000),纽约:Wiley,纽约
[33] Melnykov,V.;Chen,W-C;Maitra,R.,MixSim:模拟数据以研究聚类算法性能的R包,J.Stat.Softw.,51,1-25(2012)
[34] Ng,S-K;McLachlan,GJ,加速基于混合模型的磁共振图像分割的EM算法,模式识别,371573-1589(2004)·Zbl 1070.68597
[35] Nguyen,HD;Chamroukhi,F.,混合专家建模的实践和理论方面:概述,WIREs Data Min.Knowl。迪斯科舞厅,8,4,e1246(2018年)
[36] Nguyen,HD;Jones,AT;Ahmed,M.;Pathan,A-SK,《通过随机近似和高斯混合模型进行大数据适当聚类》,数据分析:概念、技术和应用(2018),博卡拉顿:CRC出版社,博卡拉顿
[37] Gaussian混合模型的最大似然估计。数据分析。Classif.,9371-394(2015年)·Zbl 1416.65046
[38] 皮尔逊,K.,《数学进化理论的贡献》,菲洛斯。翻译。R、 Soc。隆德。A、 18571-110(1894年)·京财25.0347.02
[39] Polyak,BT,一种新的随机逼近型方法,Autom。遥控器,5198-107(1990)
[40] Polyak,BT;Juditsky,AB,《平均随机逼近的加速》,SIAM J.Control Optim.,30838-855(1992)·Zbl 0762.62022
[41] 《高等数学应用》(2011),剑桥:剑桥大学出版社,剑桥·Zbl 1208.00002号
[42] R核心团队:R:统计计算的语言和环境。R统计计算基金会(2018)
[43] Robbins,H.;Monro,S.,《随机逼近方法》,Ann。数学。Stat.,22400-407(1951年)·Zbl 0054.05901
[44] Schubert,E.;Koos,A.;Emrich,T.;Zufle,A.;Schmid,KA;Zimek,A.,《聚类不确定数据的框架》,Proc。VLDB授权,81976-1979(2015)
[45] Scrucca,L.;Fop,M.;Murphy,TB;Raftery,AE,McClust:使用高斯有限混合模型进行聚类、分类和密度估计,R J.,8289-317(2016)
[46] Vlassis,N.;Likas,A.,《高斯混合学习的贪婪EM算法》,神经过程。Lett.,15,77-87(2002年)·Zbl 1008.68734号
[47] 最大似然估计,1982年第25期·Zbl 0478.62088
[48] 《计量经济学的渐近理论》(2001),圣地亚哥:学术出版社,圣地亚哥
[49] Wickham,H.;Cook,D.;Hofmann,H.;Buja,A.,tourr:一个用预测探索多元数据的R包,J.Stat.Softw.,40,1-18(2011)
[50] 吴CFJ,关于EM算法的收敛性,人工神经网络。Stat.,11,95-103(1983年)·零担0517.62035
[51] Xu,L.,Jordan,M.I.,Hinton,G.E.:专家混合物的替代模型。神经系统研究进展,1995-63页
[52] Zhang,J.;Liang,F.,不规则条件下随机逼近算法的收敛性,Stat.Neerl.,62393-403(2008)·Zbl 1144.62069
[53] Zhao,T.,Yu,M.,Wang,Y.,Arora,R.,Liu,H.:加速小批量随机区组坐标下降法。神经信息处理系统进展(3329-3337页)(2014)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。