×
阮，Hien D。;佛罗伦萨福布斯;麦克拉克伦，杰弗里·J。

指数族有限混合模型的微分支学习。 （英语） Zbl 1447.62073号

统计计算。 30，第4期，731-748（2020年）.
小结：由于基于大规模数据集解决优化问题的需求，Mini-bactch算法变得越来越流行。利用现有的在线期望最大化（EM）算法框架，我们演示了如何构造微支撑（MB）算法，并提出了一种构造的微支撑算法的随机稳定方案。给出了关于微分支EM算法收敛性的理论结果。然后，我们演示了如何应用mini-bactch框架对指数族分布的混合物进行最大似然（ML）估计，重点是对正态分布的混合物的ML估计。通过仿真研究，我们证明了混合正态分布的mini-bactch算法可以优于标准EM算法。通过对著名的MNIST数据集的应用程序，进一步证明了迷你背带框架的性能。

引用于6文件

MSC公司：

62H30型 分类和区分；聚类分析（统计方面）
62H10型 统计的多元分布
62兰特 大数据和数据科学的统计方面

关键词：

EM算法;指数分布族;有限混合模型;微型备份算法;正态混合模型;在线算法

软件：

卢比;混合模拟人生;R（右）;麦克卢斯特;MNIST公司;AS 136标准;旅游者
PDF格式BibTeX公司 XML格式引用
\textit{H.D.Nguyen}等人，统计计算。30，第4号，731--748（2020；Zbl 1447.62073）
全文： 内政部 arXiv公司

参考文献：

[1] Amari，S.，信息几何及其应用（2016），日本：施普林格，日本·Zbl 1350.94001号
[2] Bouveyron，C。；Girard，S。；Schmid，C.，高维数据聚类，计算。统计数据分析。，52, 502-519 (2007) ·Zbl 1452.62433号
[3] Buhlmann，P。；德里尼亚斯，P。；凯恩，M。；van der Laan，M.，《大数据手册》（2016），博卡拉顿：CRC出版社，博卡拉顿·兹比尔1416.62002
[4] O·卡佩。；Moulines，E.，潜在数据模型的在线期望最大化算法，J.R.Stat.Soc.B，71593-613（2009）·Zbl 1250.62015年
[5] Celeux，G。；克雷蒂安，S。；福布斯，F。；Mkhadri，A.，混合物的组件式EM算法，J.Compute。图表。《统计》，第10卷，第697-712页（2001年）
[6] Chau，M。；Fu，MC；Fu，MC，《随机近似概述》，《模拟优化手册》，149-178（2015），纽约：Springer，纽约
[7] Chen，H-F，随机逼近及其应用（2003），纽约：Kluwer，纽约
[8] Cotter，A.、Shamir，O.、Srebro，N.、Sridharan，K.：通过加速梯度方法实现更好的小范围算法。摘自：《神经信息处理系统的进展》，第1647-1655页（2011年）
[9] DasGupta，A.，统计和机器学习概率（2011），纽约：Springer，纽约·Zbl 1233.62001
[10] Delyon，B。；拉维耶，M。；Moulines，E.，EM算法随机近似版本的收敛性，Ann.Stat.，2794-128（1999）·Zbl 0932.62094号
[11] 阿联酋登普斯特；新墨西哥州莱尔德；Rubin，DB，通过EM算法从不完整数据中获得最大似然，J.R.Stat.Soc.Ser。B、 39、1-38（1977年）·Zbl 0364.62022号
[12] Eddelbuettel，D.，《无缝R和C++与Rcpp的集成》（2013），纽约：Springer，纽约·Zbl 1283.62001号
[13] Fisher，RA，《分类问题中多重测量的使用》，Ann.Eugen。，7, 2, 179-188 (1936)
[14] 福布斯，C。；埃文斯，M。；黑斯廷斯，N。；皮科克，B.，《统计分布》（2011），纽约：威利出版社，纽约·兹比尔1258.62012
[15] 弗雷利，C。；Raftery，A。；Wehrens，R.，《带小簇的大型数据集的基于模型的增量聚类》，J.Compute。图表。《统计》，第14卷，第529-546页（2005年）
[16] 加迪米，S。；兰，G。；Zhang，H.，非凸随机组合优化的Mini-bactch随机逼近方法，数学。程序。序列号。A、 155267-305（2016）·Zbl 1332.90196号
[17] 韩，Z。；洪，M。；Wang，D.，《大数据应用的信号处理和网络》（2017），剑桥：剑桥大学出版社，剑桥·Zbl 1420.94002号
[18] Hardle，WK公司；卢，HH-S；Shen，X.，《大数据分析手册》（2018），Cham:Springer，Cham·Zbl 1395.62001号
[19] 哈蒂根，JA；Wong，MA，Algorithm AS 136:A k-means聚类算法，J.R.Stat.Soc.Ser。C、 28、100-108（1979年）·Zbl 0447.62062号
[20] 休伯特，L。；Arabie，P.，比较分区，J.Classif。，2, 193-218 (1985)
[21] 艾弗森，KE，A Programming Language（1967），纽约：威利，纽约
[22] Jolliffe，IT，主成分分析（2002），纽约：Springer，纽约·Zbl 1011.62064号
[23] 琼斯，PN；McLachlan，GJ，在回归背景下拟合有限混合模型，澳大利亚。《统计杂志》，34，233-240（1992）
[24] 基弗，J。；Wolfowitz，J.，回归函数最大值的随机估计，《数学年鉴》。统计，23462-466（1952）·Zbl 0049.36601号
[25] Kullback，S。；莱布勒，RA，《信息与充分性》，《数学年鉴》。《统计》，22，79-86（1951）·Zbl 0042.38403号
[26] 库什纳，HJ；Yin，GG，随机逼近和递归算法及应用（2003），纽约：Springer，纽约·Zbl 1026.62084号
[27] LeCun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，Proc。IEEE，86，2278-2324（1998）
[28] Li，M.，Zhang，T.，Chen，Y.，Smola，A.J.：随机优化的高效微型训练。摘自：第20届ACM SIGKDD知识发现和数据挖掘国际会议论文集（第661-670页）（2014年）
[29] 梁，F。；Zhang，J.，使用随机近似算法估计错误发现率，Biometrika，95961-977（2008）·Zbl 1437.62525号
[30] GJ麦克拉克伦；Krishnan，T.，《EM算法和扩展》（2008），纽约：威利出版社，纽约·Zbl 1165.62019号
[31] 麦克拉克伦，GJ；李，SX；Rathnayake，SI，有限混合模型，Ann.Rev.Stat.Appl。，6, 355-378 (2019)
[32] GJ麦克拉克伦；Peel，D.，有限混合模型（2000），纽约：威利，纽约·Zbl 0963.62061号
[33] 梅利尼科夫，V。；陈，W-C；Maitra，R.，MixSim:用于模拟数据以研究聚类算法性能的R包，J.Stat.Softw。，2012年1月51日至25日
[34] Ng、S-K；McLachlan，GJ，加速基于混合模型的磁共振图像分割的EM算法，模式识别。，37, 1573-1589 (2004) ·Zbl 1070.68597号
[35] Nguyen，HD；Chamroukhi，F.，《专家混合建模的实践和理论方面：概述》，《WIREs Data Min.Knowl》。发现。，8、4、e1246（2018）
[36] Nguyen，HD；琼斯，AT；艾哈迈德，M。；Pathan，A-SK，《通过随机近似和高斯混合模型进行大数据适当聚类》，《数据分析：概念、技术和应用》（2018），博卡拉顿：CRC出版社，博卡拉顿
[37] Nguyen，HD；McLachlan，GJ，无矩阵运算高斯混合模型的最大似然估计，高级数据分析。分类。，9, 371-394 (2015) ·Zbl 1416.65046号
[38] Pearson，K.，《对数学进化理论的贡献》，Philos。事务处理。R.Soc.伦敦。A、 18571-110（1894）
[39] Polyak，BT，一种新的随机近似方法，Autom。遥控，51，98-107（1990）·Zbl 0737.93080号
[40] Polyak，英国电信；Juditsky，AB，通过平均加速随机近似，SIAM J.控制优化。，30, 838-855 (1992) ·Zbl 0762.62022号
[41] Prosperetti，A.，《应用高等数学》（2011），剑桥：剑桥大学出版社，剑桥·Zbl 1208.00002号
[42] R核心团队：R：统计计算的语言和环境。R统计计算基金会（2018年）
[43] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数学年鉴》。《统计》，22，400-407（1951）·Zbl 0054.05901号
[44] 舒伯特，E。；Koos，A。；Emrich，T。；Zufle，A。；施密德，KA；Zimek，A.，《不确定数据聚类框架》，Proc。荷兰VLDB。，8, 1976-1979 (2015)
[45] Scrucca，L。；Fop，M。；墨菲，TB；Raftery，AE，mclust:使用高斯有限混合模型的聚类、分类和密度估计，R J.，88289-317（2016）
[46] 弗拉西斯，N。；Likas，A.，用于高斯混合学习的贪婪EM算法，神经过程。莱特。，15, 77-87 (2002) ·Zbl 1008.68734号
[47] White，H.，错误指定模型的最大似然估计，《计量经济学》，50，1-25（1982）·Zbl 0478.62088号
[48] White，H.，《计量经济学人的渐近理论》（2001），圣地亚哥：圣地亚哥学术出版社
[49] Wickham，H。；库克，D。；霍夫曼，H。；Buja，A.，《旅游者：用投影探索多元数据的R包》，J.Stat.Softw。，40, 1-18 (2011)
[50] Wu，CFJ，关于EM算法的收敛性，Ann.Stat.，11，95-103（1983）·Zbl 0517.62035号
[51] Xu，L.，Jordan，M.I.，Hinton，G.E.：混合专家的替代模型。摘自：神经信息处理系统进展，第633-640页（1995年）
[52] 张杰。；Liang，F.，不规则条件下随机近似算法的收敛性，Stat.Neerl。，62, 393-403 (2008) ·Zbl 1144.62069号
[53] Zhao，T.，Yu，M.，Wang，Y.，Arora，R.，Liu，H.：加速微束随机区组坐标下降法。神经信息处理系统进展（第3329-3337页）（2014年）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。