Faícel Chamroukhi;弗洛里安·莱科克;阮，Hien D。 高斯门专家模型混合中的正则估计和特征选择。 （英语） Zbl 1445.62325号 Nguyen，Hien（编辑），《统计与数据科学》。统计与数据科学研究院学报，澳大利亚墨尔本，2019年7月24日至26日，RSSDS 2019。新加坡：施普林格。Commun公司。计算。信息科学。1150, 42-56 (2019). 摘要：统计学和机器学习文献中已经对专家混合模型及其通过EM算法的最大似然估计（MLE）进行了深入研究。在使用正则化MLE的高维预测因子建模的背景下，他们受到了越来越多的研究。我们使用高斯门控网络检查MoE，以进行聚类和回归，并提出一个（ell_1）正则化MLE来鼓励稀疏模型和处理高维设置。我们开发了一种EM-Lasso算法来进行参数估计，并使用类BIC准则来选择模型参数，包括稀疏性调整超参数。在模拟数据上进行的实验表明，与使用EM算法的标准MLE相比，该正则化MLE具有良好的性能。关于整个系列，请参见[兹比尔1433.68029]. MSC公司： 62兰特 大数据和数据科学的统计方面 62J07型 岭回归；收缩估计器（拉索） 62H30型 分类和区分；聚类分析（统计方面） 关键词：专家组合;群集;特征选择;EM算法;拉索;高维数据 PDF格式BibTeX公司 XML格式引用 \textit{F.Chamroukhi}等人，Commun。计算。信息科学。1150，42-56（2019；Zbl 1445.62325） 全文： 内政部 arXiv公司 参考文献： [1] Chamroukhi，F.：非正常混合专家，2015年7月。arXiv公司：1506.06707 [2] Chamroukhi，F.：使用（t）分布对专家进行稳健混合建模。神经网络。79, 20-36 (2016) ·Zbl 1418.62251号 ·doi:10.1016/j.neunet.2016.03.002 [3] Chamroukhi，F.：专家的非正态混合。In:国际神经网络联合会议（IJCNN），加拿大温哥华，2016年7月·Zbl 1418.62251号 [4] Chamroukhi，F.：专家的混合。神经计算266390-408（2017）·doi:10.1016/j.neucom.2017.05.044 [5] Chamroukhi，F.，Samé，A.，Govaert，G.，Aknin，P.：一个具有隐藏逻辑过程的回归模型，用于从时间序列中提取特征。In:国际神经网络联合会议（IJCNN），第489-496页（2009年）·Zbl 1342.62144号 [6] Chamroukhi，F.，Trabelsi，D.，Mohammed，S.，Oukhellou，L.，Amirat，Y.：多变量时间序列的联合分割与人类活动识别的隐藏过程回归。神经计算120，633-644（2013）·doi:10.1016/j.neucom.2013.04.003 [7] Chamroukhi，F.，Huynh，B.T.：混合专家模型中的正则化最大似然估计和特征选择。《法国社会杂志》第160卷（1）、57-85卷（2019年）·Zbl 1417.62170号 [8] Dempster，A.P.，Laird，N.M.，Rubin，D.B.：通过EM算法获得不完整数据的最大似然。JRSS B 39（1），1-38（1977）·Zbl 0364.62022号 [9] Friedman，J.、Hastie，T.、Höfling，H.、Tibshirani，R.：路径坐标优化。技术报告，《应用统计年鉴》（2007）·Zbl 1378.90064号 [10] Hastie，T.、Tibshirani，R.、Wainwright，M.：《稀疏的统计学习：套索和泛化》。查普曼和霍尔/CRC，伦敦/Boca Raton（2015）·Zbl 1319.68003号 ·doi:10.1201/b18401 [11] Huynh，T.，Chamroukhi，F.：广义线性专家模型混合中的估计和特征选择。arXiv:1907.06994（2019）·兹比尔1417.62170 [12] Jacobs，R.A.、Jordan，M.I.、Nowlan，S.J.、Hinton，G.E.：当地专家的适应性混合。神经计算。3(1), 79-87 (1991) ·doi:10.1162/neco.1991.3.1.79 [13] Jordan，M.I.，Jacobs，R.A.：专家和EM算法的分层混合。神经计算。6, 181-214 (1994) ·doi:10.1162/neco.1996.2.181 [14] Khalili，A.：混合专家模型中的新估计和特征选择方法。可以。《美国联邦法律大全》第38卷第4期，第519-539页（2010年）·Zbl 1349.62071号 ·doi:10.1002/cjs.10083 [15] McLachlan，G.J.，Krishnan，T.：EM算法和扩展，第2版。威利，纽约（2008）·Zbl 1165.62019号 ·doi:10.1002/9780470191613 [16] McLachlan，G.J.，Peel，D.：有限混合模型。威利，纽约（2000年）·Zbl 0963.62061号 ·doi:10.1002/0471721182 [17] Nguyen，H.D.，Chamroukhi，F.：专家混合建模的实践和理论方面：概述。电线数据最小知识。发现。8，e1246-n/a（2018）。https://doi.org/10.1002/widm.1246 ·doi:10.1002/widm.1246 [18] Nguyen，H.D.，Chamroukhi，F.，Forbes，F.：关于线性专家模型的多输出混合的近似结果。神经计算（2019）。https://doi.org/10.1016/j.neucom.2019.08.014 ·doi:10.1016/j.neucom.2019.08.014 [19] Nguyen，H.D.，McLachlan，G.J.：线性专家的拉普拉斯混合。计算。统计数据分析。93, 177-191 (2016) ·Zbl 1468.62147号 ·doi:10.1016/j.csda.2014.10.016 [20] Pan，W.，Shen，X.：基于惩罚模型的聚类及其在变量选择中的应用。J.马赫。学习。第8号决议，1145-1164（2007年）·兹比尔1222.68279 [21] Städler，N.，Bühlmann，P.，van de Geer，S.：重新加入：混合回归模型的l1-惩罚。测试19（2），280-285（2010）·Zbl 1203.62129号 ·doi:10.1007/s11749-010-0203-5 [22] Tibshirani，R.：通过套索进行回归收缩和选择。J.罗伊。统计社会服务。B 58（1），267-288（1996）·Zbl 0850.62538号 [23] Wu，T.T.，Lange，K.：套索惩罚回归的坐标下降算法。附录申请。《统计》第2（1）卷，第224-244页（2008年）。https://doi.org/10.1214/07-AOAS147 ·Zbl 1137.62045号 ·doi:10.1214/07-AOAS147 [24] 徐，L。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。