莉娜·森巴赫;Jan Pablo Burgard;沃尔克·舒尔茨 用于拟合高斯混合模型的黎曼-牛顿信赖域方法。 （英语） Zbl 1477.62015年 统计计算。 32，第1号，第8号论文，20页（2022年）. 摘要：高斯混合模型是数据科学和统计学中的一个强大工具，主要用于聚类和密度近似。在实际中，估计模型参数的任务通常由期望最大化（EM）算法来解决，该算法具有简单和迭代成本低的优点。然而，如果存在大量隐藏信息或重叠集群，则EM收敛缓慢。高斯混合模型流形优化的最新进展引起了人们越来越多的兴趣。我们引入了高斯混合模型的黎曼-黑森显式公式。最重要的是，我们提出了一种新的黎曼-牛顿信任域方法，该方法在运行时间和迭代次数方面都优于当前的方法。我们将我们的方法应用于聚类问题和密度近似任务。与现有方法相比，我们的方法对于具有大量隐藏信息的数据非常强大。 MSC公司： 62-08 统计问题的计算方法 62H30型 分类和区分；聚类分析（统计方面） 62兰特 歧管统计 65千5 数值数学规划方法 关键词：高斯混合模型;群集;密度估计;流形优化;信任区域方法 软件：MixEst公司;k平均值++;皮曼诺普;PRMLT公司;PMTK公司;UCI-毫升 PDF格式BibTeX公司 XML格式引用 \textit{L.Sembach}等人，《统计计算》。32，第1号，第8号论文，20页（2022；Zbl 1477.62015） 全文： DOI程序 arXiv公司 参考文献： [1] Absil，P.-A.，Mahony，R.，Sepulchre，R.：矩阵流形上的优化算法。普林斯顿大学出版社，普林斯顿（2008）ISBN 978-0-691-13298-3·Zbl 1147.65043号 [2] Alfó，M.，Nieddu，L.，Vicari，D.：用于图像分割的有限混合模型。统计计算，18（2）：137-150。doi:10.1007/s11222-007-9044-9·Zbl 1442.62232号 [3] Andrews，JL，《解决高斯模型聚类中的过拟合和欠拟合问题》，《计算统计数据分析》，127，160-171（2018）·Zbl 1469.62015号 ·doi:10.1016/j.csda.2018.05.015 [4] Arthur，D.，Vassilvitskii，S.：k-means++：细心播种的优势。摘自：SODA'07:第十八届ACM-SIAM离散算法年度研讨会论文集，第1027-1035页，费城（2007）。工业和应用数学学会。国际标准图书编号978-0-898716-24-5·Zbl 1302.68273号 [5] Articus，C.，Burgard，J.P.：估算德国区域租赁价格的有限混合费-赫里奥特型模型。《2014-14年经济学研究论文》，特里尔大学经济系，2014年。https://ideas.repec.org/p/trr/wpaper/201414.html [6] Bhatia，R.，《正定矩阵》（2007），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 1133.15017号 [7] Bishop，CM，模式识别和机器学习（信息科学和统计学）（2006年），柏林，海德堡：施普林格，柏林，海德堡·Zbl 1107.68072号 [8] 博克·R。；Chilingarian，A。；高格，M。；Hakl，F。；亨斯特贝克，T。；Jiřina，M。；克拉什卡，J。；科特奇，E。；萨维克·P。；塔，S。；Vaiciulis，A。；Wittek，W.，《多维事件分类方法：使用切伦科夫伽马射线望远镜图像的案例研究》，Nucl。仪器。方法物理学。研究部分。加速器。光谱学。检测。协会设备，516，2，511-528（2004）·doi:10.1016/j.nima.2003.08.157 [9] Boumal，N.：光滑流形优化简介（2020年）。http://www.nicolasboumal.net/book ·Zbl 1468.65072号 [10] Carmo，M.P.d.（1992）黎曼几何。数学理论与应用。波士顿Birkhäuser。印度卢比0-8176-3490-8·Zbl 0752.53001号 [11] Compiani，G。；Kitamura，Y.，《在计量经济模型中使用混合物：简要回顾和一些新结果》，《经济评论》。J.，19（3），C95-C127，10（2016）·Zbl 1521.62209号 ·doi:10.1111/ectj.12068 [12] Conn，A.R.，Gould，N.I.，Toint，P.L.：信任区域方法。MPS-SIAM优化系列。SIAM工业和应用数学学会，费城（2000）0898714605·Zbl 0958.65071号 [13] Coretto，P.：分离约束下均匀噪声高斯混合的估计和计算。统计方法应用。，07 2021. 2007年10月10日/10260-021-00578-2 [14] Cortez，P.，Cerdeira，A.，Almeida，F.，Matos，T.，Reis，J.：通过物理化学特性的数据挖掘建模葡萄酒偏好。Decis公司。支持系统。，47(4):547-553, (2009). doi:10.1016/j.dss.2009.05.016。智能商业网络：概念和经验证据 [15] Dasgupta，S.：学习高斯人的混合物。摘自：第40届计算机科学基础年度研讨会论文集，FOCS’99，第634页（1999）。IEEE计算机学会。国际标准书号0769504094 [16] Dresvyanskiy，D。；卡拉塞瓦，T。；Makogin，V。；Mitrofanov，S。；雷登巴赫，C。；Spodarev，E.，《使用三维图像数据检测纤维系统中的异常》，《统计计算》。，30, 4, 817-837 (2020) ·Zbl 1447.62078号 ·doi:10.1007/s11222-020-09921-1 [17] Dua，D.，Graff，C.：UCI机器学习库。http://archive.ics.uci.edu/ml（2017年） [18] Goodfellow，I.，Bengio，Y.，Courville，A.：深度学习。麻省理工学院出版社。http://www.deeplearningbook.org (2016) ·兹比尔1373.68009 [19] Gould，N.、Orban，D.、Sartenaer，A.、Toint，P.：信任区域算法对其参数的敏感性。4OR Q J比利时-法国-意大利Oper。《联邦公报》第3卷（227-241），（2005年）。doi:10.1007/s10288-005-0065-y·Zbl 1086.65060号 [20] Gross，M.，Rendtel，U.，Schmid，T.，Schmon，S.，Tzavidis，N.：估算柏林少数民族和老年人的密度（2015） [21] 海德尔·G。；Schulz，V.，低阶张量补全的黎曼信赖域方法，Numer。线性代数应用。，25, 6 (2018) ·Zbl 1513.65197号 ·doi:10.1002/nla.2175 [22] Hosseini，R.，Mash’al，M.：混合：混合模型的估计工具箱。CoRR，abs/1507.06065。http://arxiv.org/abs/1507.06065 (2015) [23] Hosseini，R.，Sra，S.：高斯混合的矩阵流形优化。摘自：《神经信息处理系统进展》，第28卷。Curran Associates，Inc.（2015年）·Zbl 1316.65065号 [24] 侯赛尼，R。；Sra，S.，高斯混合模型的EM替代方法：分批和随机黎曼优化，数学。程序。，181, 1, 187-223 (2020) ·Zbl 1441.62168号 ·doi:10.1007/s10107-019-01381-4 [25] 休伯特，L。；Arabie，P.，比较分区，J Classif，2，1，193-218（1985）·doi:10.1007/BF01908075 [26] Jeuris，B。；Vandebril，R。；Vandereycken，B.，《当代矩阵几何平均值计算算法的调查与比较》，ETNA，39，379-402（2012）·Zbl 1287.65036号 [27] Kaya，H.，Tufekci，P.：预测燃气轮机和蒸汽轮机联合功率的本地和全球学习方法（2012年） [28] Kaya，H。；Tüfekci，P。；Uzun，E.，《预测燃气轮机的co和nox排放：新数据和基准pems》，Turk.J.Electr。工程计算。科学。，27, 4783-4796 (2019) ·doi:10.3906/elk-1807-87 [29] Lee，S。；Mclachlan，G.，《关于斜正态分布和斜[tex方程：t]-分布的混合》，《高级数据分析》。分类。，7, 09 (2013) ·兹比尔1273.62115 ·doi:10.1007/s11634-013-0132-8 [30] Li，Y.，Li，L.：高斯混合模型的一种新的分裂和合并em算法。参见：2009年第五届国际自然计算会议，第6卷，第479-483页（2009年）。doi:10.1109/ICNC.2009.625 [31] 马，J。；徐，L。；Jordan，M.，高斯混合em算法的渐近收敛速度，神经计算。，12, 2881-2907 (2000) ·doi:10.1162/089976600300014764 [32] GJ麦克拉克伦；李，SX；Rathnayake，SI，有限混合模型，Ann.Rev.Stat.Appl。，6, 1, 355-378 (2019) ·doi:10.1146/annurev-statistics-031017-100325 [33] 莫拉莱斯，J。；Nocedal，J.，通过有限内存准牛顿更新进行自动预处理，SIAM J.Optim。，10, 1079-109606 (2000) ·Zbl 1020.65019号 ·doi:10.137/S1052623497327854 [34] Murphy，KP，《机器学习：概率观点》（2013），剑桥：麻省理工学院出版社，剑桥·Zbl 1295.68003号 [35] Naim，I.，Gildea，D.：非平衡混合系数高斯混合的em算法的收敛性。摘自：《第29届国际机器学习会议论文集》，ICML’12，麦迪逊，第1427-1431页（2012年）。全能女。国际标准图书编号9781450312851 [36] Ormoneit，D.，Tresp，V.：使用贝叶斯惩罚项和网络平均改进高斯混合密度估计。摘自：《第八届神经信息处理系统国际会议论文集》，NIPS’95，第542-548页。麻省理工学院出版社，剑桥（1995） [37] Salakhutdinov，R.，Roweis，S.，Ghahramani，Z.：用em和期望结合粒度进行优化。摘自：《第二十届国际机器学习会议论文集》，ICML'03，第672-679页。AAAI出版社（2003）。国际标准图书编号1577351894 [38] Sartenaer，A.，非线性规划中初始信赖域的自动确定，SIAM J.Sci。计算。，18, 6, 1788-1803 (1997) ·Zbl 0891.90151号 ·doi:10.137/S1064827595286955 [39] Scott，D.，多元密度估计。理论、实践和可视化。《概率和数理统计中的威利级数》（1992），纽约，伦敦：威利，纽约，英国·Zbl 0850.62006号 ·文件编号：10.1002/9780470316849 [40] Sembach，L.，Burgard，J.P.，Schulz，V.H.：拟合高斯混合模型的黎曼-牛顿信赖域方法（2021） [41] 斯诺西，H。；Mohammad-Djafari，A.，多元高斯混合的惩罚最大似然，AIP Conf.Proc。，617, 1, 36-46 (2002) ·数字对象标识代码：10.1063/1.1477037 [42] Sra，S。；Hosseini，R.，正定矩阵流形上的二次曲线几何优化，SIAM J.Optim。，25, 713-739 (2015) ·Zbl 1316.65065号 ·doi:10.1137/140978168 [43] 汤森，J。；北卡罗来纳州科普。；Weichwald，S.，Pymanopt:一个使用自动微分优化流形的python工具箱，J.Mach。学习。决议，17，137，1-5（2016）·兹比尔1416.65580 [44] 范德贝，RJ；Benson，HY，关于将半定规划问题表示为光滑凸非线性优化问题，计算。最佳方案。申请。，13, 1, 231-252 (1999) ·Zbl 1040.90564号 ·doi:10.1023/A:1008677427361 [45] Wu，B.，Mcgrory，C.A.，Pettitt，A.N.：一种新的变分贝叶斯算法，应用于人类流动模式建模。《统计计算》22（1），185-203（2012）。doi:10.1007/s11222-010-9217-9·Zbl 1322.62045号 [46] 徐，L。；Jordan，MI，关于高斯混合em算法的收敛特性，神经计算。，8, 1, 129-151 (1996) ·doi:10.1162/neco.1996.8.1.129 [47] 佐兰，D。；Weiss，Y.，《自然图像，高斯混合和枯叶》，高级神经信息处理。系统。，3, 1736-1744 (2012) 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。