×
苏贾亚姆·萨哈;贡图博伊纳、阿迪蒂亚南德

高斯混合密度的非参数极大似然估计及其在高斯去噪中的应用。 （英语） Zbl 1454.62120号

Ann.统计。 48，第2期，738-762（2020）.
本文从独立的多维观测出发，深入讨论了高斯混合密度的非参数最大似然估计。与普通似然法相比，最大的区别在于，凸优化用于拟合混合物。对有限样本精度结果（基于平方Hellinger损失函数）进行了量化，发现其精度接近参数。文章最后介绍了本文中所开发的估计的应用和评估（在接近最优的水平上），作为高斯去噪问题中预言估计的经验贝叶斯估计。
审核人：迪米特里奥斯·巴格卡沃斯（约阿尼纳）

引用于1审查
引用于15文件

MSC公司：

62G07年 密度估算
62C12号机组 经验决策程序；经验贝叶斯程序
62C10个 贝叶斯问题；Bayes过程的特征
62H30型 分类和区分；聚类分析（统计方面）

关键词：

密度估计;高斯混合模型;凸优化;海林格距离;度量熵;收敛速度;型号选择;自适应估计;凸聚类

软件：

群集路径;易趣威胁;莫塞克
PDF格式BibTeX公司 XML格式引用
\textit{S.Saha}和\textit{A.Guntuboyina}，《美国国家统计年鉴》第48卷第2期，第738--762页（2020年；Zbl 1454.62120）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Acharya，J.、Diakonikolas，I.、Li，J.和Schmidt，L.（2017年）。近似线性时间内的样本最优密度估计。第二十八届ACM-SIAM离散算法研讨会论文集1278-1289。宾夕法尼亚州费城SIAM·Zbl 1411.68091号
[2] Balakrishnan，S.、Wainwright，M.J.和Yu，B.（2017年）。EM算法的统计保证：从人口到基于样本的分析。安。统计师。45 77-120. ·Zbl 1367.62052号 ·doi:10.1214/16-AOS1435
[3] Barron，A.、Birgé，L.和Massart，P.（1999）。通过惩罚选择模型的风险边界。普罗巴伯。理论相关领域113 301-413·Zbl 0946.62036号 ·doi:10.1007/s004400050210
[4] Bhaskara，A.、Suresh，A.和Zadimoghaddam，M.（2015）。非负线性系统的稀疏解及其应用。人工智能与统计学83-92。
[5] Birgé，L.和Massart，P.（1997）。从模型选择到自适应估计。为Lucien Le Cam 55-87拍摄Festschrift。纽约州施普林格·Zbl 0920.62042号
[6] Böhning，D.（1995）。半参数混合模型的可靠最大似然算法综述。J.统计。计划。推论47 5-28·Zbl 0832.62026号
[7] Böhning，D.（1999）。混合物的计算机辅助分析和应用：荟萃分析、疾病绘图和其他。统计学和应用概率专著81。佛罗里达州博卡拉顿CRC出版社/CRC。
[8] Brown，L.D.（1971）。可容许估计量、递归扩散和不可解边值问题。安。数学。统计数字42 855-903·Zbl 0246.62016号 ·doi:10.1214/aoms/1177693318
[9] Brown，L.D.和Greenshtein，E.（2009年）。估计高维正态均值向量的非参数经验贝叶斯和复合决策方法。安。统计师。37 1685-1704. ·Zbl 1166.62005年 ·doi:10.1214/08-AOS630
[10] Chan，S.-O.、Diakonikolas，I.、Servedio，R.A.和Sun，X.（2012）。学习离散域上结构化分布的混合。第二十四届ACM-SIAM离散算法研讨会论文集1380-1394。宾夕法尼亚州费城SIAM·Zbl 1421.68144号
[11] Chan，S.-O.、Diakonikolas，I.、Servedio，R.A.和Sun，X.（2014）。通过分段多项式近似进行有效的密度估计。在第四十六届ACM计算理论年度研讨会论文集604-613。纽约ACM·Zbl 1315.68163号
[12] Chen，G.K.、Chi，E.C.、Ranola，J.M.O.和Lange，K.（2015）。凸聚类：层次聚类的一个有吸引力的替代方案。PLoS计算。生物11 e1004228。
[13] Daskalakis，C.和Kamath，G.（2014）。适当高斯混合学习的快速样本近最优算法。在学习理论会议1183-1213。
[14] Dempster，A.P.、Laird，N.M.和Rubin，D.B.（1977年）。通过EM算法获得不完整数据的最大似然（讨论后）。J.罗伊。统计师。Soc.序列号。B 39 1-38·Zbl 0364.62022号 ·doi:10.1111/j.2517-6161.1977.tb01600.x
[15] Devroye，L.和Lugosi，G.（2001）。密度估计中的组合方法。统计学中的斯普林格系列。纽约州施普林格·Zbl 0964.62025号
[16] Dicker，L.H.和Zhao，S.D.（2016）。基于非参数经验贝叶斯和最大似然推理的高维分类。生物特征103 21-34·Zbl 1452.62440号 ·doi:10.1093/biomet/asv067
[17] Donoho，D.和Reeves，G.（2013）。当噪声水平未知时，在稀疏信号+高斯白噪声模型中实现Bayes mmse性能。信息理论学报（ISIT），2013年IEEE国际研讨会，101-105。IEEE，纽约。
[18] Efron，B.（2011年）。Tweedie公式和选择偏差。J.Amer。统计师。协会106 1602-1614·Zbl 1234.62007年 ·doi:10.1198/jasa.2011.tm11181
[19] Efron，B.和Morris，C.（1972年）。向量观测的经验贝叶斯：Stein方法的扩展。生物特征59 335-347·Zbl 0238.62072号 ·doi:10.1093/biomet/59.2.335
[20] Efron，B.和Morris，C.（1976年）。多元经验贝叶斯和协方差矩阵估计。安。统计师。4 22-32. ·Zbl 0322.62041号 ·doi:10.1214/aos/1176343345
[21] Everitt，B.S.和Hand，D.J.（1981年）。有限混合分布：应用概率和统计学专著。CRC出版社，伦敦·兹伯利0466.62018
[22] Feng，L.和Dicker，L.H.（2016）。基于凸优化的混合模型非参数极大似然推理。预印本。网址：arXiv:1606.02011。
[23] Ghosal，S.和van der Vaart，A.W.（2001）。正态密度混合物的最大似然熵和收敛率以及贝叶斯估计。安。统计师。29 1233-1263. ·Zbl 1043.62025号 ·doi:10.1214/aos/1013203453
[24] Hocking，T.D.、Joulin，A.、Bach，F.和Vert，J.-P.（2013）。聚类路径——一种使用凸融合惩罚的聚类算法。第28届国际机器学习会议，第1页。
[25] Jiang，W.和Zhang，C.-H（2009）。正态均值的一般最大似然经验Bayes估计。安。统计师。37 1647-1684. ·Zbl 1168.62005号 ·doi:10.1214/08-AOS638
[26] Johnstone，I.M.和Silverman，B.W.（2004）。干草堆中的针和稻草：可能稀疏序列的经验Bayes估计。安。统计师。32 1594-1649. ·Zbl 1047.62008年 ·数字对象标识代码：10.1214/00905360400000030
[27] Kiefer，J.和Wolfowitz，J.（1956年）。存在无穷多个伴随参数时最大似然估计的相合性。安。数学。《美国联邦法律大全》第27卷第887-906页·Zbl 0073.14701号 ·doi:10.1214/aoms/1177728066
[28] Koenker，R.和Mizera，I.（2014）。凸优化、形状约束、复合决策和经验贝叶斯规则。J.Amer。统计师。协会109 674-685·Zbl 1367.62020号 ·doi:10.1080/01621459.2013.869224
[29] Laird，N.（1978年）。混合分布的非参数极大似然估计。J.Amer。统计师。协会73 805-811·Zbl 0391.62029号 ·doi:10.1080/01621459.1978.10480103
[30] Lashkari，D.和Golland，P.（2008）。基于样本模型的凸聚类。神经信息处理系统进展825-832。
[31] Li，J.和Schmidt，L.（2015）。一种近似最优且不可知的算法，用于正确学习任意常数的高斯混合。预印。可从arXiv:1506.01367获得。
[32] Lindsay，B.G.（1983年）。混合可能性的几何：一般理论。安。统计师。11 86-94. ·Zbl 0512.62005号 ·doi:10.1214/aos/1176346059
[33] Lindsay，B.G.（1983年）。混合可能性的几何形状。二、。指数族。安。统计师。11 783-792. ·Zbl 0534.62002号 ·doi:10.1214/aos/1176346245
[34] Lindsay，B.G.（1995年）。混合模型：理论、几何和应用。在NSF-CBMS概率与统计区域会议系列i-163。加利福尼亚州海沃德IMS·Zbl 1163.62326号
[35] Lindsay，B.G.和Lesperance，M.L.（1995年）。半参数混合模型综述。J.统计。计划。推断47 29-39·Zbl 0832.62027号 ·doi:10.1016/0378-3758（94）00120-K
[36] Lindsten，F.、Ohlsson，H.和Ljung，L.（2011年）。放松下来，聚在一起！：《K-Means聚类的凸化》，林雪平大学电子出版社。
[37] 马萨特，P.（2007）。集中不等式与模型选择。数学课堂笔记。1896年柏林斯普林格·Zbl 1170.60006号
[38] Maugis，C.和Michel，B.（2011年）。数据驱动的惩罚校准：高斯混合模型选择的案例研究。ESAIM概率。统计数据15 320-339·Zbl 1395.62163号 ·doi:10.1051/ps/201002
[39] Maugis，C.和Michel，B.（2011年）。高斯混合模型选择的非渐近惩罚准则。ESAIM概率。统计数字15 41-68·Zbl 1395.62162号 ·doi:10.1051/ps/2009004
[40] Maugis-Rabusseau，C.和Michel，B.（2013）。高斯混合聚类的自适应密度估计。ESAIM概率。《美国联邦法律大全》第17卷第698-724页·Zbl 1395.62164号 ·doi:10.1051/ps/2012018
[41] McLachlan，G.和Peel，D.（2000年）。有限混合模型。概率统计威利系列：应用概率统计。Wiley Interscience，纽约·兹比尔0963.62061
[42] McLachlan，G.J.和Krishnan，T.（1997）。EM算法和扩展。概率统计威利系列：应用概率统计。纽约威利·Zbl 0882.62012号
[43] 莫塞克（2015）。MATLAB手册的MOSEK优化工具箱。7.1版（第28次修订），17。
[44] Radchenko，P.和Mukherjee，G.（2014）。使用\（\ell_1\）融合惩罚的一致聚类。预印本。可从arXiv:1412.0753获得。
[45] Robbins，H.（1950）。最大似然估计混合分布方法的推广。安。数学。统计数字21 314-315。
[46] Robbins，H.（1951年）。复合统计决策问题的渐近次极小解。第二届伯克利数理统计与概率研讨会论文集，1950年131-148。加州大学出版社，伯克利和洛杉矶·Zbl 0044.14803号
[47] Robbins，H.（1956年）。统计的经验贝叶斯方法。第三届伯克利数理统计与概率研讨会论文集，1954-1955年，第一卷157-163。加州大学出版社，伯克利和洛杉矶·Zbl 0074.35302号
[48] 罗宾斯，H.（1964年）。统计决策问题的经验贝叶斯方法。安。数学。《美国联邦法律大全》第35卷第1-20页·Zbl 0138.12304号 ·doi:10.1214/aoms/1177703729
[49] Saha，S.和Guntuboyina，A.（2020年）。补充“关于高斯位置混合密度的非参数最大似然估计及其在高斯去噪中的应用”https://doi.org/10.1214/19-AOS1817SUPP。
[50] Schlattmann，P.（2009）。有限混合模型的医学应用。柏林施普林格·Zbl 1158.62082号
[51] Stein，C.M.（1981）。多元正态分布平均值的估计。安。统计师。9 1135-1151. ·Zbl 0476.62035号 ·doi:10.1214/aos/1176345632
[52] Suresh，A.T.、Orlitsky，A.、Acharya，J.和Jafarpour，A.（2014）。球面高斯混合的近最优样本估计。神经信息处理系统进展1395-1403。
[53] Tan，K.M.和Witten，D.（2015）。凸聚类的统计特性。电子。《美国联邦法律大全》第9卷第2324-2347页·Zbl 1336.62193号 ·doi:10.1214/15-EJS1074
[54] Tibshirani，R.、Walther，G.和Hastie，T.（2001）。通过间隙统计估计数据集中的簇数。J.R.统计社会服务。B.统计方法。63 411-423. ·Zbl 0979.62046号 ·数字对象标识代码：10.1111/1467-9868.00293
[55] Titterington，D.M.、Smith，A.F.M.和Makov，U.E.（1985）。有限混合分布的统计分析。概率与数理统计中的威利级数：应用概率与统计。奇切斯特·威利·Zbl 0646.62013.中
[56] van der Vaart，A.W.和Wellner，J.A.（1996）。弱收敛与经验过程：统计应用。统计学中的斯普林格系列。纽约州施普林格·Zbl 0862.60002号
[57] Wang，B.，Zhang，Y.，Sun，W.W.和Fang，Y.（2018）。稀疏凸聚类。计算杂志。图表。统计师。27 393-403. ·Zbl 07498956号
[58] Watanabe，M.和Yamaguchi，K.（2003年）。EM算法和相关统计模型。佛罗里达州博卡拉顿CRC出版社·Zbl 1051.62001号
[59] Weinstein，A.、Ma，Z.、Brown，L.D.和Zhang，C.-H.（2018）。异方差正态均值的组线性经验Bayes估计。J.Amer。统计师。协会113 698-710·Zbl 1398.62067号 ·doi:10.1080/01621459.2017.1280406
[60] Wong，W.H.和Shen，X.（1995）。筛选MLE的似然比和收敛速度的概率不等式。安。统计师。23 339-362. ·Zbl 0829.62002号 ·doi:10.1214/aos/1176324524
[61] Wu，C.、Kwon，S.、Shen，X.和Pan，W.（2016）。基于惩罚回归聚类的新算法和理论。J.Mach。学习。决议17第188、25号文件·兹比尔1392.68371
[62] Xie，Kou，S.C.和Brown，L.D.（2012）。异方差层次模型的SURE估计。J.Amer。统计师。协会107 1465-1479·Zbl 1284.62450号 ·doi:10.1080/01621459.2012.728154
[63] Zhang，C.-H.（2009）。正态混合物密度的广义最大似然估计。统计师。Sinica 19 1297-1318·Zbl 1166.62013年
[64] 朱，C。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。