×

分布族的多项式学习。 (英语) Zbl 1335.68100号

摘要:概率分布的多项式可学习性问题,特别是高斯混合分布,最近在理论计算机科学和机器学习中受到了极大的关注。然而,尽管取得了重大进展,高斯混合分布的多项式可学习性的一般问题仍然悬而未决。目前的工作解决了具有任意固定分量数的高维高斯混合函数的多项式可学习性问题。具体来说,我们表明,可以使用维数为多项式的样本和所有其他参数来学习具有固定分量数的高斯分布的参数。学习高斯混合的结果依赖于对低维多项式族分布的分析。这些族的特征是其参数的矩为多项式,包括几乎所有常见的概率分布及其混合物和乘积。利用实代数几何中的工具,我们证明了属于这样一个族的任何分布的参数都可以在多项式时间内通过使用多项式数量的样本点来学习。学习多项式族的结果是非常普遍的,并且具有独立的意义。为了估计高维高斯混合分布的参数,我们提供了一种确定性的降维算法。这使得我们可以将学习高维混合数据减少为低维参数估计的多项式数。将这种简化与多项式族上的结果结合起来,可以得到学习高维任意高斯混合的结果。

MSC公司:

第68季度25 算法和问题复杂性分析
第14页 半代数集与相关空间
62F99型 参数化推理
第68季度32 计算学习理论
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] D.Achlioptas和F.McSherry,{关于混合分布的谱学习},学习理论,计算机课堂讲稿。科学。柏林斯普林格3559号,2005年·Zbl 1137.68512号
[2] J.Anderson、M.Belkin、N.Goyal、L.Rademacher和J.R.Voss,{越多越好:学习大高斯混合的维度之福},载于《2014年学习理论会议论文集》,2014年,第1135-1164页。
[3] S.Arora和R.Kannan,《任意高斯混合学习》,第33届美国计算机学会计算理论年度研讨会论文集,美国计算机学会,纽约,2001年,第247-257页·兹比尔1323.68440
[4] S.Basu、R.Pollack和M.F.Roy,《实代数几何中的算法》,Springer-Verlag,柏林,2003年·Zbl 1031.14028号
[5] M.Belkin和K.Sinha,{分布族的多项式学习},第51届IEEE计算机科学基础年会论文集(FOCS 2010),IEEE计算机学会,加利福尼亚州洛斯阿拉米托斯,2010年,第103-112页·Zbl 1335.68100号
[6] M.Belkin和K.Sinha,《朝向任意分离的高斯混合学习》,第23届学习理论年会,2010年,第407-419页。
[7] A.Bhaskara、M.Charikar、A.Moitra和A.Vijayaraghavan,《张量分解的平滑分析》,第46届ACM计算理论研讨会论文集,2014年,第594-603页·Zbl 1315.68203号
[8] S.C.Brubaker和S.Vempala,{各向同性PCA和仿射不变聚类},收录于Burning Bridges,Bolyai Soc.Math。Stud,19岁,柏林施普林格出版社,2008年,第241-281页·Zbl 1159.68542号
[9] K.Chaudhuri、S.Dasgupta和A.Vattani,{使用K-means算法学习高斯混合,CoRR,http://arxiv.org/abs/0912.0086, 2009.
[10] K.Chaudhuri和S.Rao,{超越高斯:学习重尾分布混合的谱方法},《第21届学习理论年会论文集》,2008年,第21-32页。
[11] K.Chaudhuri和S.Rao,{使用相关性和独立性学习产品分布的混合},《第21届学习理论年会》,2008年,第9-20页。
[12] A.Dasgupta、J.E.Hopcroft、J.Kleinberg和M.Sandler,《关于重尾分布混合学习》,第46届计算机科学基础年会论文集,2005年,第491-500页。
[13] S.Dasgupta,{高斯混合学习},《第40届计算机科学基础年度研讨会论文集》,1999年,第634-644页。
[14] S.Dasgupta和L.Schulman,{高斯混合物EM的两轮变体},《第16届人工智能不确定性会议论文集》,2000年,第152-159页。
[15] M.Drton、B.Strumfels和S.Sullivant,代数统计学讲座,Oberwolfach研讨会39。Birkha¨user Verlag,巴塞尔,2009年·兹比尔1166.13001
[16] J.Feldman、R.O'Donnell和R.A.Servedio,《学习离散域上产品分布的混合》,SIAM J.Compute。,37(2008),第1536-1564页·Zbl 1178.68296号
[17] J.Feldman,R.A.Servedio和R.O’Donnell,《学习理论》,《计算机课堂讲稿》,《PAC学习轴对准高斯混合模型,无分离假设》。科学。4005,施普林格,柏林,2006年,第20-34页·Zbl 1143.68533号
[18] W.Feller,《概率论及其应用导论》,第二版,John Wiley&Sons,纽约,伦敦,悉尼,1971年·Zbl 0219.60003号
[19] D.Hsu和S.M.Kakade,{球面高斯混合学习:矩方法和谱分解},《第四届理论计算机科学创新会议论文集》,美国计算机学会,2013年,第11-20页·Zbl 1362.68246号
[20] A.T.Kalai、A.Moitra和G.Valiant,{有效学习两个高斯人的混合物},第41届美国计算机学会计算理论研讨会论文集,美国计算机学会,纽约,2010年,第553-562页·Zbl 1293.68229号
[21] R.Kannan、H.Salmasian和S.Vempala,《一般混合模型的谱方法》,摘自《学习理论》,《计算机课堂讲稿》。科学。3559,柏林施普林格出版社,2005年,第444-457页·Zbl 1137.68543号
[22] B.G.Lindsay,{混合模型:理论几何与应用},美国国家科学基金会-哥伦比亚国家统计局概率统计区域会议系列,俄亥俄州比奇伍德数学统计研究所,1995年·Zbl 1163.62326号
[23] G.J.McLachlan和K.E.Basford,《混合模型:聚类的推断和应用》,马塞尔·德克尔,纽约,1988年·Zbl 0697.62050号
[24] A.Moitra和G.Valiant,《解决高斯混合多项式的可学习性》,载于《第51届IEEE计算机科学基础年度研讨会论文集》(FOCS 2010),IEEE计算机学会,加利福尼亚州洛斯阿拉米托斯,2010年,第93-102页。
[25] K.Pearson,《对进化数学理论的贡献》,Phil,Trans。伦敦皇家足球俱乐部。A、 185(1894),第71-110页·JFM 25.0347.02号
[26] H.Teicher,{有限混合的可识别性},《数学年鉴》。统计人员。,34(1963年),第1265-1269页·Zbl 0137.12704号
[27] D.M.Titterington、A.F.M.Smith和U.E.Makov,《有限混合分布的统计分析》,John Wiley&Sons,Chichester,1985年·Zbl 0646.62013.中
[28] S.Vempala和G.Wang,{学习混合分布的谱算法},J.Compute。系统。科学。,113(2002),第113-123页。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。