×
阿维克·雷；乔·内曼；苏贾·桑哈维；桑杰·沙科塔伊

混合模型中的搜索问题。 （英语） Zbl 1469.68102号

J.马赫。学习。物件。 18（2017-2018），论文编号206，61 p.（2018）.
小结：我们考虑学习混合模型中单个组分参数的任务，当我们获得关于该组分的附带信息时；我们称之为混合模型中的“搜索问题”。我们希望用比解决整体原始问题更低的计算和样本复杂度来解决这个问题，即学习所有组件的参数。
我们的主要贡献是为边信息的概念开发了一个简单但通用的模型，以及在这种通用环境下解决搜索问题的相应的基于矩阵的简单算法。然后，我们将此模型和算法专门用于四种常见场景：高斯混合模型、LDA主题模型、子空间聚类和混合线性回归。对于其中的每一个，我们都表明，如果（并且仅当）边信息是有信息的，我们可以获得更高精度的参数估计，并且与现有的基于矩的混合模型算法（例如张量）相比，计算复杂度也有所提高方法）。我们还举例说明了针对特定问题实例获取此类副信息的几种自然方法。我们在真实数据集（《纽约时报》、Yelp、BSDS500）上的实验进一步证明了我们算法的实用性，在运行时和准确性方面都有显著提高。

MSC公司：

68T20型 人工智能背景下的问题解决（启发式、搜索策略等）
62H30型 分类和区分；聚类分析（统计方面）
68T05型 人工智能中的学习和自适应系统

关键词：

混合物模型；搜索；侧面信息；半监督的；矩量法
PDF格式BibTeX公司 XML格式引用
\textit{A.Ray}等人，J.Mach。学习。第18号决议，第206号论文，61页（2018年；Zbl 1469.68102）
全文： arXiv公司 链接

参考文献：

[1] 阿尼玛·安南德库玛（Anima Anandkumar）、院长P·福斯特（P Foster）、丹尼尔·徐俊杰（Daniel J Hsu）、沙姆·卡卡德（Sham M Kakade）和刘一凯（Yi-Kai Liu）。潜在dirichlet分配的谱算法。《神经信息处理系统进展》，第917-925页，2012年·Zbl 1311.68130号
[2] 阿尼马什雷·阿南德库马尔、荣戈、丹尼尔·徐、沙姆·卡卡德和马图斯·特尔加斯基。用于学习潜在变量模型的张量分解。机器学习研究杂志，15（1）：2773–28322014·Zbl 1319.62109号
[3] 巴勃罗·阿贝莱兹（Pablo Arbelaez）、迈克尔·梅尔（Michael Maire）、查尔斯·福克斯（Charless Fowlkes）和吉坦德拉·马利克（Jitendra Malik）。轮廓检测和分层图像分割。IEEE传输。模式分析。机器。智力。，33（5）：898–916，2011年5月。
[4] 桑吉夫·阿罗拉（Sanjeev Arora）、荣格（Rong Ge）、约纳坦·哈尔珀恩（Yonatan Halpern）、大卫·米姆诺（David M Mimno）、安库·莫伊特拉（Ankur Moitra）、大卫·桑塔格（David Sontag）、吴一。具有可证明保证的主题建模实用算法。《2013年国际资本市场协会会议记录》，第280-288页，2013年。
[5] Sugato Basu、Arindam Banerjee和Raymond Mooney。通过播种实现半监督聚类。第19届机器学习国际会议论文集（ICML20022002）。
[6] David M Blei、Andrew Y Ng和Michael I Jordan。潜在的dirichlet分配。机器学习研究杂志，3:993–10222003·Zbl 1112.68379号
[7] Olivier Chapelle、Bernhard Sch¨olkopf和Alexander Zien，编辑。半监督学习。麻省理工学院出版社，剑桥，2006年。
[8] 陈玉东（Yudong Chen）、易信阳（Xinyang Yi）和康斯坦丁（Constantine Caramanis）。具有两个分量的混合回归的凸公式：Minimax最优率。在COLT中，第560-604页，2014年。59 ·Zbl 1464.62320号
[9] Arthur P Dempster、Nan M Laird和Donald B Rubin。通过em算法从不完整数据中获得最大似然。皇家统计学会杂志。B系列（方法学），第1-38页，1977年·Zbl 0364.62022号
[10] Ehsan Elhamifar和Ren´e Vidal。稀疏子空间聚类。计算机视觉和模式识别，2009年。CVPR 2009。IEEE会议，第2790–2797页。IEEE，2009年。
[11] 莫里茨·哈德（Moritz Hardt）和埃里克·普莱斯（Eric Price）。学习两个高斯混合的严格界限。《美国计算机学会计算机理论研讨会论文集》，STOC，第753-760页，2015年·Zbl 1321.68405号
[12] Daniel Hsu和Sham M Kakade。学习球面高斯混合：矩方法和谱分解。《理论计算机科学创新第四届会议论文集》，第11-20页。ACM，2013年·Zbl 1362.68246号
[13] 黄芙蓉（Furong Huang）、尼兰詹（UN Niranjan）、穆罕默德·奥马尔·哈基姆（Mohammad Umar Hakeem）和阿南德库玛（Animashree Anandkumar）。学习潜在变量模型的在线张量方法。机器学习研究杂志，16:2797-28352015·Zbl 1351.68216号
[14] 皮尔科·库塞拉和丹尼尔·奥科内。附带信息学习：Pac学习范围。《计算机与系统科学杂志》，68（3）：521–5452004·Zbl 1069.68058号
[15] 岳麓和翟成祥。通过半监督主题建模进行意见集成。《第17届国际万维网大会论文集》，第121-130页。ACM，2008年。
[16] Christopher D Manning、Prabhakar Raghavan、Hinrich Sch¨utze等人，《信息检索导论》第1卷。剑桥大学出版社，2008年·Zbl 1160.68008号
[17] Jon D Mcauliffe和David M Blei。监督主题模型。《神经信息处理系统进展》，第121-128页，2008年。
[18] 安库·莫伊特拉（Ankur Moitra）和格雷戈里·瓦利安特（Gregory Valiant）。解决高斯混合多项式的可学习性。《计算机科学基础》（FOCS），2010年第51届IEEE年会，第93-102页。IEEE，2010年·Zbl 1293.68229号
[19] 大卫·纽曼（David Newman）、杰伊·汉·刘（Jey Han Lau）、卡尔·格雷瑟（Karl Grieser）和蒂莫西·鲍德温（Timothy Baldwin）。主题连贯性的自动评估。《人类语言技术：计算语言学协会北美分会2010年度大会》，第100-108页。计算语言学协会，2010年。
[20] 大卫·纽曼（David Newman）、埃德温·博尼拉（Edwin V Bonilla）和沃伊·邦廷（Wray Buntine）。使用正则化主题模型提高主题连贯性。《神经信息处理系统进展》，第496–504页，2011年。
[21] 东亨公园（Dohyung Park）、君士坦丁·卡拉马尼斯（Constantine Caramanis）和苏杰·桑哈维（Sujay Sanghavi）。贪婪子空间聚类。《神经信息处理系统进展》，第2753–2761页，2014年。60
[22] 卡尔·皮尔逊。对进化数学理论的贡献。伦敦皇家学会哲学汇刊。A、 第71–110页，1894年·JFM 25.0347.02号
[23] 丹尼尔·拉马奇（Daniel Ramage）、大卫·霍尔（David Hall）、拉梅什·纳拉帕蒂（Ramesh Nallapati）和克里斯托弗·德曼宁（Christopher D Manning）。标签lda：多标签语料库中信用归因的监督主题模型。程序中。2009年自然语言处理经验方法大会第1卷第1卷，第248-256页。计算语言学协会，2009年。
[24] 理查德·雷德纳（Richard A Redner）和荷马·F·沃克（Homer F Walker）。混合密度、最大似然和em算法。SIAM综述，26（2）：195–2391984·Zbl 0536.62021号
[25] M.R¨oder，A.Both和A.Hinneburg。探索主题连贯性测量的空间。第八届ACM网络搜索和数据挖掘国际会议论文集，第399-408页。ACM，2015年。
[26] Michal Rosen Zvi、Thomas Griffiths、Mark Steyvers和Padhrac Smyth。《第20届人工智能不确定性会议论文集》，第487–494页，2004年。
[27] 哈尼·塞奇·马吉德·扬扎敏和阿尼玛·阿南德库马尔。广义线性模型混合学习的可证明张量方法。《人工智能与统计国际会议论文集》，AISTATS 2016，第1223-1231页，2016年。
[28] Mahdi Soltanolkotabi和Emmanuel J Candes。具有离群值的子空间聚类的几何分析。《统计年鉴》，第2195–2238页，2012年·Zbl 1318.62217号
[29] 战术指挥中心。德克萨斯州高级计算中心，2018年。http://www.tacc.utexas.edu。
[30] 乔尔·特罗普（Joel Tropp）。基质浓度不等性简介。arXiv预印本arXiv:1501.015712015·Zbl 1391.15071号
[31] UCI。《纽约时报》数据集，2008年。http://mlr.cs.umass.edu/ml/机器学习数据库/。
[32] Eric P Xing、Michael I Jordan、Stuart Russell和Andrew Y Ng。距离度量学习与附带信息的集群应用。《神经信息处理系统的进展》，第505-512页，2002年。
[33] 杨天宝（Tianbao Yang）、金荣（Rong Jin）和阿尼尔（Anil K Jain）。利用广义最大熵模型学习噪声侧信息。《第27届国际机器学习大会论文集》（ICML-10），第1199-12062010页。
[34] 发出短而尖的叫声。Yelp数据集，2014年。http://www.yelp.com/dataset_challenge/。
[35] 信阳易、君士坦丁·卡拉马尼斯和苏杰·桑哈维。混合线性回归的交替最小化。《机器学习国际会议论文集》，ICML 2014，第613–621页，2014年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。