穆罕默德·马苏德（Muhammad A.Masood）。；Doshi-Velez，决赛 贝叶斯非负矩阵分解的基于粒子的变分方法。 （英语） Zbl 1434.68433号 J.马赫。学习。物件。 20，第90号论文，56页（2019年）. 摘要：贝叶斯非负矩阵分解（BNMF）是理解矩阵数据中不确定性和结构的一种很有前途的方法。然而，大量的应用工作优化了传统的非贝叶斯NMF目标，这些目标未能提供对NMF固有的不可识别性的原则性理解，这是贝叶斯方法理想解决的问题。尽管它们适用，但当前的BNMF方法在应用环境中未能获得普及；它们牺牲了建模的灵活性来进行易处理的计算，往往陷入局部模式，并且可能需要数千个样本来进行有意义的不确定性估计。我们通过基于粒子的BNMF变分方法来解决这些问题，该方法只需要联合似然可微以便于计算，使用一种新的基于传输的初始化技术来识别后部的多个模式，因此，领域专家可以检查一组准确代表后验的因子分解。在几个实际数据集上，我们在比基线更短的时间内获得了更好的BNMF后验粒子近似值，并证明了多模态在NMF相关任务中的重要作用。 MSC公司： 68T05型 人工智能中的学习和自适应系统 2015年1月62日 贝叶斯推断 关键词：贝叶斯主义者；非负矩阵分解；斯坦因差异；不可识别性；迁移学习 软件：ORL面；Autograd公司；Scikit公司；CVXPY公司；耶鲁脸；LFW公司 PDF格式BibTeX公司 XML格式引用 \textit{M.A.Masood}和\textit{F.Doshi-Velez}，J.Mach。学习。第20号决议，第90号论文，56页（2019年；Zbl 1434.68433） 全文： arXiv公司 链接 参考文献： [1] 20纳克。20个新闻组文本数据集scikit-learn 0.19.1文档。http://scikit-learn.org/stable/datasets/twenty_newsgroups.html，2013年7月。（2018年1月23日访问）。 [2] 皮埃尔·阿尔基尔（Pierre Alquier）和本杰明·盖吉（Benjamin Guedj）。拟贝叶斯非负矩阵分解的一个预言不等式。统计数学方法，26（1）：55-672017·Zbl 1381.62222号 [3] 尤安·奥尔特曼（Yoann Altmann）、尼古拉斯·多比根（Nicolas Dobigeon）和珍妮·伊夫·图内特（Jean-Yves Tourneret）。使用哈密顿蒙特卡罗算法对高光谱图像进行无监督后非线性分解。IEEE图像处理汇刊，23（6）：2663-26752014·Zbl 1374.94021号 [4] 莫滕·阿恩格伦（Morten Arngren）、米克尔·N·施密特（Mikkel N Schmidt）和扬·拉森（Jan Larsen）。基于贝叶斯非负矩阵分解和体积先验的高光谱图像去混合。《信号处理系统杂志》，65（3）：479-4962011。 [5] 桑吉夫·阿罗拉（Sanjeev Arora）、荣格（Rong Ge）、拉文德兰·坎南（Ravindran Kannan）和安库·莫伊特拉（Ankur Moitra）。计算非负矩阵分解。第四十四届ACM计算理论研讨会论文集，第145-162页。ACM，2012年·Zbl 1286.15014号 [6] Andrew D Barbour和Timothy C Brown。斯坦因方法和点过程近似。随机过程及其应用，43（1）：9-311992·Zbl 0765.60043号 [7] Atilim Gunes Baydin、Barak A Pearlmutter、Alexey Andreyevich Radul和Jeffrey Mark Siskind。机器学习中的自动差异化：一项调查。arXiv预印本arXiv:1502.057672015·兹伯利06982909 [8] 南希·伯丁、罗兰·巴多和艾曼纽尔·文森特。快速贝叶斯NMF算法在复调音乐转录中增强了和谐性和时间连续性。《信号处理在音频和声学中的应用》，2009年。09年华盛顿。IEEE研讨会，第29-32页。IEEE，2009年。 [9] 迈克尔·贝当古（Michael Betancourt）。巡游单纯形：哈密顿蒙特卡罗和狄里克莱分布。InAIP会议记录第31期，第1443卷，第157-164页。AIP，2012年。 [10] Chiranjib Bhattacharya、Navin Goyal、Ravindran Kannan和Jagdeep Pani。强噪声下的非负矩阵分解。在2016年国际机器学习会议上，第1426-1434页。 [11] Chiranjib Bhattacharyya、IISC ERNET、Navin Goyal、COM Ravindran Kannan和COM Jagdeep Pani。强噪声下的非负矩阵分解。第33届机器学习国际会议论文集，第1426-1434页，2016年。 [12] Jos´e M Bioucas-Dias、Antonio Plaza、Nicolas Dobigeon、Mario Parent、Qian Du、Paul Gader和Jocelyn Chanussot。高光谱分解概述：基于几何、统计和稀疏回归的方法。《应用地球观测和遥感专题》，IEEE Journal of，5（2）：354-3792012。 [13] Christos Boutsidis和Efstratios Gallopoulos。基于SVD的初始化：非负矩阵分解的先行者。模式识别，41（4）：1350-13622008·Zbl 1131.68084号 [14] Rasmus Bro、Evrim Acar和Tamara G Kolda。解决奇异值分解中的符号歧义。化学计量学杂志，22（2）：135-1402008。 [15] Jean-Philippe Brunet、Pablo Tamayo、Todd R Golub和Jill P Mesirov。使用矩阵分解发现转移基因和分子模式。PNAS，101（12）：4164-41692004年。 [16] CBCL公司。家庭杂技实验室。http://poggio-lab.mit.edu/，2000年。（查阅日期：2018年1月23日）。 [17] 阿里·塔伊兰·塞姆吉尔。非负矩阵分解模型的贝叶斯推理。计算智能与神经科学，2009年，2009年。 [18] Wei Chu、S Sathiya Keerthi和Chong Jin Ong。使用统一损失函数的贝叶斯支持向量回归。IEEE神经网络交易，15（1）：29-442004。 [19] 卡普尔·奇瓦尔科夫斯基（Kacper Chwialkowski）、海科·斯特拉赫曼（Heiko Strathmann）和亚瑟·格雷顿（Arthur Gretton）。拟合优度的内核测试。arXiv预印本arXiv:1602.029642016。 [20] Andrzej Cichocki和Anh-Huy Phan。大规模非负矩阵和张量因子分解的快速局部算法。电子、通信和计算机科学基础IEICE交易，92（3）：708-7212009。 [21] 史蒂文·戴蒙德和斯蒂芬·博伊德。Cvxpy：一种用于凸优化的嵌入python的建模语言。机器学习研究杂志，17（1）：2909-29132016·Zbl 1360.90008号 [22] Onur Dikmen和A Taylan Cemgil。使用贝叶斯NMF的无监督单通道信源分离。2009年《信号处理在音频和声学中的应用》。09年华盛顿。IEEE研讨会，第93-96页。IEEE，2009年。 [23] 大卫·多诺霍和维多利亚·斯托登。非负矩阵分解在什么时候给出了正确的分解？神经信息处理系统进展，第None页，2003年。 [24] Finale Doshi-Velez、Yaorong Ge和Isaac Kohane。孤独症谱系障碍中的共病集群：电子健康记录时间序列分析。儿科，133（1）：e54-e63，2014年。 [25] 冯一浩、王帝林和刘强。学习使用摊销Stein Variation Gradient Descent.arXiv预印本arXiv:1707.066262017绘制样本。 [26] C´edric F´evotte和J´erˆome Idier。具有β散度的非负矩阵分解算法。神经计算，23（9）：2421-24562011·Zbl 1231.65072号 [27] C´edric F´evotte、Nancy Bertin和Jean-Louis Durrieu。带Itakura-Saito发散的非负矩阵分解：应用于音乐分析。神经计算，21（3）：793-8302009·Zbl 1156.94306号 [28] 荣格和詹姆斯·邹。相交面：具有新保证的非负矩阵分解。国际机器学习会议，第2295-2303页，2015a。 [29] 葛荣和邹占美。相交面：具有新保证的非负矩阵因子分解。国际机器学习会议，第十页，ICML，2015b。 [30] Michel Gendreau和Jean-Yves Potvin。元启发式手册，第2卷。施普林格，2010年·Zbl 1198.90002号 [31] 塞缪尔·格什曼、马特·霍夫曼和大卫·布莱。非参数变分推理。arXiv预印arXiv:1206.46652012。 [32] 杰克逊·戈勒姆和莱斯特·麦基。用斯坦因方法测量样品质量。《神经信息处理系统进展》，第226-234页，2015年。 [33] 杰克逊·戈勒姆和莱斯特·麦基。用内核测量样品质量。arXiv预印本arXiv:1703.017172017·Zbl 1439.60073号 [34] 德里克·格林（Derek Greene）、杰拉德·卡格尼（Gerard Cagney）、尼万·克罗根（Nevan Krogan）和普阿德莱格·坎宁安（P’adraig Cunningham）。聚类蛋白质相互作用的集成非负矩阵分解方法。生物信息学，2008年。 [35] 阿瑟·格雷顿（Arthur Gretton）、卡斯滕·博格沃德（Karsten M Borgwardt）、马尔特·拉什（Malte Rasch）、伯恩哈德·施奥尔科普夫（Bernhard Sch¨olkopf）和亚历克斯·J·斯莫拉。两样本问题的核方法。神经信息处理系统进展，第513-520页，2006年。 [36] Nathan Halko、Per-Gunnar Martinsson和Joel A Tropp。寻找具有随机性的结构：用于构造近似矩阵分解的概率算法。SIAM综述，53（2）：217-2882011年·Zbl 1269.65043号 [37] 杰斯珀·勒夫·辛里奇和莫滕·莫鲁普。概率稀疏非负矩阵分解。在潜在变量分析和信号分离国际会议上，第488-498页。施普林格，2018年。 [38] 马修·D·霍夫曼和大卫·M·布莱。结构化随机变分推理。《人工智能与统计》，2015年·Zbl 1317.68163号 [39] 谢卓绝和英迪尔吉特·S·迪伦。非负矩阵分解的快速坐标下降法及变量选择。第17届ACM SIGKDD知识发现和数据挖掘国际会议论文集，1064-1072页。ACM，2011年。 [40] 奥利弗·杰索斯基（Oliver Jesorsky）、克劳斯·基什伯格（Klaus J Kirchberg）和罗伯特·弗里施霍尔茨（Robert W Frischolz）。使用hausdorff距离进行鲁棒人脸检测。在基于音频和视频的生物特征身份验证国际会议上，第90-95页。斯普林格，2001年·Zbl 0987.68966号 [41] Daniel D Lee和H Sebastian Seung。非负矩阵分解算法。《神经信息处理系统进展》，第556-562页，2001年。 [42] 低频。Lfw人脸数据库：Main。http://vis-www.cs.umass.edu/lfw/2017年5月。（2018年1月23日访问）。 [43] 李元志和梁英玉。强相关非负矩阵分解的可证明交替梯度下降。arXiv预印本arXiv:1706.040972017。 [44] 林志仁。非负矩阵分解的投影梯度法。神经计算，19（10）：2756-27792007·Zbl 1173.90583号 [45] 刘强和冯一浩。野生变异推断的两种方法。arXiv预印本arXiv:1612.000812016。 [46] 刘强和李杰森。黑盒重要性抽样。arXiv预打印arXiv:1610.052472016。 [47] 刘强和王帝林。Stein变分梯度下降：一种通用贝叶斯推理算法。《神经信息处理系统进展》，第2370-2378页，2016年。 [48] 刘强（Qiang Liu）、李杰森（Jason Lee）和迈克尔·乔丹（Michael Jordan）。优质测试的核心Stein差异。2016年国际机器学习会议，第276-284页。 [49] Dougal Maclaurin、David Duvenaud和Ryan P Adams。Autograd：本地python的反向模式区分。InICML自动化机器学习研讨会，2015年。 [50] Arjumand Masood、Weiwei Pan和Finale Doshi-Velez。抽样质量指标的实证比较：贝叶斯非负矩阵分解的案例研究。arXiv预印arXiv:1606.06252016。 [51] 萨·德·穆萨维、大卫·布里、阿里·穆罕默德·贾法里和塞德里克·卡特雷特。使用贝叶斯方法和MCMC采样分离非负源的非负混合。信号处理，IEEE汇刊，54（11）：4133-41452006·Zbl 1374.94725号 [52] Radford M Neal等人，使用哈密顿动力学的MCMC。《马尔可夫链蒙特卡罗手册》，2011年2月13日-162日·Zbl 1229.65018号 [53] 罗伯特·普莱蒙斯·尼古拉·吉利斯。1987年哈勃望远镜高光谱图像数据。统一资源定位地址https://sites.google.com/site/nicolasgillis/code。 [54] 克里斯·奥茨（Chris J Oates）、马克·吉洛米（Mark Girolma）和尼古拉斯·肖邦（Nicolas Chopin）。蒙特卡洛积分的控制泛函。英国皇家统计学会期刊：B系列（统计方法论），79（3）：695-7182017·兹比尔1411.62088 [55] Chris Olah、Arvind Satyanarayan、Ian Johnson、Shan Carter、Ludwig Schubert、Katherine Ye和Alexander Mordvintsev。可解释性的构建块。蒸馏，2018年。doi:10.23915/蒸馏.00010。https://district.pub/2018/building-blocks（https://direct.pub/2018/构建块）。 [56] Pentti Paatero和Unto Tapper。正矩阵分解：一种非负因子模型，可优化利用数据值的误差估计。环境计量学，5（2）：111-1261994。 [57] 约翰·佩斯利、大卫·M·布莱和迈克尔·乔丹。具有随机变分推理的贝叶斯非负矩阵分解。混合成员模型及其应用手册。查普曼和霍尔/CRC，2015年。 [58] 约翰·威廉·佩斯利、大卫·M·布莱和迈克尔·乔丹。基于随机变分推理的贝叶斯非负矩阵分解。，2014 [59] 潘嘉麟和杨强。关于迁移学习的调查。IEEE知识与数据工程汇刊，22（10）：1345-13592010。 [60] 潘伟伟（Weiwei Pan）和芬兰蒂·多西·维莱兹（Finale Doshi-Velez）。非负矩阵分解的非唯一性特征。arXiv预印本arXiv:1604.006532016。 [61] Sam Patterson和Yee Whye Teh。概率单纯形上的随机梯度黎曼-朗之万动力学。神经信息处理系统进展，第3102-3110页，2013年。 [62] Fabian Pedregosa、Ga¨el Varoqueux、Alexandre Gramfort、Vincent Michel、Bertrand Thirion、Olivier Grisel、Mathieu Blondel、Peter Prettenhofer、Ron Weiss、Vincent-Dubourg等人。Scikit-learn：机器学习蟒蛇。机器学习研究杂志，12（10月）：2825-28302011·Zbl 1280.68189号 [63] 濮云晨、江哲、李嘉图、李春元、韩绍波和劳伦斯·卡林。斯坦因变分自动编码器arXiv预印本arXiv:1704.051552017。 [64] Rajesh Ranganath、Dustin Tran、Jaan Altosaar和David Blei。算子变分推理。《神经信息处理系统进展》，第496-504页，2016年。 [65] 玛格丽特·罗伯茨（Margaret E Roberts）、布兰登·M·斯图尔特（Brandon M Stewart）和达斯汀·汀利（Dustin Tingley）。导航大数据的本地模式。计算社会科学，第51页，2016年。 [66] Veronika Roáckov´a和Edward I George。通过自动旋转到稀疏性的快速贝叶斯因子分析。美国统计协会杂志，111（516）：1608-16222016。 [67] Ruslan Salakhutdinov、Sam Roweis和Zoubin Ghahramani。关于边界优化算法的收敛性。《第十九届人工智能不确定性会议论文集》，第509-516页。摩根·考夫曼出版社，2002年。 [68] 萨利纳斯A。多规格-主页。https://engineering.purdue.edu/biehl/MultiSpec/，2015年6月。（2018年1月23日访问）。 [69] 费迪南多·S·萨马利亚（Ferdinando S.Samaria），《人脸数据库》（olivetti），1994年。统一资源定位地址http://www.cl.cam。ac.uk/research/dtg/attarchive/facedatabase.html。 [70] Mikkel N Schmidt和Shakir Mohamed。使用马尔可夫链蒙特卡罗的概率非负张量因子分解。2009年第17届欧洲信号处理会议，1918-1922页。IEEE，2009年。 [71] Mikkel N Schmidt和Morten Mörup。贝叶斯NMF的可逆跳跃MCMC。程序中。NIPS现代应用蒙特卡罗方法研讨会，2010年·Zbl 1414.62095号 [72] Mikkel N Schmidt、Ole Winther和Lars Kai Hansen。贝叶斯非负矩阵分解。独立分量分析和信号分离，第540-547页。施普林格，2009年。 [73] 帕丽斯·斯马拉格迪斯和朱迪思·布朗。复调音乐转录的非负矩阵分解。《信号处理在音频和声学中的应用》，2003年IEEE研讨会，第177-180页。IEEE，2003年。 [74] 克里斯蒂安·斯密奇塞斯库（Cristian Sminchisescu）、马克斯·威林（Max Welling）和G欣顿（G Hinton）。广义飞镖蒙特卡洛。在AISTATS中，第516-523页。Citeser，2007年·兹比尔1218.68177 [75] Vincent YF Tan和C´edric F´evotte。非负矩阵分解中的自动相关性确定。InSPARS’09——采用自适应稀疏结构表示的信号处理，2009年。 [76] 每˚Ake Wedin。与奇异值分解相关的扰动界。BIT数值数学，12（1）：99-1111972·Zbl 0239.15015号 [77] Stefan Wild、James Curry和Anne Dougherty。通过结构化初始化改进非负矩阵分解。模式识别，37（11）：2217-22222004。 [78] 薛云（Yun Xue）、佟崇诗（Chong Sze Tong）、陈颖（Ying Chen）和陈文胜（Wen Sheng Chen）。非负矩阵分解的基于聚类的初始化。《应用数学与计算》，205（2）：525-5362008·兹比尔1152.68506 [79] 朱飞云、王颖、向世明、范斌和潘春红。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。