×
秦祥菊;保罗·布隆施泰特;埃梅利·勒帕霍;佩卡帕维亚宁;塞缪尔·卡斯基

通信受限的分布式贝叶斯矩阵分解。 （英语） Zbl 1493.68315号

机器。学习。 108，第10号，1805-1830（2019）.
摘要：贝叶斯矩阵分解（BMF）是一个强大的工具，用于生成矩阵的低秩表示、预测缺失值和提供置信区间。放大大规模矩阵的后验推理具有挑战性，需要将数据和计算同时分配给许多工作人员，这使得通信成为主要的计算瓶颈。令人尴尬的并行推理将通过在不同数据子集上使用完全独立的计算来消除所需的通信，但它受到BMF解决方案固有的不可识别性的影响。我们引入了联合后验分布的层次分解，它耦合了子集推断，允许在最多三个阶段的序列中进行令人尴尬的并行计算。通过使用有效的近似实现，我们在实际和模拟数据上都显示了经验上的改进。我们的分布式方法能够在全后验的基础上实现几乎一个数量级的加速，而对预测准确性的影响可以忽略不计。我们的方法在准确性上优于最先进的并行MCMC方法，并且取得了与其他可用的分布式和并行BMF实现相竞争的结果。

MSC公司：

68T05型 人工智能中的学习和自适应系统
15A23型 矩阵的因式分解
2015年1月62日 贝叶斯推断
62小时25分 因子分析和主成分；对应分析

关键词：

贝叶斯矩阵分解;令人尴尬的平行MCMC;分布式推理;后向传播

软件：

ChEMBL公司;电影镜头
PDF格式BibTeX公司 XML格式引用
\textit{X.Qin}等人，马赫。学习。108，第10号，1805-1830（2019；Zbl 1493.68315）
全文： 内政部 arXiv公司

参考文献：

[1] Adams，R.、Dahl，G.和Murray，I.（2010年）。在高斯过程概率矩阵分解中引入边信息。第26届人工智能不确定性年会论文集（第1-9页）。AUAI出版社。
[2] Ahn，S.、Koratikara，A.、Liu，N.、Rajan，S.和Welling，M.（2015）。使用随机梯度MCMC的大规模分布式贝叶斯矩阵分解。第21届ACM SIGKDD知识发现和数据挖掘国际会议论文集（第9-18页）。https://doi.org/10.1145/2783258.2783373。
[3] Angelino，E.、Johnson，M.J.和Adams，R.P.（2016）。可扩展贝叶斯推理模式。机器学习的基础和趋势，9（2-3），119-247。https://doi.org/10.1561/220000052。 ·Zbl 1364.68318号 ·doi:10.1561/2200000052
[4] Bento，A.、Gaulton，A.、Hersey，A.、Bellis，L.、Chambers，J.、Davies，M.等人（2014）。ChEMBL生物活性数据库：更新。核酸研究，42（D1），D1083-D1090·数字对象标识代码：10.1093/nar/gkt1031
[5] Bhattacharya，A.和Dunson，D.B.（2011年）。稀疏贝叶斯无限因子模型。《生物特征》，98（2），291-306。https://doi.org/10.1093/biomet/asr013。 ·Zbl 1215.62025号 ·doi:10.1093/biomet/asr013
[6] Cobanoglu，M.C.、Liu，C.、Hu，F.、Oltvai，Z.N.和Bahar，I.（2013）。使用概率矩阵分解预测药物-靶点相互作用。《化学信息与建模杂志》，53（12），3399-3409。https://doi.org/10.1021/ci400219z。 ·doi:10.1021/ci400219z
[7] Comiter，M.、Cha，M.，Kung，H.T.和Teerapittayanon，S.（2016年）。Lambda意味着集群：自动参数搜索和分布式计算实现。2016年，第23届模式识别国际会议（ICPR）（第2331-2337页）。https://doi.org/10.109/ICPR.2016.7899984。
[8] Harper，F.M.和Konstan，J.A.（2015）。MovieLens数据集：历史和背景。ACM交互式智能系统汇刊，5（4），19:1-19:18。
[9] Hernández-Lobato，J.M.、Houlsby，N.和Ghahramani，Z.（2014）。非随机缺失数据的概率矩阵分解。第31届机器学习国际会议论文集（第32卷，第II-1512-II-1520页）。
[10] Koren，Y.、Bell，R.和Volinsky，C.（2009年）。推荐系统的矩阵分解技术。计算机，42（8），30-37。https://doi.org/10.109/MC.2009.263。 ·doi:10.1109/MC.2009.263
[11] Lian，X.，Huang，Y.，Li，Y.&Liu，J.（2015）非凸优化的异步并行随机梯度。第28届神经信息处理系统国际会议论文集（第2卷，第2737-2745页）。
[12] Lopes，H.F.和West，M.（2004）。因子分析中的贝叶斯模型评估。中国统计，14（1），41-67·Zbl 1035.62060号
[13] Minsker，S.、Srivastava，S.，Lin，L.和Dunson，D.（2014）。通过子集后验中位数的稳健和可扩展贝叶斯。arXiv:1403.2660·Zbl 1442.62056号
[14] Murphy，K.P.（2007年）。高斯分布的共轭贝叶斯分析。技术报告，谷歌
[15] Neiswanger，W.、Wang，C.和Xing，E.（2014）。渐进精确，令人尴尬的平行MCMC。《第30届人工智能不确定性会议论文集》（第623-632页）。AUAI出版社
[16] Nemeth，C.和Sherlock，C.（2017年）。通过高斯过程近似合并MCMC后验差。贝叶斯分析。https://doi.org/10.1214/17-BA1063（提前出版）·Zbl 1407.62081号
[17] Park，S.、Kim，Y.D.和Choi，S.（2013）。带有边信息的层次贝叶斯矩阵分解。第23届国际人工智能联合会议记录（第1593-1599页）。AAAI出版社。
[18] Porteous，I.、Asuncion，A.和Welling，M.（2010年）。带有边信息和Dirichlet过程混合的贝叶斯矩阵分解。第24届AAAI人工智能会议记录（第563-568页）。AAAI出版社。
[19] Salakhutdinov，R.和Mnih，A.（2008a）。基于马尔可夫链蒙特卡罗的贝叶斯概率矩阵分解。第25届机器学习国际会议论文集（第880-887页）。ACM公司。https://doi.org/10.1145/1390156.1390267。
[20] Salakhutdinov，R.和Mnih，A.（2008b）。概率矩阵分解。神经信息处理系统进展20。麻省理工学院出版社。
[21] Scott，S.L.、Blocker，A.W.、Bonassi，F.V.、Chipman，H.A.、George，E.I.和McCulloch，R.E.（2016）。贝叶斯和大数据：共识蒙特卡罗算法。国际管理科学与工程管理杂志，11（2），78-88。https://doi.org/10.1080/17509653.2016.1142191。 ·doi:10.1080/1759653.2016.1142191
[22] Simm，J.、Arany，A.、Zakeri，P.、Haber，T.、Wegner，J.K.、Chupakhin，V.等人（2015）。澳门：使用MCMC的带有副信息的可伸缩贝叶斯多关系因子分解。arXiv:1509.04610。
[23] ⑩imšekli，U.、Durmus，A.、Badeau，R.、Richard，G.、Moulines，E..和Cemgil，A.T.（2017）。非负矩阵分解的并行随机梯度马尔可夫链蒙特卡罗算法。IEEE声学、语音和信号处理国际会议（第2242-2246页）。ICASSP 2017。
[24] ⑩imšekli，U.、Koptagel，H.、Güldaš，H.，Cemgil，A.T.、Øztoprak，F.和Birbil，š。I.（2015）矩阵分解模型的并行随机梯度MCMC。arXiv公司：1506.01418
[25] Srivastava，S.、Li，C.和Dunson，D.（2015）。基于Wasserstein空间重心的可伸缩贝叶斯算法。arXiv:1508.05880·兹比尔1444.62037
[26] Teh，Y.W.（2007）。指数族：高斯、高斯-伽马、高斯-威沙特。《多项式》，技术报告，伦敦大学学院。
[27] Vander Aa，T.、Chakroun，I.和Haber，T.（2016）。分布式贝叶斯概率矩阵分解。2016年IEEE集群计算国际会议（第346-349页）。IEEE计算机学会
[28] Vander Aa，T.、Chakroun，I.和Haber，T.（2017年）。分布式贝叶斯概率矩阵分解。《Procedia Computer Science》，第108期，第1030-1039页·doi:10.1016/j.procs.2017.5.009
[29] Vehtari，A.、Gelman，A.、Sivula，T.、Jylänki，P.、Tran，D.、Sahai，S.等人（2018年）。期望传播作为一种生活方式：对分区数据进行贝叶斯推断的框架。arXiv:1412.4869·Zbl 1498.68287号
[30] Wang，X.，Dunson，D.（2013）。通过Weierstrass采样器并联MCMC。arXiv:1312.4605。
[31] Wang，X.，Guo，F.，Heller，K.A.，Dunson，D.B.（2015）。用随机分区树并行MCMC。《神经信息处理系统进展》28（第451-459页）。Curran Associates公司。
[32] Wang，X.，Peng，P.，Dunson，D.B.（2014）。用于并行推理的中值选择子集聚合。《神经信息处理系统进展》27（第2195-2203页）。柯兰联合公司。
[33] Xu，M.、Lakshminarayanan，B.、Teh，Y.W.、Zhu，J.和Zhang，B.（2014）。通过力矩共享的分布式贝叶斯后验抽样。收录于Ghahramani，Z.，Welling，M.，Cortes，C.，Lawrence，N.D.，Weinberger，K.Q.（编辑），《神经信息处理系统进展》27（第3356-3364页）。Curran Associates公司。。http://papers.nips.cc/paper/5596-distributed-bayesian-baterior-sampling-via-moment-sharing.pdf。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。