×

噪声矩阵补全的贝叶斯方法:一般抽样分布下的最优速率。 (英语) Zbl 1317.62050号

摘要:贝叶斯方法用于低秩带噪声矩阵补全已被证明是非常有效的计算方法。虽然在这个问题上,从理论和计算的角度都很好地理解了惩罚最小化方法的行为,但贝叶斯估计量的理论最优性尚未得到探索。本文提出了一般抽样分布下矩阵完备的贝叶斯估计。我们还为这个估计量提供了一个预言不等式。这个不等式证明,无论待估计矩阵的秩如何,我们的估计量都达到了最小-最优收敛速度(达到对数因子)。我们以简短的模拟研究结束本文。

理学硕士:

62甲12 多元分析中的估计
62J12型 广义线性模型(逻辑模型)
60对20 随机矩阵(概率方面)
15B52号 随机矩阵(代数方面)
68T05型 人工智能中的学习和自适应系统

软件:

tmv规范;水母
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Alquier,P.,低秩矩阵估计的贝叶斯方法:简短调查和理论研究。2013年算法学习理论,第309-323页。施普林格,2013年·Zbl 1411.62136号 ·doi:10.1007/978-3-642-40935-6_22
[2] Alquier,P.和Biau,G.,稀疏单指数模型。,机器学习研究杂志,14(1):243-2802013·Zbl 1320.62177号
[3] Alquier,P.、Cottet,V.、Chopin,N.和Rousseau,J.,《贝叶斯矩阵完成:预先规范》。,arXiv:1406.1440,2014年。
[4] Alquier,P.和Lounici,K.,指数权重稀疏回归估计的Pac-Bayesian界。,《电子统计杂志》,5:127-1452011·Zbl 1274.62463号 ·doi:10.1214/11-EJS601
[5] Bennett,J.和Lanning,S.,网飞奖。在,《KDD杯和研讨会会议记录》,2007年卷,第35页,2007年。
[6] Boucheron,S.、Lugosi,G.和Massart,P.,《集中不等式:独立性的非渐近理论》。牛津大学出版社,2013年·Zbl 1279.60005号
[7] Candès,E.J.和Plan,Y.,《带噪声的矩阵完成》。,IEEE会议录,98(6):925-9362010。
[8] Candès,E.J.和Recht,B.,通过凸优化实现精确矩阵补全。,已找到。计算。数学,9(6):717-772, 2009. ·Zbl 1219.90124号 ·doi:10.1007/s10208-009-9045-5
[9] Candès,E.J.和Tao,T.,凸松弛的威力:近优矩阵补全。,IEEE传输。通知。理论,56(5):2053-20802010·Zbl 1366.15021号 ·doi:10.1109/TIT.2010.2044061
[10] Catoni,O.,《自适应分类的PAC-Baysian方法》。预印实验室概率与模式PMA-8402003。
[11] Catoni,O.,《统计学习理论与随机优化》。2001年圣弗洛尔概率论暑期学校(Jean Picard主编),数学课堂讲稿。斯普林格,2004年·兹比尔1076.93002 ·doi:10.1007/b99352
[12] Catoni,O.,PAC贝叶斯监督分类:统计学习的热力学。数理统计研究所讲义专著系列,第56期。俄亥俄州比奇伍德数学统计研究所,2007年·Zbl 1277.62015年 ·doi:10.1214/0749217070000391
[13] Dallalyan,A.和Tsybakov,A.B.,《指数加权聚集、尖锐的pac-bayesian边界和稀疏性》。,机器学习,72(1-2):39-612008。
[14] Foygel,R.、Shamir,O.、Srebro,N.和Salakhutdinov,R.,在任意抽样分布下使用加权迹形进行学习。2011年,《神经信息处理系统进展》,第2133-2141页。
[15] Klopp,O.,一般抽样分布的噪声低秩矩阵补全。,伯努利,20(1):282-3032014·Zbl 1400.62115号 ·文件编号:10.3150/12-BEJ486
[16] Koltchinskii,V.、Lounici,K.和Tsybakov,A.B.,核形式惩罚和噪声低秩矩阵完成的最优速率。,《统计年鉴》,39(5):2302-23292011·Zbl 1231.62097号 ·doi:10.1214/11-AOS894
[17] 生成截断多元高斯随机变量的Kotecha,J.H.和Djuric,P.M.,Gibbs抽样方法。,《IEEE声学、语音和信号处理会议论文集》,3:11757-17601999。
[18] Lawrence,N.D.和Urtasun,R.,高斯过程的非线性矩阵分解。第26届国际机器学习年会论文集,第601-608页。ACM,2009年。
[19] Lim,Y.J.和Teh,Y.W.,电影分级预测的变异贝叶斯方法。2007年,《KDD杯和研讨会会议记录》,第7卷,第15-21页。
[20] 马萨特,P.,《浓度不等式和模型选择》,数学课堂讲稿第1896卷。施普林格,柏林,2007年。2003年7月6日至23日在圣弗洛尔举行的第33届概率论暑期学校讲座,Jean Picard编辑·兹比尔1411.62136
[21] McAllester,D.,一些PAC-Baysian定理。《第十一届计算学习理论年会论文集》,第230-234页,纽约,1998年。ACM公司·Zbl 0945.68157号 ·doi:10.1023/A:1007618624809
[22] Negahban,S.和Wainwright,M.J.,限制强凸性和加权矩阵完备:带噪声的最优界。,机器学习研究杂志,13(1):1665-16972012·Zbl 1436.62204号
[23] Recht,B.和Ré,C.,大规模矩阵补全的并行随机梯度算法。,数学规划计算,5(2):201-2262013·Zbl 1275.90039号 ·doi:10.1007/s12532-013-0053-8
[24] Salakhutdinov,R.和Mnih,A.,使用马尔可夫链蒙特卡罗的贝叶斯概率矩阵分解。《第25届机器学习国际会议论文集》,第880-887页。ACM,2008年。
[25] Shawe-Taylor,J.和Williamson,R.,贝叶斯估计的PAC分析。年,《第十届计算学习理论年会论文集》,第2-9页,纽约,1997年。ACM公司。
[26] Suzuki,T.,贝叶斯张量估计的收敛速度:无限制强凸性的最优速度。arXiv,电话:1408.3092。
[27] Wilhelm,S.,包“tmvtnorm”。
[28] Zhou,M.、Wang,C.、Chen,M.,Paisley,J.、Dunson,D.和Carin,L.,非参数贝叶斯矩阵补全。,程序。IEEE SAM,2010年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。