×
文森特·科特特；皮埃尔·阿尔基尔

1位矩阵完成：变分近似的PAC贝叶斯分析。 （英语） Zbl 1461.15032号

机器。学习。 107，第3期，579-603（2018）.
小结：我们关注的是具有二进制项的低秩矩阵（可能）的完备性，即所谓的1位矩阵完备性问题。我们的方法依赖于机器学习理论的工具：经验风险最小化及其凸松弛。我们提出了一种计算伪后验函数变分近似的算法。由于凸松弛，相应的最小化问题是双凸的，因此该方法在实际中效果良好。我们通过PAC贝叶斯学习界研究了这种变分近似的性能。与以往研究不同的是，在不同的矩阵范数下，我们能够从分析中得出我们算法的预测误差的PAC界。我们主要关注通过铰链损失的凸松弛，为此我们对MovieLens数据集进行了完整的分析、完整的模拟研究和测试。我们还讨论了处理logistic的变分近似损失。

引用于11文件

MSC公司：

15A83号 矩阵完成问题
65层55 低阶矩阵逼近的数值方法；矩阵压缩
62H30型 分类和区分；聚类分析（统计方面）
68T20型 人工智能背景下的问题解决（启发式、搜索策略等）

关键词：

矩阵完成；PAC-贝叶斯边界；变分贝叶斯；监督分类；风险转化；oracle不等式

软件：

PRMLT公司；softImpute软件；水母
PDF格式BibTeX公司 XML格式引用
\textit{V.Cottet}和\textit{P.Alquier}，马赫。学习。107，第3号，579--603（2018；Zbl 1461.15032）
全文： DOI程序 arXiv公司

参考文献：

[1] Alquier，P.、Cottet，V.和Lecué，G.（2017年）。具有Lipschitz损失函数的正则化过程的估计界和尖锐预言不等式。arXiv预打印arXiv:1702.01402。
[2] Alquier，P.、Ridgway，J.和Chopin，N.（2015年6月）。关于Gibbs后验函数的变分逼近的性质。arXiv电子打印·Zbl 1437.62129号
[3] Bishop，C.M.（2006年）。模式识别和机器学习（信息科学和统计）纽约：Springer·Zbl 1107.68072号
[4] Boucheron，S.、Lugosi，G.和Massart，P.（2013）。集中不等式：一个非共鸣的独立理论牛津大学：牛津大学出版社·Zbl 1279.60005号 ·doi:10.1093/acprof:oso/9780199535255.001.0001
[5] 博伊德，S；帕里赫，N；楚，E；佩莱托，B；Eckstein，J，《通过交替方向乘数法进行分布式优化和统计学习》，机器学习的基础和趋势，3，1-122，（2011）·Zbl 1229.90122号 ·doi:10.1561/220000016
[6] 蔡，T；周，W-X，1位矩阵补全的最大范数约束最小化方法，机器学习研究杂志，14，3619-3647，（2013）·Zbl 1318.62172号
[7] 坎迪斯，EJ；Plan，Y，Matrix completion with noise，IEEE会议记录，98925-936，（2010）·doi:10.10109/JPROC.2009.2035722
[8] 坎迪斯，EJ；Recht，B，通过凸优化实现精确矩阵补全，ACM通信，55，111-119，（2012）·Zbl 1219.90124号 ·数字对象标识代码：10.1145/2184319.2184343
[9] 坎迪斯，EJ；Tao，T，凸松弛的力量：近最优矩阵完成，IEEE信息理论汇刊，562053-2080，（2010）·Zbl 1366.15021号 ·doi:10.1109/TIT.2010.2044061
[10] Catoni，O；Picard，J（编辑），《统计学习理论与随机优化》，（2004），柏林·Zbl 1076.93002号
[11] Catoni，O.（2007）。PAC-Baysian监督分类：统计学习的热力学（第56卷）。，数理统计研究所讲座笔记——专著系列，俄亥俄州比奇伍德：数理统计学会·Zbl 1277.62015年
[12] Chatterjee，S，通用奇异值阈值矩阵估计，统计年鉴，43，177-214，（2015）·Zbl 1308.62038号 ·doi:10.1214/14-AOS1272
[13] 达拉扬，A；Tsybakov，AB，《指数加权聚合，PAC-Bayesian边界和稀疏性》，机器学习，72，39-61，（2008）·Zbl 1470.62054号 ·doi:10.1007/s10994-008-5051-0
[14] 马萨诸塞州达文波特；平面图，Y；Berg，E；Wootters，M，1位矩阵补全，信息与推断，3189-223，（2014）·Zbl 1309.62124号 ·doi:10.1093/imaiai/iau006
[15] 赫布里奇，R；Graepel，T，线性分类器的PAC-Baysian边界，IEEE信息理论汇刊，483140-3150，（2002）·兹比尔1063.62092 ·doi:10.1109/TIT.2002.805090
[16] Herbster，M.、Pasteris，S.和Pontil，M.（2016）。二进制矩阵补全的错误边界。在D.D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon、R.Garnett和R.Garett（编辑）中，第29届神经信息处理系统会议记录（NIPS 2016）西班牙巴塞罗那：NIPS诉讼。
[17] Xieh，C.-J.、Natarajan，N.和Dhillon，I.S.（2015）。PU学习完成矩阵。在第32届机器学习国际会议论文集第2445-2453页·Zbl 1317.62050号
[18] Jaakkola，TS；Jordan，MI，通过变分方法进行贝叶斯参数估计，统计学和计算，10，25-37，（2000）·doi:10.1023/A:1008932416310
[19] 克洛普，O；Lafond，J；Moulines，埃及；Salmon，J，自适应多项式矩阵补全，《电子统计杂志》，92950-2975，（2015）·Zbl 1329.62304号 ·doi:10.1214/15-EJS1093
[20] Kyung，M；吉尔，J；Ghosh，M；Casella，G，惩罚回归，标准误差和贝叶斯套索，贝叶斯分析，5369-412，（2010）·Zbl 1330.62289号 ·doi:10.1214/10-BA607
[21] Latouche，P.、Robin，S.和Ouadah，S.（2015）。随机图逻辑模型的拟合优度。arXiv预打印arXiv:1508.00286·Zbl 1318.62172号
[22] Lim，Y.J.和Teh，Y.W.（2007）。电影分级预测的变分贝叶斯方法。在KDD杯和研讨会会议记录. ·Zbl 1329.62304号
[23] Mai，TT；Alquier，P，《噪声矩阵补全的贝叶斯方法：一般抽样分布下的最优率》，《电子统计杂志》，第9823-841页，（2015）·Zbl 1317.62050号 ·doi:10.1214/15-EJS1020
[24] Mammen，E；Tsybakov，A，平滑歧视分析，《统计年鉴》，271808-1829，（1999）·Zbl 0961.62058号 ·doi:10.1214/aos/1017939240
[25] Mazumder，R；哈斯蒂，T；Tibshirani，R，学习大型不完全矩阵的谱正则化算法，机器学习研究杂志，112287-2322，（2010）·Zbl 1242.68237号
[26] McAllester，D.A.（1998年）。一些PAC-Baysian定理。在第十一届计算学习理论年会论文集（第230-234页）。纽约，ACM·Zbl 1229.90122号
[27] 公园，T；Casella，G，贝叶斯套索，《美国统计协会杂志》，103，681-686，（2008）·Zbl 1330.62292号 ·doi:10.1198/016214500000037
[28] Recht，B；Ré，C，大规模矩阵补全的并行随机梯度算法，数学规划计算，5201-226，（2013）·Zbl 1275.90039号 ·doi:10.1007/s12532-013-0053-8
[29] Salakhutdinov，R.&Mnih，A.（2008）。基于马尔可夫链蒙特卡罗的贝叶斯概率矩阵分解。在第25届机器学习国际会议论文集第880-887页·Zbl 1308.62038号
[30] 塞尔丁，Y；Tishby，N，PAC共同聚类及其后的贝叶斯分析，机器学习研究杂志，11，3595-3646，（2010）·Zbl 1242.62060号
[31] 塞尔丁，Y；拉维奥莱特，F；塞萨·比安奇，N；肖·泰勒，J；Auer，P，PAC-Baysian鞅不等式，IEEE信息理论汇刊，587086-7093，（2012）·Zbl 1364.60030号 ·doi:10.1109/TIT.2012.2211334
[32] 肖·泰勒，J；Langford，J，PAC-Bayes and margins，《神经信息处理系统的进展》，第15期，第439页，（2003年）
[33] Srebro，N.、Rennie，J.和Jaakkola，T.S.（2004）。最大边际矩阵分解。在神经信息处理系统研究进展第1329-1336页。
[34] Vapnik，V.（1998）。统计学习理论纽约：Wiley·Zbl 0935.62007号
[35] 张，T，基于凸风险最小化的分类方法的统计行为和一致性，《统计年鉴》，32，56-85，（2004）·Zbl 1105.62323号 ·doi:10.1214/aos/1079120130
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。