威廉·菲钦;拉胡尔·马祖姆德 具有缺失数据和副信息的灵活低阶统计建模。 （英语） Zbl 1397.62180号 统计科学。 33，第2期，238-260（2018）. 摘要：我们探索了一个用于矩阵值数据低阶建模的通用统计框架，该框架基于带广义核范数惩罚的凸优化。我们研究了几个相关的问题：由广义线性模型产生的具有柔性损失函数的低阶矩阵完备问题；降秩回归与多任务学习；以及以特征或平滑核的形式对行和列的边信息可用的两个问题进行了概括。我们表明，我们的方法包含了潜在因素贝叶斯分层建模产生的最大后验估计，并讨论了矩阵补全背景下丢失数据机制的分支。虽然上述问题可以自然地被提出为非凸且计算困难的秩约束优化问题，但我们展示了如何通过广义核范数正则化来放松它们，以获得凸优化问题。我们讨论了从现代凸优化方法中获得灵感的算法，以解决这些大规模凸优化计算任务。最后，我们说明了我们在功能数据重建和生态物种分布建模中出现的问题上的灵活方法。 引用于8文件 MSC公司： 62小时05 多元概率分布的表征与结构理论；连接线 62B10型 信息论主题的统计学方面 关键词：矩阵完成;核规范正则化;矩阵分解;凸优化;缺少数据 软件：softImpute软件;相位提升;皮格尔姆;低等级模型;PROPACK公司 PDF格式BibTeX公司 XML格式引用 \textit{W.Fithian}和\textit{R.Mazumder}，统计科学。33，第2号，238--260（2018；Zbl 1397.62180） 全文： 内政部 欧几里得 参考文献： [1] Abernethy，J.、Bach，F.、Evgeniou，T.和Vert，J.-P.（2009年）。一种新的协同滤波方法：具有谱正则化的算子估计。J.马赫。学习。第10号决议803–826·Zbl 1235.68122号 [2] Aggarwal，C.C.和Chen，B.C.（2009年）。基于回归的潜在因素模型。在第15届ACM SIGKDD知识发现和数据挖掘国际会议论文集19-28。纽约ACM。 [3] Agarwal，D.K.和Chen，B.-C.（2015）。推荐系统的统计方法。剑桥大学出版社，剑桥。 [4] Agarwal，D.、Zhang，L.和Mazumder，R.（2011）。为Yahoo！上的个性化推荐建模项目–项目相似性！首页。附录申请。统计数字5 1839–1875·Zbl 1231.62207号 ·doi:10.1214/11-AOAS475 [5] 安德森·T·W（1951）。估计多元正态分布回归系数的线性限制。安。数学。统计数据22 327–351·Zbl 0043.13902号 ·doi:10.1214/aoms/1177729580 [6] Angst，R.、Zach，C.和Pollefeys，M.（2011年）。广义迹型及其在结构-动力问题中的应用。2011年IEEE国际计算机视觉会议（ICCV）2502–2509。IEEE，加利福尼亚州洛斯阿拉米托斯。 [7] Attchadé，Y.F.、Mazumder，R.和Chen，J.（2015）。通过随机优化对正则化精度矩阵进行可缩放计算。预印本。可从arXiv:1509.00426获取。 [8] Audigier，V.、Husson，F.和Josse，J.（2016）。一种主成分法，用于插补混合数据的缺失值。高级数据分析。类别10 5–26·Zbl 1414.62206号 [9] Beck，A.和Teboulle，M.（2009年）。线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学2 183–202·Zbl 1175.94009号 ·doi:10.1137/080716542 [10] Bell，R.M.和Koren，Y.（2007年）。Netflix Prize Challenge的经验教训。ACM SIGKDD探索。新闻9 75–79。 [11] Bennett，J.和Lanning，S.（2007年）。网飞奖。KDD Cup和研讨会3-6会议记录。ACM纽约。 [12] Bertsekas，D.P.（1999）。非线性规划，第二版，雅典娜科学，马萨诸塞州贝尔蒙特·Zbl 1015.90077号 [13] Bertsimas，D.、Copenhaver，M.S.和Mazumder，R.（2017）。可证明的最优低秩因子分析。J.马赫。学习。Res.18第29号文件·Zbl 1437.62216号 [14] Bottou，L.和Bousquet，O.（2008）。大规模学习的权衡。《神经信息处理系统进展》20（J.C.Platt、D.Koller、Y.Singer和S.T.Roweis编辑）161-168。麻省理工学院出版社，马萨诸塞州剑桥。 [15] Boyd，S.和Vandenberghe，L.（2004）。凸优化。剑桥大学出版社，剑桥·兹比尔1058.90049 [16] Boyd，S.、Parikh，N.、Chu，E.、Peleato，B.和Eckstein，J.（2011）。通过交替方向乘数法进行分布式优化和统计学习。已找到。趋势马赫。学习。3 1–122·兹比尔1229.90122 ·doi:10.1561/220000016 [17] Burer，S.和Monteiro，R.D.C.（2005年）。低秩半定规划的局部极小与收敛性。数学。项目103 427–444·Zbl 1099.90040号 ·doi:10.1007/s10107-004-0564-1 [18] Cai，T.和Zhou，W.-X.（2013）。1位矩阵补全的最大形式约束最小化方法。J.马赫。学习。第14号决议3619–3647·Zbl 1318.62172号 [19] Candes，E.和Plan，Y.（2010年）。带噪声的矩阵完成。程序。IEEE98 925–936。 [20] Candès，E.J.和Recht，B.（2009年）。通过凸优化实现精确矩阵补全。已找到。计算。数学9 717–772·Zbl 1219.90124号 ·doi:10.1007/s10208-009-9045-5 [21] Candès，E.J.和Tao，T.（2010年）。凸松弛的威力：近最优矩阵补全。IEEE传输。通知。理论56 2053–2080·Zbl 1366.15021号 ·doi:10.1109/TIT.2010.2044061 [22] Candès，E.J.、Li，X.、Ma，Y.和Wright，J.（2011）。稳健的主成分分析？J.ACM58艺术ID 11·Zbl 1327.62369号 [23] Candès，E.J.、Eldar，Y.C.、Strohmer，T.和Voroninski，V.（2015）。通过矩阵补全进行相位恢复[重印MR3032952]。SIAM版次57 225–251·Zbl 1344.49057号 [24] Carpentier，A.、Klopp，O.、Löffler，M.和Nickl，R.（2016）。矩阵补全的自适应置信集。预打印。可从arXiv:1608.04861获取。 [25] Chen，Y.和Wainwright，M.J.（2015）。通过投影梯度下降进行快速低阶估计：一般统计和算法保证。预印本。可在arXiv:1509.03025上获得。 [26] Cottet，V.和Alquier，P.（2018年）。1位矩阵补全：变分近似的PAC-Baysian分析。机器。学习107 579–603·Zbl 1461.15032号 [27] Davenport，M.A.，Plan，Y.，van den Berg，E.和Wootters，M.（2014）。1位矩阵完成。信息推断189–223·Zbl 1309.62124号 ·doi:10.1093/imaiai/iau006 [28] de Leeuw，J.和van der Heijden，P.G.M.（1988）。不完整列联表的对应分析。心理测量53 223-233·Zbl 0718.62116号 ·doi:10.1007/BF02294134 [29] Devolder，O.、Glineur，F.和Nesterov，Y.（2014）。具有不精确预言的光滑凸优化的一阶方法。数学。计划146 37–75·Zbl 1317.90196号 ·doi:10.1007/s10107-013-0677-5 [30] Fithian，W.和Mazumder，R.（2013）。灵活低秩矩阵建模的可缩放凸方法。预印本。可在arXiv:1308.4211获得。 [31] Fithian，W.、Elith，J.、Hastie，T.和Keith，D.A.（2015）。物种分布模型中的偏差校正：多物种的集合调查和收集数据。方法经济学。演变6 424–438。 [32] Foygel，R.和Srebro，N.（2011年）。低秩矩阵重建的基于集中的保证。在COLT 315–340中。 [33] Frank，M.和Wolfe，P.（1956年）。二次规划的一种算法。导航。Res.Logist公司。问题3 95–110。 [34] Freund，R.M.、Grigas，P.和Mazumder，R.（2017）。具有“面内”方向的扩展Frank–Wolfe方法及其在低秩矩阵补全中的应用。SIAM J.Optim.27 319–346·Zbl 1357.90115号 ·数字对象标识码：10.1137/15M104726X [35] Gerrish，S.和Blei，D.M.（2011年）。从文本中预测立法点名。第28届国际机器学习会议（ICML-11）论文集489-496。 [36] Golub，G.H.和Van Loan，C.F.（1983年）。矩阵计算。约翰·霍普金斯数学科学系列3。约翰斯·霍普金斯大学出版社，马里兰州巴尔的摩·Zbl 0559.65011号 [37] Hastie，T.、Buja，A.和Tibshirani，R.（1995）。惩罚判别分析。统计年鉴23 73–102·Zbl 0821.62031号 ·doi:10.1214/aos/1176324456 [38] Hastie，T.、Tibshirani，R.和Wainwright，M.（2015）。稀疏的统计学习：套索和泛化。统计学和应用概率专著143。佛罗里达州博卡拉顿CRC出版社·Zbl 1319.68003号 [39] Hastie，T.、Mazumder，R.、Lee，J.D.和Zadeh，R.（2015）。通过快速交替最小二乘法实现矩阵补全和低秩奇异值分解。J.马赫。学习。第16号决议3367–3402·Zbl 1352.65117号 [40] Huber，P.J.（2011）。稳健统计。纽约州施普林格。 [41] Jaggi，M.和Sulovsk，M.（2010年）。核范数正则化问题的一个简单算法。第27届国际机器学习会议（ICML-10）会议记录471-478。 [42] Jain，P.、Netrapalli，P.和Sanghavi，S.（2013）。使用交替最小化完成低秩矩阵（扩展抽象）。STOC'13-2013年ACM计算理论研讨会论文集665-674。纽约ACM·Zbl 1293.65073号 [43] Josse，J.和Husson，F.（2012年）。处理探索性多元数据分析方法中的缺失值。J.SFdS153 79–99·Zbl 1316.62006年 [44] Josse，J.、Wager，S.和Husson，F.（2016）。固定效应PCA的置信区间。J.计算。图表。统计25 28–48·doi:10.1080/10618600.2014.950871 [45] Journée，M.、Bach，F.、Absil，P.-A和Sepulchre，R.（2010年）。半正定矩阵锥的低秩优化。SIAM J.Optim.20 2327–2351·Zbl 1215.65108号 ·doi:10.1137/080731359 [46] Keshavan，R.H.、Montanari，A.和Oh，S.（2010年）。从几个条目完成矩阵。IEEE传输。通知。理论56 2980–2998·兹比尔1366.62111 ·doi:10.10109/TIT.2010.2046205 [47] Klopp，O.，Lafond，J.，Moulines，E。和Salmon，J.（2015）。自适应多项式矩阵补全。电子。J.统计数据.9950–2975·Zbl 1329.62304号 ·doi:10.1214/15-EJS1093 [48] Koren，Y.（2010）。具有时间动态的协同过滤。Commun公司。ACM53 89–97。 [49] Koren，Y.、Bell，R.和Volinsky，C.（2009年）。推荐系统的矩阵分解技术。计算机42 30–37。 [50] Lafond，J.（2015）。指数族噪声下的低秩矩阵补全。预印。可从arXiv:1502.06919获取。 [51] Larsen，R.M.（2004）。PROPACK—用于大型和稀疏SVD计算的软件。可在http://sun.stanford.edu/rmunk/PROPACK（防缩）。 [52] Lee，J.、Recht，B.、Srebro，N.、Tropp，J.和Salakhutdinov，R.（2010年）。用于最大形式正则化的实用大规模优化。神经信息处理系统进展1297-1305。 [53] Lesieur，T.、Krzakala，F.和Zdeborová，L.（2015）。概率低秩矩阵估计的MMSE：关于输出信道的普遍性。2015年第53届Allerton通信、控制和计算年会（Allerton）680-687。IEEE，加利福尼亚州洛斯阿拉米托斯。 [54] Mardia，K.V.、Kent，J.T.和Bibby，J.M.（1979年）。多元分析。伦敦学术出版社·Zbl 0432.62029号 [55] Martin，A.D.和Quinn，K.M.（2002年）。1953年至1999年，美国最高法院通过马尔可夫链蒙特卡罗进行的动态理想点估计。政治分析10 134–153。 [56] Mazumder，R.、Hastie，T.和Tibshirani，R.（2010）。用于学习大型不完备矩阵的谱正则化算法。J.马赫。学习。第112287–2322号决议·Zbl 1242.68237号 [57] Mazumder，R.、Radchenko，P.和Dedieu，A.（2017）。带收缩的子集选择：信噪比低时的稀疏线性建模。预打印。可从arXiv:1708.03288获取。 [58] Menon，A.K.和Elkan，C.（2010年）。具有潜在特征的二进预测对数线性模型。2010年IEEE第十届数据挖掘国际会议（ICDM）364-373。IEEE，加利福尼亚州洛斯阿拉米托斯。 [59] Negahban，S.和Wainwright，M.J.（2012年）。限制强凸性和加权矩阵完备：带噪声的最优界。J.马赫。学习。1665-1697年第13号决议·Zbl 1436.62204号 [60] Nesterov，Y.（2004）。凸优化入门讲座：基础课程。应用优化87。Kluwer Academic，马萨诸塞州波士顿·Zbl 1086.90045号 [61] 于内斯特罗夫。(2005). 非光滑函数的平滑最小化。数学。计划103 127–152·Zbl 1079.90102号 ·doi:10.1007/s10107-004-0552-5 [62] Parker，J.T.、Schniter，P.和Cevher，V.（2014a）。双线性广义近似消息传递——第一部分：推导。IEEE传输。信号处理62 5839–5853·Zbl 1394.94447号 [63] Parker，J.T.、Schniter，P.和Cevher，V.（2014b）。双线性广义近似消息传递——第二部分：应用。IEEE传输。信号处理62 5854–5867·Zbl 1394.94448号 ·doi:10.1109/TSP.2014.2357773 [64] Reinsel，G.C.和Velu，R.P.（1998年）。多元降秩回归：理论与应用。统计学课堂讲稿136。纽约州施普林格·Zbl 0909.62066号 [65] Rennie，J.和Srebro，N.（2005年）。用于协作预测的快速最大裕度矩阵分解。在ICML中。 [66] Roweis，S.（1998）。PCA和SPCA的EM算法。神经信息处理系统进展10 626–632。麻省理工学院出版社，马萨诸塞州剑桥。 [67] Rubin，D.B.（1976年）。推断和缺失数据。生物特征63 581–592。R.J.A.Little的评论和作者的回复·Zbl 0344.62034号 ·doi:10.1093/biomet/63.3.581 [68] Salakhutdinov，R.和Mnih，A.（2008a）。基于马尔可夫链蒙特卡罗的贝叶斯概率矩阵分解。第25届机器学习国际会议论文集880-887。纽约ACM。 [69] Salakhuttinov，R.和Mnih，A.（2008年b）。概率矩阵分解。《神经信息处理系统进展》20（J.C.Platt、D.Koller、Y.Singer和S.T.Roweis编辑）1257–1264。麻省理工学院出版社，马萨诸塞州剑桥。 [70] Salakhutdinov，R.和Srebro，N.（2010年）。非统一世界中的协作过滤：使用加权跟踪范数进行学习。预印本。可在arXiv:1002.2780购买。 [71] Srebro，N.、Rennie，J.和Jaakkola，T.（2005）。最大边际矩阵分解。神经信息处理系统进展17 1329–1336。麻省理工学院出版社，马萨诸塞州剑桥。 [72] Srebro，N.和Shraibman，A.（2005年）。等级、跟踪形式和最大形式。学习理论。计算机科学课堂讲稿3559 545–560。柏林施普林格·Zbl 1137.68563号 [73] Tibshirani，R.（1996）。通过套索进行回归收缩和选择。J.罗伊。统计师。Soc.序列号。B58 267–288·Zbl 0850.62538号 [74] Tipping，M.E.和Bishop，C.M.（1999）。概率主成分分析。J.R.统计社会服务。B.统计方法61 611–622·Zbl 0924.62068号 ·doi:10.1111/1467-9868.00196 [75] Todeschini，A.、Caron，F.和Chavent，M.（2013）。采用自适应谱正则化算法的概率低秩矩阵补全。神经信息处理系统进展845-853。 [76] Udell，M.、Horn，C.、Zadeh，R.和Boyd，S.（2016）。广义低秩模型。已找到。趋势马赫。学习。9 1–118·兹比尔1350.68221 ·doi:10.1561/22000055 [77] Yang，Y.、Ma，J.和Osher，S.（2013）。通过矩阵补全重建地震数据。反向探测。图7 1379–1392·兹比尔1292.15017 ·doi:10.3934/ipi.2013.7.1379 [78] Yee，T.W.和Hastie，T.J.（2003）。降秩向量广义线性模型。统计模型3 15–41·Zbl 1195.62123号 ·doi:10.191/1471082X03st045oa [79] Yuan，M.、Ekici，A.、Lu，Z.和Monteiro，R.（2007）。多元线性回归中的降维和系数估计。J.R.统计社会服务。B.统计方法69 329–346·Zbl 07555355号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。