马可·西尼奥雷托；Dinh，Quoc Tran公司；列文·德拉豪沃；约翰·苏肯斯（Johan A.K.Suykens）。 张量学习：基于凸优化和谱正则化的框架。 （英语） Zbl 1319.68191号 机器。学习。 94，第3期，303-351（2014）. 摘要：当特征观测是多维阵列（张量）时，我们提出了一种基于凸优化和谱正则化的框架来执行学习。我们给出了张量谱惩罚的数学表征，并分析了一类统一的凸优化问题，针对这类问题，我们提出了一种可证明收敛的可伸缩模板算法。然后，我们专门研究这类问题，以在归纳和归纳的环境中进行学习。在传导情况下，一个输入数据张量缺少特征，可能还有部分观测到的标签矩阵。其目的是推断缺失的输入特征以及预测缺失的标签。对于归纳法，其目标是确定用于样本外预测的每个学习任务的模型。每个训练对由一个多维数组和一组标签组成，每个标签对应于相关但不同的任务。在任何一种情况下，所提出的技术在未知多维阵列上利用精确的低多线性秩假设；正则化基于复合谱惩罚，并与多线性奇异值分解的概念相联系。作为使用基于张量的形式主义的副产品，我们的方法允许以自然的方式处理多任务情况。实证研究证明了所提方法的优点。 引用于31文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 62H30型 分类和区分；聚类分析（统计方面） 90C25型 凸面编程 关键词：谱正则化；矩阵和张量补全；塔克分解；多线性秩；导入式学习和归纳式学习；多任务学习 软件：TFOCS公司；PDCO公司；范胡菲尔；SDPT3型；LS-SVMlab公司；取消锁定BoX；塞杜米 PDF格式BibTeX公司 XML格式引用 \textit{M.Signoretto}等人，马赫。学习。94，第3号，303--351（2014；Zbl 1319.68191） 全文： 内政部 参考文献： [1] Abernethy，J.、Bach，F.、Evgeniou，T.和Vert，J.（2009）。协作滤波的一种新方法：带谱正则化的算子估计。《机器学习研究杂志》，10803-826·Zbl 1235.68122号 [2] Acar，E.、Dunlavy，D.、Kolda，T.和Mörup，M.（2011年）。不完整数据的可缩放张量分解。化学计量学和智能实验室系统，106（1），41-56·doi:10.1016/j.chemolab.2010.08.004 [3] Argyriou，A。；米切利，C。；庞蒂尔，M。；Ying，Y.，多任务结构学习的谱正则化框架（2007） [4] Argyriou，A。；米切利，C.A。；庞蒂尔，M。；Ying，Y。；Platt，J.（编辑）；Koller，D.（编辑）；辛格，Y.（编辑）；Roweis，S.（编辑），多任务结构学习的谱正则化框架，第20期，25-32（2007），剑桥 [5] Argyriou，A。；叶甫根尼欧，T。；庞蒂尔，M。；Schölkopf，B.（编辑）；Platt，J.（编辑）；Hoffman，T.（编辑），多任务特征学习，第19期，41-48（2007），剑桥 [6] Argyriou，A.、Evgeniou，T.和Pontil，M.（2008）。凸多任务特征学习。机器学习，73（3），243-272·Zbl 1470.68073号 ·doi:10.1007/s10994-007-5040-8 [7] Argyriou，A.、Miccelli，C.和Pontil，M.（2009年）。什么时候有代表性定理？向量与矩阵正则化器。机器学习研究杂志，102507-2529·Zbl 1235.68128号 [8] Argyriou，A.、Micchelli，C.和Pontil，M.（2010年）。关于频谱学习。机器学习研究杂志，11935-953·Zbl 1242.68201号 [9] Argyriou，A.、Miccelli，C.、Pontil，M.、Shen，L.和Xu，Y.（2011）。线性复合正则化子的有效一阶方法。Arxiv预打印Arxiv:1104.1436。 [10] Aronszajn，N.（1950）。再生核理论。美国数学学会学报，68，337-404·Zbl 0037.20701号 ·doi:10.1090/S0002-9947-1950-0051437-7 [11] Bauschke，H.和Combettes，P.（2011年）。Hilbert空间中的凸分析和单调算子理论。柏林：斯普林格·Zbl 1218.47001号 ·doi:10.1007/978-1-4419-9467-7 [12] Beck，A.和Teboulle，M.（2009年）。线性反问题的快速迭代收缩阈值算法。SIAM成像科学杂志，2（1），183-202·兹比尔1175.94009 ·doi:10.1137/080716542 [13] Becker，S.、CandèS，E.J.和Grant，M.（2010年）。凸锥问题的模板及其在稀疏信号恢复中的应用。斯坦福大学技术代表·Zbl 1257.90042号 [14] Berlinet，A.和Thomas-Agnan，C.（2004）。在概率统计中再现核希尔伯特空间。阿姆斯特丹：Kluwer学院·Zbl 1145.6202号 ·doi:10.1007/978-1-4419-9096-9 [15] Bertsekas，D.（1976年）。关于Goldstein-Levitin-Polyak梯度投影法。IEEE自动控制汇刊，21（2），174-184·Zbl 0326.49025号 ·doi:10.1109/TAC.1976.1101194 [16] Bertsekas，D.P.（1995）。非线性规划。贝尔蒙特：雅典娜科技·Zbl 0935.90037号 [17] Bertsekas，D.P.和Tsitsiklis，J.N.（1989年）。并行和分布式计算。恩格尔伍德悬崖：普伦蒂斯大厅·Zbl 0743.65107号 [18] Boyd，S.、Parikh，N.、Chu，E.、Peleato，B.和Eckstein，J.（2011年）。通过交替方向乘数法进行分布式优化和统计学习。机器学习的基础和趋势，3（1），1-122·Zbl 1229.90122号 ·doi:10.1561/220000016 [19] Brézis，H.（1973）。Opérateors maximaux单调。阿姆斯特丹：爱思唯尔·Zbl 0252.47055号 [20] Cai，J.、Candès，E.和Shen，Z.（2010）。矩阵补全的奇异值阈值算法。SIAM优化杂志，20（4），1956-1982·Zbl 1201.90155号 ·doi:10.1137/080738970 [21] Candes，E.、Li，X.、Ma，Y.和Wright，J.（2011）。稳健的主成分分析？《美国医学会杂志》，58（3），11，第37页·Zbl 1327.62369号 ·数字对象标识代码：10.1145/1970392.1970395 [22] Candès，E.，&Plan，Y.（2010年）。带噪声的矩阵完成。IEEE会议录，98（6），925-936·doi:10.10109/JPROC.2009.2035722 [23] Candès，E.和Recht，B.（2009年）。通过凸优化实现精确的矩阵完备。计算数学基础，9（6），717-772·Zbl 1219.90124号 ·doi:10.1007/s10208-009-9045-5 [24] Chen，S.、Donoho，D.和Saunders，M.（2001）。通过基追踪进行原子分解。SIAM评论，43，129-159·Zbl 0979.94010号 ·doi:10.1137/S003614450037906X [25] Combettes，P.（2009年）。极大单调算子和的预解式的迭代构造。凸分析杂志，16（4），727-748·Zbl 1193.47067号 [26] Combettes，P.和Pesquet，J.（2008）。一种求解凸变分反问题的近似分解方法。反问题，24，065014·Zbl 1154.49025号 ·doi:10.1088/0266-5611/24/6/065014 [27] Combettes，P.和Pesquet，J.（2009年）。信号处理中的近距离分裂方法。Arxiv预打印Arxiv:0912.3522·Zbl 1242.90160号 [28] Coppi，R.和Bolasco，S.（1989年）。多路数据分析。阿姆斯特丹：北荷兰·Zbl 0744.62005号 [29] De Brabanter，K.、Karsmakers，P.、Ojeda，F.、Alzate，C.、De Brabanter，J.、Pelckmans，K.，De Moor，B.、Vandewalle，J.和Suykens，J.A.K.（2010年）。LS-SVMlab工具箱用户指南版本1.8。内部报告10-146，ESAT-SISTA，K.U.鲁汶（比利时鲁汶）。 [30] De Lathauwer，L.、De Moor，B.和Vandewalle，J.（2000）。多线性奇异值分解。SIAM矩阵分析与应用杂志，21（4），1253-1278·Zbl 0962.15005号 ·doi:10.1137/S0895479896305696 [31] Domingos，P.和Pazzani，M.（1997年）。简单贝叶斯分类器在零损失下的最优性。机器学习，29（2），103-130·Zbl 0892.68076号 ·doi:10.1023/A:1007413511361 [32] Donoho，D.L.（2006）。压缩传感。IEEE信息理论汇刊，52（4），1289-1306·兹比尔1288.94016 ·doi:10.1109/TIT.2006.871582 [33] Douglas，J.和Rachford，H.H.（1956年）。关于两个和三个空间变量中热传导问题的数值解。美国数学学会学报，82（2），421-439·Zbl 0070.35401号 ·doi:10.1090/S0002-9947-1956-0084194-4 [34] Eckstein，J.和Bertsekas，D.（1992年）。关于最大单调算子的Douglas-Rachford分裂方法和最近点算法。数学规划，55（1），293-318·Zbl 0765.90073号 ·doi:10.1007/BF01581204 [35] Ekeland，I.和Temam，R.（1976年）。凸分析和变分问题。阿姆斯特丹：北荷兰·Zbl 0322.90046号 [36] Fazel，M.（2002）。矩阵秩最小化及其应用。斯坦福大学电子工程系博士论文。 [37] Gandy，S.、Recht，B.和Yamada，I.（2011年）。基于凸优化的张量补全和低阶张量恢复。反问题，27（2），025010·Zbl 1211.15036号 ·doi:10.1088/0266-5611/27/2/025010 [38] Geng，X.、Smith-Miles，K.、Zhou，Z.和Wang，L.（2011）。基于缺失值的多线性子空间分析人脸图像建模。IEEE系统、人与控制论汇刊。B部分控制论，41（3），881-892·doi:10.1109/TSMCB.2010.2097588 [39] Goldberg，A。；小津，Z。；Recht，B。；徐，J。；诺瓦克，R。；Lafferty，J.（编辑）；Williams，C.K.I.（编辑）；Shawe-Taylor，J.（编辑）；Zemel，R.（编辑）；Culotta，A.（编辑），《基质完成的转导：三鸟一石》，第23期，757-765页（2010年） [40] Golub，G.和Van Loan，C.（1980年）。对总最小二乘问题的分析。SIAM数值分析杂志，17（6），883-893·Zbl 0468.65011号 ·数字对象标识代码：10.1137/0717073 [41] Golub，G.H.和Van Loan，C.F.（1996年）。矩阵计算（第三版）。巴尔的摩：约翰·霍普金斯大学出版社·Zbl 0865.65009号 [42] Halmos，P.（1982）。希尔伯特空间问题书（第19卷）。柏林：斯普林格·Zbl 0496.47001号 [43] Hastad，J.（1990）。张量秩是NP-完全的。《算法杂志》，11（4），644-654·Zbl 0716.65043号 ·doi:10.1016/0196-6774（90）90014-6 [44] Hillar，C.和Lim，L.（2010年）。大多数张量问题都是NP难的。Arxiv预打印Arxiv:0911.1393·Zbl 1281.68126号 [45] Hoerl，A.E.和Kennard，R.W.（1970年）。岭回归：非正交问题的有偏估计。技术计量学，12（1），55-67·Zbl 0202.17205号 ·网址：10.1080/00401706.1970.10488634 [46] Horn，R.和Johnson，C.（1994年）。矩阵分析主题。剑桥：剑桥大学出版社·Zbl 080115001号 [47] 雅各布·L。；Obozinski，G。；Vert，J.，Group lasso with overlap and graph lasso（2009），纽约 [48] Kolda，T.和Bader，B.（2009年）。张量分解及其应用。SIAM评论，51（3），455-500·Zbl 1173.65029号 ·doi:10.1137/07070111X [49] Koltchinskii，V.、Tsybakov，A.和Lounici，K.（2010年）。噪声低秩矩阵补全的核范数惩罚和最优速率。Arxiv预打印Arxiv:1011.6256·兹比尔1231.62097 [50] Kroonenberg，P.（2008）。应用了多路数据分析。纽约：Wiley-Interscience·Zbl 1160.62002号 ·数字对象标识代码：10.1002/9780470238004 [51] Lions，P.和Mercier，B.（1979年）。两个非线性算子之和的分裂算法。SIAM数值分析杂志，16（6），964-979·Zbl 0426.6500号 ·doi:10.1137/0716071 [52] 刘杰。；穆西亚尔斯基，P。；Wonka，P。；Ye，J.，估计视觉数据中缺失值的Tensor补全，日本京都 [53] Ma，S.、Goldfarb，D.和Chen，L.（2011）。矩阵秩最小化的不动点和Bregman迭代方法。数学规划，128（1），321-353·Zbl 1221.65146号 ·doi:10.1007/s10107-009-0306-5 [54] Minty，G.（1962年）。希尔伯特空间中的单调（非线性）算子。《杜克数学杂志》，29（3），341-346·兹比尔0111.31202 ·doi:10.1215/S0012-7094-62-02933-2 [55] Moreau，J.（1962年）。函数凸对偶et点proximaux dans un espace hilbertien。Comptes Rendus Mathematique公司。巴黎科学院。数学，2552897-2899·Zbl 0118.10502号 [56] Nesterov，Y.（2003）。凸优化入门讲座：一门基础课程。诺威尔：克鲁沃学院·Zbl 1086.90045号 [57] Nesterov，Y.（2007）。最小化复合目标函数的梯度方法。法国卢旺天主教大学运筹学和计量经济学中心。 [58] 冯·诺依曼（1937）。一些矩阵不等式和矩阵空间的度量。托木斯克大学评论，1286-300·Zbl 0017.09802号 [59] Pelckmans，K.、De Brabanter，J.、Suykens，J.A.K.和De Moor，B.（2005）。处理支持向量机分类器中的缺失值。神经网络，18，684-692·Zbl 1077.68777号 ·doi:10.1016/j.neunet.2005.06.025 [60] Phelps，R.（1993）。凸函数、单调算子和可微性。柏林：斯普林格·Zbl 0921.46039号 [61] Recht，B.、Fazel，M.和Parrilo，P.（2007年）。通过核范数最小化保证线性矩阵方程的最小秩解。SIAM评论，52，471-501·Zbl 1198.90321号 ·数字对象标识代码：10.1137/070697835 [62] Rockafellar，R.（1970年a）。凸分析。普林斯顿：普林斯顿大学出版社·Zbl 0932.90001号 ·doi:10.1515/9781400873173 [63] Rockafellar，R.（1970年b）。关于次微分映射的极大单调性。太平洋数学杂志，33（1），209-216·Zbl 0199.47101号 ·doi:10.2140/pjm.1970.33.209 [64] Rockafellar，R.（1976年）。单调运算符和近点算法。SIAM控制与优化杂志，14877·Zbl 0358.90053号 ·doi:10.1137/0314056 [65] Signoretto，M.、De Lathauwer，L.和Suykens，J.A.K.（2011年A）。一个基于内核的张量数据分析框架。神经网络，24（8），861-874·Zbl 1250.68229号 ·doi:10.1016/j.neunet.2011.05.011 [66] Signoretto，M.、Van de Plas，R.、de Moor，B.和Suykens，J.A.K.（2011年B）。张量与矩阵完成：与光谱数据应用的比较。IEEE信号处理信件，18（7），403-406·doi:10.1109/LSP.2011.2151856 [67] Smale，S.和Zhou，D.（2005）。香农抽样II：与学习理论的联系。应用和计算谐波分析，19（3），285-302·兹比尔1107.94008 ·doi:10.1016/j.aca.2005.03.001 [68] Smiled，A.、Bro，R.和Geladi，P.（2004）。多向分析在化学科学中的应用。纽约：Wiley。 ·doi:10.1002/0470012110 [69] Spingarn，J.（1983年）。单调算子的部分逆。应用数学与优化，10（1），247-265·Zbl 0524.90072号 ·doi:10.1007/BF01448388 [70] Srebro，N.（2004年）。学习矩阵分解。麻省理工学院博士论文。 [71] Sturm，J.（1999年）。使用SeDuMi 1.02，一个用于对称锥体优化的MATLAB工具箱。优化方法与软件，11（1），625-653·Zbl 0973.90526号 ·doi:10.1080/10556789908805766 [72] Suykens，J.A.K.和Vandewalle，J.（1999）。最小二乘支持向量机分类器。《神经处理快报》，9（3），293-300·doi:10.1023/A:1018628609742 [73] Tibshirani，R.（1996）。通过LASSO进行回归收缩和选择。英国皇家统计学会杂志。B系列（方法学），58（1），267-288·Zbl 0850.62538号 [74] 富冈，R。；Aihara，K.，用谱正则化对矩阵进行分类，895-902（2007），纽约·Zbl 1294.90018号 [75] Tomioka，R.、Hayashi，K.和Kashima，H.（2011年）。通过凸优化估计低秩张量。Arxiv预打印Arxiv:1010.0789。 [76] Tucker，L.R.，《因子分析对三维矩阵的扩展》，109-127（1964），纽约 [77] Tucker，L.R.（1966年）。关于三模式因子分析的一些数学注释。心理测量，31（3），279-311·doi:10.1007/BF02289464 [78] TüTüncü，R.、Toh，K.和Todd，M.（2003）。使用SDPT3求解半定二次线性程序。数学规划，95（2），189-217·Zbl 1030.90082号 ·文件编号：10.1007/s10107-002-0347-5 [79] Van Huffel，S.和Vandewalle，J.（1991）。总最小二乘问题：计算方面和分析（第9卷）。费城：工业数学学会·Zbl 0789.62054号 ·doi:10.1137/1.9781611971002 [80] Vandenberghe，L.和Boyd，S.（1996年）。半定规划。SIAM评论，38（1），49-95·Zbl 0845.65023号 ·数字对象标识代码：10.1137/1038003 [81] Zhao，P.、Rocha，G.和Yu，B.（2009年）。用于分组和分层变量选择的复合绝对惩罚系列。《统计年鉴》，373468-3497·Zbl 1369.62164号 ·doi:10.1214/07-AOS584 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。