×
金，金谷;何云龙;海森公园

非负矩阵和张量分解算法：基于块坐标下降框架的统一视图。 （英文） Zbl 1321.90129号

J.全球。最佳方案。 58，第2期，285-319（2014）.
摘要：我们从基于块坐标下降（BCD）框架的统一观点回顾了非负矩阵分解（NMF）和非负张量分解（NTF）的算法。NMF和NTF是矩阵和张量的低秩近似方法，其中低秩因子被约束为仅具有非负元素。非负性约束已被证明能够实现自然解释，并在许多应用中提供更好的解决方案，包括文本分析、计算机视觉和生物信息学。然而，由于受到限制，NMF和NTF的计算仍然具有挑战性，并且成本高昂。为了有效地计算NMF和NTF，已经提出了许多算法方法。约束非线性优化中的BCD框架很容易解释几种有效的NMF和NTF算法的理论收敛特性，这与文献中报道的实验结果一致。此外，我们讨论了不适用于BCD框架的算法，并将其与基于BCD框架进行了对比。通过从统一的角度获得的见解，我们还提出了在降维或数据中发生微小变化时更新NMF的有效算法。利用合成数据集和真实世界数据集对所提出的更新算法的有效性进行了实验验证。

引用于34文件

MSC公司：

90立方 非线性规划

关键词：

非负矩阵分解;非负张量因式分解;低阶近似;块坐标下降

软件：

PDCO公司;LMNN公司
PDF格式BibTeX公司 XML格式引用
\textit{J.Kim}等人，J.Glob。最佳方案。58，第2号，285--319（2014；Zbl 1321.90129）
全文： DOI程序
OA许可证

参考文献：

[1] Acar，E.，Yener，B.：无监督的多路数据分析：一项文献调查。IEEE传输。知识。数据工程21（1），6-20（2009）·doi:10.1109/TKDE.2008.112
[2] Bellavia，S.，Macconi，M.，Morini，B.：具有退化解的非负最小二乘问题的内点类牛顿法。数字。线性代数应用。13(10), 825-846 (2006) ·Zbl 1174.65414号 ·doi:10.1002/nla.502
[3] Berman，A.，Plemmons，R.J.：数学科学中的非负矩阵。费城工业和应用数学学会（1994年）·Zbl 0815.15016号
[4] Berry，M.、Browne，M.，Langville，A.、Pauca，V.、Plemmons，R.：近似非负矩阵分解的算法和应用。计算。统计数据分析。52（1），155-173（2007）·Zbl 1452.90298号 ·doi:10.1016/j.csda.2006.11.006
[5] Bertsekas，D.P.：非线性规划。雅典娜科学（1999）·Zbl 1015.90077号
[6] Biggs，M.，Ghodsi，A.，Vavasis，S.：通过一级降级进行非负矩阵分解。摘自：《第25届机器学习国际会议论文集》，第64-71页（2008）
[7] Birgin，E.，Martínez，J.，Raydan，M.：凸集上的非单调谱投影梯度方法。SIAM J.Optim公司。10(4), 1196-1211 (2000) ·兹比尔1047.90077 ·doi:10.1137/S1052623497330963
[8] 比约克，澳大利亚：最小二乘问题的数值方法。费城工业和应用数学学会（1996年）·Zbl 0847.65023号
[9] Bro，R.，De Jong，S.：一种快速非负约束最小二乘算法。化学杂志。11, 393-401 (1997) ·doi:10.1002/（SICI）1099-128X（199709/10）11:5<393:：AID-CEM483>3.0.CO；2升
[10] Brunet，J.、Tamayo，P.、Golub，T.、Mesirov，J.：利用矩阵分解发现变位基因和分子模式。程序。纳塔尔。阿卡德。科学。101(12), 4164-4169 (2004) ·doi:10.1073/pnas.0308531101
[11] Bucak，S.，Gunsel，B.：通过增量非负矩阵分解表示视频内容。摘自：2007 IEEE图像处理国际会议（ICIP）论文集，第2卷，第II-113-II-116页（2007）
[12] Cai，D.，He，X.，Han，J.，Huang，T.：用于数据表示的图正则化非负矩阵分解。IEEE传输。模式分析。机器。智力。33(8), 1548-1560 (2011) ·doi:10.1109/TPAMI.2010.231
[13] Cao，B.，Shen，D.，Sun，J.T.，Wang，X.，Yang，Q.，Chen，Z.：使用在线非负矩阵分解检测和跟踪潜在因素。摘自：《第20届国际人工智能联合会议记录》，第2689-2694页（2007年）
[14] Carroll，J.D.，Chang，J.J.：通过“eckart-young”分解的n向泛化分析多维标度中的个体差异。《心理测量学》35（3），283-319（1970）·Zbl 0202.19101号 ·doi:10.1007/BF02310791
[15] Chen，D.，Plemmons，R.J.：数值分析中的非负约束。摘自：《数值分析诞生研讨会论文集》，比利时鲁汶，第109-140页（2009年）·Zbl 1192.65041号
[16] Chen，S.S.，Donoho，D.L.，Saunders，M.A.：通过基追踪进行原子分解。SIAM修订版43（1），129-159（2001）·Zbl 0979.94010号 ·doi:10.1137/S003614450037906X
[17] Chu，M.，Plemmons，R.：非负矩阵分解及其应用。图片：牛市。《国际线性代数学会》34，2-7（2005）·Zbl 1173.65029号
[18] Chu，M.T.，Lin，M.M.：低维多面体近似及其在非负矩阵因式分解中的应用。SIAM J.科学。计算。30(3), 1131-1155 (2008) ·兹比尔1168.65019 ·数字对象标识代码：10.1137/070680436
[19] Cichocki，A.，Phan，A.H.：大规模非负矩阵和张量分解的快速局部算法。IEICE传输。芬丹。电子。Commun公司。计算。科学。E92-A（3），708-721（2009）·Zbl 0802.90106号
[20] Cichocki，A.、Zdunk，R.、Amari，S.I.：非负矩阵和三维张量分解的层次ALS算法。载：《计算机科学讲义》，第4666卷，第169-176页。施普林格（2007）·Zbl 1172.94390号
[21] Cichocki，A.、Zdunk，R.、Choi，S.、Plemmons，R.和Amari，S.-I.：使用α和β发散的非负张量因式分解。摘自：第32届国际声学、语音和信号处理会议记录，火奴鲁鲁，2007年4月，第3卷，第III-1393-III-1396页（2007）·Zbl 1174.65414号
[22] Cichocki，A.，Zdunk，R.，Phan，A.H.，Amari，S.I.：非负矩阵和张量因子分解：探索性多路数据分析和盲源分离的应用。威利，西苏塞克斯（2009）·doi:10.1002/9780470747278
[23] Devarajan，K.：非负矩阵分解：计算生物学中的分析和解释工具。公共科学图书馆计算。生物学4（7），e1000029（2008）·Zbl 1191.65020号
[24] Dhillon，I.，Sra，S.：具有bregman发散的广义非负矩阵近似。摘自：《神经信息处理系统进展》18，第283-290页。麻省理工学院出版社（2006）
[25] Ding，C.，Li，T.，Jordan，M.：凸矩阵分解和半非负矩阵分解。IEEE传输。模式分析。机器。智力。32(1), 45-559 (2010) ·doi:10.1109/TPAMI.2008.277
[26] Ding，C.，Li，T.，Peng，W.，Park，H.：聚类的正交非负矩阵三因子化。摘自：第十二届ACM SIGKDD知识发现和数据挖掘国际会议论文集，第126-135页（2006）·Zbl 1191.68783号
[27] Donoho，D.，Stodden，V.：非负矩阵因式分解何时给出正确的分解？内容：神经信息处理系统进展16。麻省理工学院出版社（2004）
[28] Drake，B.，Kim，J.，Mallick，M.，Park，H.：基于非负秩亏最小二乘法的监督拉曼光谱估计。摘自：英国爱丁堡第十三届信息融合国际会议记录（2010年）
[29] Févotte，C.，Bertin，N.，Durrieu，J.：具有Itakura-Saito发散的非负矩阵因式分解：应用于音乐分析。神经计算。21(3), 793-830 (2009) ·Zbl 1156.94306号 ·doi:10.1162/neco.2008.04-08-771
[30] Figueiredo，M.A.T.、Nowak，R.D.、Wright，S.J.：稀疏重建的梯度投影：应用于压缩传感和其他反问题。IEEE J.选择。顶部。信号处理。1(4), 586-597 (2007) ·doi:10.1010/JSTSP.2007.910281
[31] Franc，V.、Hlavac，V.和Navara，M.：非负最小二乘问题的顺序坐标系算法。摘自：《第十一届图像和模式计算机分析国际会议论文集》，第407-414页（2005）·Zbl 1156.94306号
[32] Friedlander，M.P.，Hatz，K.：计算非负张量因子分解。计算。最佳方案。申请。23(4), 631-647 (2008) ·兹比尔1158.65321
[33] Frigyesi，A.，Höglund，M.：用于分析复杂基因表达数据的非负矩阵分解：临床相关肿瘤亚型的识别。癌症信息。6, 275-292 (2008)
[34] Gillis，N.：非负矩阵分解复杂性、算法和应用。卢万天主教大学博士论文（2011年）
[35] Gillis，N.，Glineur，F.：非负因子分解和最大边双液问题。鲁汶天主教大学（2008）核心讨论文件2008/64
[36] Gillis，N.，Glineur，F.：使用欠近似进行稀疏非负矩阵分解。模式识别。43(4), 1676-1687 (2010) ·Zbl 1191.68783号 ·doi:10.1016/j.patcog.2009.11.013
[37] Gillis，N.，Glineur，F.：非负矩阵因式分解的加速乘法更新和层次als算法。神经计算。24(4), 1085-1105 (2012) ·doi:10.1162/NECO_a_00256
[38] Gillis，N.，Glineur，F.：非负矩阵分解的多级方法。J.计算。申请。数学。236, 1708-1723 (2012) ·Zbl 1241.65039号 ·doi:10.1016/j.cam.2011.10.002
[39] Golub，G.，Van Loan，C.：矩阵计算。约翰·霍普金斯大学出版社，巴尔的摩（1996）·Zbl 0865.65009号
[40] Gonzalez，E.F.，Zhang，Y.：加速非负矩阵分解的lee-sung算法。莱斯大学计算与应用数学系，技术报告（2005）·兹比尔1162.65354
[41] Grippo，L.，Sciandone，M.：凸约束下块非线性高斯面方法的收敛性。操作。Res.Lett公司。26(3), 127-136 (2000) ·Zbl 0955.90128号 ·doi:10.1016/S0167-6377（99）00074-7
[42] Han，L.，Neumann，M.，Prasad，U.：非负矩阵分解的交替投影Barzilai-Borwein方法。电子。事务处理。数字。分析。36, 54-82 (2009) ·Zbl 1191.65020号
[43] Harshman，R.A.：parafac程序的基础：“解释性”多模态因子分析的模型和条件。在：加州大学洛杉矶分校语音学工作论文，第16卷，第1-84页（1970年）
[44] Ho，N.D.：非负矩阵分解算法和应用。鲁汶天主教大学博士论文（2008年）
[45] Horn，R.A.，Johnson，C.R.：矩阵分析。剑桥大学出版社，剑桥（1990）·Zbl 0704.15002号
[46] Horst，R.，Pardalos，P.，Van Thoai，N.：全局优化导论。Kluwer，柏林（2000）·Zbl 0966.90073号 ·doi:10.1007/978-1-4615-0015-5
[47] Hoyer，P.O.：具有稀疏约束的非负矩阵分解。J.马赫。学习。第5号决议，1457-1469（2004年）·Zbl 1222.68218号
[48] Xieh，C.J.，Dhillon，I.S.：非负矩阵因式分解的快速坐标下降法，带变量选择。摘自：第17届ACM SIGKDD知识发现和数据挖掘国际会议论文集，第1064-1072页（2011）
[49] Hutchins，L.，Murphy，S.，Singh，P.，Graber，J.：使用非负矩阵因式分解的位置相关基序表征。生物信息学24（23），2684-2690（2008）·doi:10.1093/bioinformatics/btn526
[50] Jüdice，J.J.，Pires，F.M.：大规模严格单调线性互补问题的块主旋转算法。计算。操作。第21（5）号决议，587-596（1994）·Zbl 0802.90106号 ·doi:10.1016/0305-0548（94）90106-6
[51] Kim，D.，Sra，S.，Dhillon，I.S.：最小二乘非负矩阵近似问题的快速牛顿型方法。摘自：2007年SIAM国际数据挖掘会议记录，第343-354页（2007）·Zbl 0850.62538号
[52] Kim，H.，Park，H.：通过交替非负约束最小二乘法对微阵列数据进行稀疏非负矩阵分解。生物信息学23（12），1495-1502（2007）·doi:10.1093/bioinformatics/btm134
[53] Kim，H.，Park，H.：基于交替非负约束最小二乘和活动集方法的非负矩阵分解。SIAM J.矩阵分析。申请。30（2），713-730（2008）·Zbl 1162.65354号 ·数字对象标识码：10.1137/07069239X
[54] Kim，H.、Park，H.和Eldén，L.：基于交替大规模非负约束最小二乘的非负张量因式分解。摘自：IEEE第七届生物信息学和生物工程国际会议论文集（BIBE07），第2卷，第1147-1151页（2007）
[55] Kim，J.：非负矩阵和张量因子分解，最小二乘问题和应用。乔治亚理工学院博士论文（2011年）·Zbl 1158.65321号
[56] Kim，J.，Monteiro，R.D.，Park，H.：非负矩阵分解中的群稀疏性。收录于：《2012年SIAM国际数据挖掘会议记录》，第851-862页（2012年）
[57] Kim，J.，Park，H.：聚类的稀疏非负矩阵分解。技术报告，佐治亚理工学院GT-CSE-08-01（2008）
[58] Kim，J.，Park，H.：迈向更快的非负矩阵分解：一种新算法和比较。摘自：第八届IEEE数据挖掘国际会议（ICDM）论文集，第353-362页（2008）
[59] Kim，J.，Park，H.：快速非负矩阵因式分解：一种类似活动集的方法和比较。SIAM J.科学。计算。33(6), 3261-3281 (2011) ·Zbl 1232.65068号 ·数字对象标识代码：10.1137/10821172
[60] Kim，J.，Park，H.：用类主动集方法进行快速非负张量分解。摘自：《高性能科学计算：算法和应用》，第311-326页。施普林格（2012）
[61] Kolda，T.G.，Bader，B.W.：张量分解和应用。SIAM版本51（3），455-500（2009）·Zbl 1173.65029号 ·doi:10.1137/07070111X
[62] Koratikara，A.，Boyles，L.，Welling，M.，Kim，J.，Park，H.：非负矩阵分解的统计优化。摘自：《第十四届国际人工智能与统计会议论文集》，JMLR:W&CP，第15卷，第128-136页（2011年）·Zbl 1206.65130号
[63] Kuang，D.，Ding，C.，Park，H.：图聚类的对称非负矩阵分解。摘自：2012年SIAM国际数据挖掘会议论文集，pp.106-117（2012）
[64] Lawson，C.L.，Hanson，R.J.：解决最小二乘问题。新泽西州普伦蒂斯·霍尔（1974）·Zbl 0860.65028号
[65] LeCun，Y.、Bottou，L.、Bengio，Y.和Haffner，P.：基于梯度的学习应用于文档识别。程序。IEEE 86（11），2278-2324（1998）·数字对象标识代码：10.1109/5.726791
[66] Lee，D.D.，Seung，H.S.：通过非负矩阵分解学习对象的各个部分。《自然》401（6755），788-791（1999）·Zbl 1369.68285号 ·doi:10.1038/44565
[67] Lee，D.D.，Seung，H.S.：非负矩阵分解算法。摘自：《神经信息处理系统进展》13，第556-562页。麻省理工学院出版社（2001）·Zbl 1096.65033号
[68] Li，L.，Lebanon，G.，Park，H.：使用泰勒展开和坐标下降的快速bregman散度nmf。摘自：第18届ACM SIGKDD知识发现和数据挖掘国际会议记录，第307-315页（2012）
[69] Li，S.Z.，Hou，X.，Zhang，H.，Cheng，Q.：学习空间本地化、基于部件的表示。收录于：2001年IEEE计算机学会计算机视觉会议论文集，模式识别，第1卷，第I-207-I-212页（2001）
[70] Lin，C.：关于非负矩阵分解的乘法更新算法的收敛性。IEEE传输。神经网络。18(6), 1589-1596 (2007) ·doi:10.1109/TNN.2007.895831
[71] Lin，C.J.：非负矩阵分解的投影梯度法。神经计算。19（10），2756-2779（2007）·Zbl 1173.90583号
[72] Lin，M.M.，Chu，M.T.：关于欧氏距离矩阵的非负秩。线性代数应用。433(3), 681-689 (2010) ·Zbl 1194.15003号 ·doi:10.1016/j.laa.2010.03.038
[73] Merritt，M.，Zhang，Y.：大规模完全非负最小二乘问题的内点梯度方法。J.优化。理论应用。126(1), 191-202 (2005) ·邮编1093.90084 ·doi:10.1007/s10957-005-2668-z
[74] Paatero，P.，Tapper，U.：正矩阵因式分解：最佳利用数据值误差估计的非负因子模型。环境计量学5（1），111-126（1994）·doi:10.1002/env.3170050203
[75] Park，H.，Kim，H.：文本分类的单面非负矩阵分解和非负质心维数缩减。附：第十届SIAM数据挖掘国际会议2006年文本挖掘研讨会论文集（2006）
[76] Pauca，V.P.，Piper，J.，Plemmons，R.J.：光谱数据分析的非负矩阵分解。线性代数应用。416(1), 29-47 (2006) ·Zbl 1096.65033号 ·doi:10.1016/j.laa.2005.06.025
[77] Pauca，V.P.，Shahnaz，F.，Berry，M.W.，Plemmons，R.J.：使用非负矩阵分解进行文本挖掘。摘自：2004年SIAM国际数据挖掘会议记录，第452-456页（2004）·邮编1093.90084
[78] Schmidt，M.N.，Winther，O.，Hansen，L.K.：贝叶斯非负矩阵因式分解。摘自：《2009年独立分量分析和信号分离国际会议论文集》，《计算机科学讲义》（LNCS），第5441卷，第540-547页。施普林格（2009）
[79] Sra，S.：非负矩阵近似的块迭代算法。摘自：第八届IEEE数据挖掘国际会议记录，第1037-1042页（2008）
[80] Tibshirani，R.：通过套索进行回归收缩和选择。J.R.统计社会服务。B（方法学）58（1），267-288（1996）·Zbl 0850.62538号
[81] Van Benthem，M.H.，Keenan，M.R.：求解大规模非负约束最小二乘问题的快速算法。《化学杂志》。18, 441-450 (2004) ·doi:10.1002/cem.889
[82] Vavasis，S.A.：关于非负矩阵分解的复杂性。SIAM J.Optim公司。20(3), 1364-1377 (2009) ·Zbl 1206.65130号 ·doi:10.1137/070709967
[83] Weinberger，K.，Saul，L.：大幅度最近邻分类的距离度量学习。J.马赫。学习。第10207-244号决议（2009年）·Zbl 1235.68204号
[84] Welling，M.，Weber，M.：正张量因式分解。模式识别。莱特。22(12), 1255-1261 (2001) ·Zbl 0990.68123号 ·doi:10.1016/S0167-8655（01）00070-8
[85] Xu，W.，Liu，X.，Gong，Y.：基于非负矩阵分解的文档聚类。摘自：第26届国际ACM SIGIR信息检索研究与开发会议论文集，第267-273页（2003）·Zbl 0850.62538号
[86] Zdunk，R.，Cichocki，A.：具有拟牛顿优化的非负矩阵分解。摘自：《第八届国际人工智能与软计算会议记录》，第870-879页（2006）·Zbl 1232.65068号
[87] Zdunk，R.，Cichocki，A.：使用投影梯度法求解大规模问题的快速非负矩阵分解算法。计算。智力。神经科学。2008, 939567 (2008) ·Zbl 1390.94506号
[88] Zhong，M.，Girolma，M.：非负矩阵分解的可逆跳跃MCMC。摘自：《第十二届国际人工智能与统计会议论文集》，JMLR:W&CP，第5卷，第663-670页（2009年）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。