×

近似非负矩阵分解的算法和应用。 (英语) Zbl 1452.90298号

摘要:介绍了低秩近似非负矩阵分解(NMF)算法在文本挖掘和光谱数据分析领域的特征提取和识别的发展和应用。讨论了基于稀疏性和光滑性约束的混合方法对所得非负矩阵因子的演化和收敛特性。提供了NMF输出在特定环境中的可解释性,以及未来修改大规模时变数据集NMF算法的机会。

MSC公司:

90立方 非线性规划
15A23型 矩阵的因式分解
65千5 数值数学规划方法
62-08 统计问题的计算方法
PDF格式BibTeX公司 XML格式引用
全文: DOI程序

参考文献:

[1] 伯曼,A。;Plemmons,R.,《数学科学中的非负矩阵》(1994),SIAM出版社经典丛书:SIAM出版社古典丛书,宾夕法尼亚州费城·Zbl 0815.15016号
[2] Berman,G.,《多变量函数极小值的格逼近》,J.Assoc.Compute。机器。,16, 286-294 (1969) ·Zbl 0176.46402号
[3] 贝里,M。;Browne,M.,使用非负矩阵分解的电子邮件监控,计算。数学。组织理论,11,249-264(2005)·Zbl 1086.68502号
[4] 贝里,M。;Browne,M.,《理解搜索引擎:数学建模和文本检索》(2005),SIAM:SIAM Philadelphia,PA·Zbl 1075.68591号
[5] Bertsekas,D.,非线性规划(1999),雅典娜科学:雅典娜科技贝尔蒙特,马萨诸塞州·Zbl 0935.90037号
[6] Boutsidis,C.,Gallopoulos,E.,2005年。基于SVD的非负矩阵分解初始化。技术报告HPCLAB-SCG-6/08-05,希腊帕特拉大学。;Boutsidis,C.,Gallopoulos,E.,2005年。关于非负矩阵分解的基于奇异值分解的初始化。技术报告HPCLAB-SCG-6/08-05,希腊帕特拉斯大学·Zbl 1131.68084号
[7] 英国国家语料库(BNC),(2004)。\兰格;\)http://www.natcorp.ox.ac.uk\(\rangle;\);英国国家语料库(BNC),(2004)。\兰格;\)网址:http://www.natcorp.ox.ac.uk\(\rangle;\)
[8] R兄弟。;de Jong,S.,《快速非负约束线性最小二乘算法》,《化学计量学杂志》,第11393-401页(1997年)
[9] 卡特拉尔,M。;Han,L。;Neumann,M。;Plemmons,R.,关于对称非负矩阵的降秩非负因子分解,线性代数应用。,393, 107-126 (2004) ·Zbl 1085.15012号
[10] Cea,J.,《优化:理论与算法》(1971年),Dunod:Dunod Paris·Zbl 0211.17402号
[11] Chang,C.-I.,《基于信息理论的高光谱图像分析光谱可变性、相似性和可辨性方法》,IEEE Trans。通知。理论,461927-1932(2000)·Zbl 1006.94010号
[12] Chen,Z.,Cichocki,A.,2005年。具有时间平滑和/或空间去相关约束的非负矩阵分解,预印本。;Chen,Z.,Cichocki,A.,2005年。具有时间平滑度和/或空间去相关约束的非负矩阵分解,预打印。
[13] Chu,M.,Diele,F.,Plemmons,R.,Ragni,S.,2004年。非负矩阵分解的最优性、计算和解释,可在\(langle;\)上获得网址:http://www.wfu.edu/\(\sim;\rangle;\);Chu,M.,Diele,F.,Plemmons,R.,Ragni,S.,2004年。非负矩阵分解的最优性、计算和解释,可在\(langle;\)上获得网址:http://www.wfu.edu/\(\sim;\rangle;\)
[14] Cichocki,A.,Zdunk,R.,2006年。用于信号处理的NMFLAB,可从\(\langle;\)获得http://www.bsp.brain.riken.jp/ICALAB/nmflab.html\(\rangle;\);Cichocki,A.,Zdunk,R.,2006年。用于信号处理的NMFLAB,可从\(\langle;\)获得http://www.bsp.brain.riken.jp/ICALAB/nmflab.html\(\rangle;\)
[15] Cichocki,A.,Zdunk,R.,Amari,S.,2006年。非负矩阵分解的Csiszar发散:新算法系列。摘自:第六届独立分量分析和盲信号分离国际会议论文集,南卡罗来纳州查尔斯顿,3月5-8日。;Cichocki,A.,Zdunek,R.,Amari,S.,2006年。非负矩阵分解的Csiszar发散:新算法系列。摘自:第六届独立分量分析和盲信号分离国际会议记录,南卡罗来纳州查尔斯顿,3月5-8日·Zbl 1178.94057号
[16] de Leeuw,J。;杨,F。;Takane,Y.,定性数据中的加性结构:具有最佳标度特征的交替最小二乘法,Psycholometrika,41871-503(1976)·Zbl 0351.92031号
[17] Dhillon,I.,Sra,S.,2005年。具有bregman发散的广义非负矩阵逼近。摘自:不列颠哥伦比亚省温哥华市神经信息处理系统会议记录。;Dhillon,I.,Sra,S.,2005年。具有bregman发散的广义非负矩阵逼近。摘自:不列颠哥伦比亚省温哥华市神经信息处理系统会议记录。
[18] 丁,C.,何,X.,西蒙,H.,2005年。关于非负矩阵分解与谱聚类的等价性。In:第五届SIAM国际数据挖掘会议论文集,加利福尼亚州纽波特比奇。;丁,C.,何,X.,西蒙,H.,2005年。关于非负矩阵分解和谱聚类的等价性。摘自:第五届SIAM国际数据挖掘会议论文集,加利福尼亚州纽波特比奇。
[19] Donoho,D.,Stodden,V.,2003年。非负矩阵分解在什么时候给出了正确的分解?致:第十七届神经信息处理系统年会。;Donoho,D.,Stodden,V.,2003年。非负矩阵分解在什么时候给出了正确的分解?摘自:第十七届神经信息处理系统年会。
[20] 德里尼亚斯,P。;Kannan,R。;Mahoney,M.,《矩阵的快速蒙特卡罗算法iii:计算压缩近似矩阵分解》,SIAM J.Compute。,36, 1, 132-157 (2006) ·Zbl 1111.68147号
[21] Finesso,L.,Spreij,P.,2004年。通过交替最小化实现近似非负矩阵分解。摘自:第十六届网络与系统数学理论国际研讨会论文集,比利时鲁汶,7月5-9日。;Finesso,L.,Spreij,P.,2004年。通过交替最小化实现近似非负矩阵分解。摘自:第16届网络与系统数学理论国际研讨会论文集,比利时鲁汶,7月5-9日。
[22] 吉尔·P。;默里,W。;Wright,M.,《实用优化》(1981),学术出版社:伦敦学术出版社·兹比尔0503.90062
[23] Gonzalez,E.,Zhang,Y.,2005年。加速非负矩阵分解的Lee-Seung算法。技术报告TR-05-02,莱斯大学。;Gonzalez,E.,Zhang,Y.,2005年。加速非负矩阵分解的Lee-Seung算法。技术报告TR-05-02,莱斯大学。
[24] Grieve,T.,2003年。安然帝国的衰落和衰落。板岩\(\langle;\)http://www.salon.com/news/feature/2003/10/14/enron/index_np.html\(\rangle;\);Grieve,T.,2003年。安然帝国的衰落和衰落。板岩\(\langle;\)http://www.salon.com/news/feature/2003/10/14/enron/index_np.html\(\rangle;\)
[25] Grippo,L.公司。;Sciandone,M.,关于凸约束下块非线性Gauss-Seidel方法的收敛性,Oper。Res.Lett.公司。,26, 3, 127-136 (2000) ·Zbl 0955.90128号
[26] Guillamet,D.,Bressan,M.,Vitria,J.,2001年。局部表示的加权非负矩阵分解。收录于:2001年IEEE计算机学会计算机视觉和模式识别会议记录,第1卷,Kavai,HI,第942-947页。;Guillamet,D.,Bressan,M.,Vitria,J.,2001年。局部表示的加权非负矩阵分解。收录于:2001年IEEE计算机学会计算机视觉和模式识别会议记录,第1卷,Kavai,HI,第942-947页。
[27] Hamza,A.B。;Brady,D.,使用稳健的非负矩阵分解重建反射光谱,IEEE信号处理汇刊,54,9,3637-3642(2006)·Zbl 1375.94068号
[28] Hoyer,P.,2002年。非负稀疏编码。摘自:IEEE信号处理神经网络研讨会论文集。瑞士马蒂尼。;Hoyer,P.,2002年。非负稀疏编码。摘自:IEEE信号处理神经网络研讨会论文集。瑞士马蒂尼。
[29] Hoyer,P.,稀疏约束下的非负矩阵分解,J.Mach。学习研究,5,1457-1469(2004)·Zbl 1222.68218号
[30] Karvanen,J.,Cichocki,A.,2003年。测量噪声信号的稀疏性。摘自:第四届独立分量分析与盲信号分离国际研讨会(ICA2003)论文集,日本奈良。;Karvanen,J.,Cichocki,A.,2003年。测量噪声信号的稀疏性。摘自:第四届独立分量分析与盲信号分离国际研讨会(ICA2003)论文集,日本奈良。
[31] Keila,P.,Skillicorn,D.,2005年。检测电子邮件中的异常和欺骗性通信。加拿大安大略省金斯顿市皇后大学计算机学院技术报告。;Keila,P.,Skillicorn,D.,2005年。检测电子邮件中的异常和欺骗性通信。加拿大安大略省金斯顿市皇后大学计算机学院技术报告·兹比尔1086.68505
[32] Keshava,N.,《光谱分解算法调查》,林肯实验室J.,14,1,55-77(2003)
[33] Langville,A.,Meyer,C.,Albright,R.,Cox,J.,Duling,D.,2006年。非负矩阵因式分解的算法、初始化和收敛。;Langville,A.,Meyer,C.,Albright,R.,Cox,J.,Duling,D.,2006年。非负矩阵分解的算法,初始化和收敛,预印本。
[34] 劳森,C。;Hanson,R.,《解决最小二乘问题》(1995),SIAM:SIAM Philadelphia,PA·Zbl 0860.65029号
[35] Lee,D。;Seung,H.,通过非负矩阵分解学习对象的各个部分,《自然》,401,788-791(1999)·Zbl 1369.68285号
[36] Lee,D。;Seung,H.,非负矩阵分解算法,高级神经信息。过程。系统,13556-562(2001)
[37] Lin,C.-J.,2005年a。非负矩阵分解乘法更新算法的收敛性。国立台湾大学计算机科学系技术报告信息与支持服务技术报告。;Lin,C.-J.,2005年a。非负矩阵分解乘法更新算法的收敛性。技术报告信息和支持服务技术报告,国立台湾大学计算机科学系。
[38] Lin,C.-J.,2005年b。非负矩阵分解的投影梯度法。技术报告信息与支持服务技术报告ISSTECH-95-013,国立台湾大学计算机科学系。;Lin,C.-J.,2005年b。非负矩阵分解的投影梯度法。技术报告信息和支持服务技术报告ISSTECH-95-013,国立台湾大学计算机科学系。
[39] Luu,K.、Matson,C.、Snodgrass,J.、Giffin,M.、Hamada,K.和Lambert,J.,2003年。光谱数据中的物体特征。附:2003年AMOS技术会议记录,马里兰州毛伊岛,9月。;Luu,K.、Matson,C.、Snodgrass,J.、Giffin,M.、Hamada,K.和Lambert,J.,2003年。光谱数据中的物体特征。收录:2003年AMOS技术会议记录,马里兰州毛伊岛,9月。
[40] McLean,B.,Elkind,P.,2003年。房间里最聪明的人:安然公司惊人的崛起和丑闻般的倒闭。文件夹。;McLean,B.,Elkind,P.,2003年。房间里最聪明的人:安然公司惊人的崛起和丑闻般的倒闭。文件夹。
[41] 纳吉,J.G。;斯特拉科斯,Z。,《图像重建算法中的非负性增强》,数学。建模、估计和成像,4121182-190(2000)
[42] Nocedal,J。;Wright,S.,《数值优化》(1999),施普林格:柏林施普林格出版社·Zbl 0930.65067号
[43] Paatero,P.,稳健非负因子分析的最小二乘公式,化学计量学和智能。实验室系统。,37, 23-35 (1997)
[44] Paatero,P.,《多线性引擎——解决多线性问题的表驱动最小二乘程序》,包括n向并行因子分析模型,J.Compute。图形统计。,8, 4, 1-35 (1999)
[45] Paatero,P。;Tapper,U.,《正矩阵因式分解:数据值误差估计的最佳利用非负因子模型》,环境计量学,5,111-126(1994)
[46] Pauca,V.、Shahnaz,F.、Berry,M.、Plemmons,R.,2004年。使用非负矩阵分解进行文本挖掘。摘自:《第四届SIAM数据挖掘国际会议论文集》,4月22日至24日。佛罗里达州布埃纳维斯塔湖SIAM。;Pauca,V.、Shahnaz,F.、Berry,M.、Plemmons,R.,2004年。使用非负矩阵分解进行文本挖掘。摘自:《第四届SIAM数据挖掘国际会议论文集》,4月22日至24日。佛罗里达州布埃纳维斯塔湖SIAM。
[47] Pauca,P.,Piper,J.,Plemmons,R.,2006a。光谱数据分析的非负矩阵分解。线性代数应用。416 (1), 29-47.; Pauca,P.,Piper,J.,Plemmons,R.,2006a。光谱数据分析的非负矩阵分解。线性代数应用。416 (1), 29-47. ·Zbl 1096.65033号
[48] Pauca,V.,Plemmons,R.,Abercromby,K.,2006b。准备中光谱分解的物理约束非负矩阵分解方法。;Pauca,V.,Plemmons,R.,Abercromby,K.,2006b。用于光谱分解的具有物理约束的非负矩阵分解方法。
[49] Piper,J.、Pauca,V.、Plemmons,R.、Giffin,M.,2004年。利用非负因子分解和信息论从光谱数据中对目标进行表征。在:2004年AMOS技术会议记录,夏威夷毛伊岛,9月。;Piper,J.、Pauca,V.、Plemmons,R.、Giffin,M.,2004年。利用非负因子分解和信息论从光谱数据中对目标进行表征。摘自:2004年AMOS技术会议记录,马里兰州毛伊岛,9月。
[50] A广场。;马丁内斯,P。;佩雷斯,R。;Plaza,J.,《高光谱数据端元提取算法的定量和比较分析》,IEEE Trans。地球科学和遥感,42,3,650-663(2004)
[51] Polak,E.,《优化中的计算方法:统一方法》(1971),学术出版社:纽约学术出版社
[52] Powell,M.,无需计算导数即可求多变量函数最小值的有效方法,Compute。J.,7155-162(1964年)·Zbl 0132.11702号
[53] Powell,M.,《关于最小化的搜索方向》,数学。编程,4193-201(1973)·Zbl 0258.90043号
[54] Salakhutdinov,R。;Roweis,S.T。;Ghahramani,Z.,《关于边界优化算法的收敛性》,《人工智能中的不确定性》,19509-516(2003)
[55] Shahnaz,F。;贝里,M。;Pauca,V。;Plemmons,R.,使用非负矩阵分解进行文档聚类,Inform。过程。管理。,42, 2, 373-386 (2006) ·Zbl 1087.68104号
[56] Smiled,A。;R兄弟。;Geladi,P.,《多途径分析》(2004),威利出版社:英国威利西苏塞克斯
[57] Torczon,V.,关于模式搜索算法的收敛性,SIAM J.Optim。,7, 1-25 (1997) ·Zbl 0884.65053号
[58] Wang,Y.,Jiar,Y.、Hu,C.、Turk,M.,2004年。用于学习局部特征的Fisher非负矩阵分解。参加:1月27日至30日在韩国举行的亚洲计算机视觉会议。;Wang,Y.,Jiar,Y.、Hu,C.、Turk,M.,2004年。用于学习局部特征的Fisher非负矩阵分解。参加:1月27日至30日在韩国举行的亚洲计算机视觉会议。
[59] Wild,S.,2002年。基于球面k-均值聚类的种子非负矩阵分解。科罗拉多大学硕士论文。;Wild,S.,2002年。使用球形k均值聚类的非负矩阵因子分解种子。科罗拉多大学硕士论文。
[60] Wild,S.、Curry,J.、Dougherty,A.,2003年。激励非负矩阵分解。摘自:《第八届SIAM应用线性代数会议论文集》,7月15日至19日。SIAM,弗吉尼亚州威廉斯堡,\(\langle;\)http://www.siam.org/meetings/la03/会议记录\(\rangle;\);Wild,S.,Curry,J.,Dougherty,A.,2003年。激励非负矩阵分解。摘自:《第八届SIAM应用线性代数会议论文集》,7月15日至19日。SIAM,弗吉尼亚州威廉斯堡,\(\langle;\)http://www.siam.org/meetings/la03/会议记录\(\rangle;\)
[61] Wold,H.,通过迭代最小二乘法进行非线性估计,(David,F.,统计学研究论文(1966),Wiley:Wiley New York),411-444·Zbl 0161.15901号
[62] Wold,H.,《用潜在变量进行软建模:非线性迭代偏最小二乘法》(Gani,J.,《概率统计透视》(1975),学术出版社:伦敦学术出版社),411-444
[63] Xu,W.,Liu,X.,Gong,Y.,2003年。基于非负矩阵分解的文档聚类。摘自:《SIGIR’03会议录》,7月28日至8月1日,加利福尼亚州多伦多,第267-273页。;Xu,W.,Liu,X.,Gong,Y.,2003年。基于非负矩阵分解的文档聚类。摘自:《SIGIR’03会议录》,7月28日至8月1日,加利福尼亚州多伦多,第267-273页。
[64] Zangwill,W.,在不计算导数的情况下最小化函数,计算。J.,10293-296(1967)·Zbl 0189.48004号
[65] Zdunk,R.,Cichocki,A.,2006年。基于拟牛顿优化的非负矩阵分解。摘自:第八届国际人工智能和软计算会议记录,ICAISC,波兰扎科帕内,6月25-29日。;Zdunk,R.,Cichocki,A.,2006年。基于拟牛顿优化的非负矩阵分解。摘自:《第八届人工智能和软计算国际会议论文集》,ICAISC,波兰扎科帕内,6月25-29日。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。