×

稀疏约束下正交非负矩阵分解的两种快速矢量更新算法。 (英语) Zbl 1435.65065号

摘要:最近,引入了正交非负矩阵分解(ONMF),并证明其在聚类任务中非常有效。由于非负性和正交性约束,ONMF的正交因子矩阵是自然稀疏的。基于这一事实,通过在正交系数矩阵上引入稀疏性约束,我们提出了两种基于层次交替最小二乘(HALS)和块Prox-linear(BPL)方法的矢量化近似稀疏正交非负矩阵分解(SONMF)算法。在温和的条件下,得到了一些全局收敛结果。包括合成数据集和真实数据集的数值结果表明,所提出的算法计算出了高精度的值,并且性能优于其他测试ONMF方法。

MSC公司:

65层25 数值线性代数中的正交化
65层50 稀疏矩阵的计算方法
15A23型 矩阵的因式分解

软件:

BSDS公司
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Paatero,P。;Tapper,U.,《正矩阵因子分解:一个最佳利用数据值误差估计的非负因子模型》,Environmetrics,5111-126(2011)
[2] Lee,D。;Seung,H.,通过非负矩阵分解学习对象的各个部分,《自然》,401,788-791(1999)·Zbl 1369.68285号
[3] Lee,D。;Seung,H.,非负矩阵分解算法,高级神经过程。信息系统。,13, 556-562 (2001)
[4] 沙·F。;索尔·L。;Lee,D.,支持向量机中非负二次规划的乘法更新,高级神经信息处理。系统。,1041-1048 (2003)
[5] Cichocki,A。;扎杜克,R。;Phan,A.H。;Amari,S.I.,《非负矩阵和张量因子分解:探索性多路数据分析和盲源分离的应用》(2009),John Wiley&Sons,Ltd:John Wiley&Sons,Ltd,英国奇切斯特
[6] 周,G。;Cichocki,A。;Xie,S.,基于低阶近似的快速非负矩阵/张量因式分解,IEEE Trans。信号处理。,6, 2928-2940 (2012) ·兹比尔1391.65117
[7] 布鲁内特,J。;Tamayo,P。;Golub,T。;Mesirov,J.,《利用矩阵分解发现转基因和分子模式》,Proc。国家。阿卡德。科学。美国,1014164-4169(2004)
[8] 库珀,M。;Foote,J.,使用非负相似矩阵分解总结视频,(IEEE多媒体信号处理研讨会(2002)),25-28
[9] Hoyer,P.O.,稀疏约束下的非负矩阵分解,J.Mach。学习。第5号决议,1457-1469(2004年)·Zbl 1222.68218号
[10] S.Li,X.Hou,H.Zhang,Q.Cheng,学习空间局部化、基于部件的表示,收录于:IEEE计算机视觉与模式识别学报,2001年,第207-212页。
[11] Paatero,P。;Tapper,U.,《正矩阵因式分解:最优利用数据值误差估计的非负因子模型》,Environmetrics,5,111-126(1994)
[12] 徐伟,刘晓霞,龚义勇,基于非负矩阵分解的文献聚类,载《第26届国际ACM SIGIR信息检索研究与开发会议论文集》,2003年,第267-273页。
[13] 朱,X。;李,J。;Zhang,Z.,带约束的非负矩阵因式分解,J.Compute。数学。,36, 1-15 (2018)
[14] Nguyen,D。;Ho,T.,针对大型稀疏数据集具有KL发散的非负矩阵分解的快速并行随机化算法,Int.J.Mach。学习。计算。,6, 111-116 (2016)
[15] 丁,C。;李·T。;彭,W。;Park,H.,用于聚类的正交非负矩阵三因子化,(第十二届ACM SIGKDD国际知识发现和数据挖掘会议论文集(2006),ACM出版社:纽约ACM出版社),126-135
[16] Choi,S.,正交非负矩阵分解算法,(IEEE国际联合协调神经网络,2008,IJCNN 2008,IEEE计算智能世界大会(2008)),1828-1832
[17] Li,Z。;吴晓东。;Peng,H.,正交子空间上的非负矩阵分解,模式识别。莱特。,31, 905-911 (2010)
[18] Mirzal,A.,正交非负矩阵分解的收敛算法,J.计算。申请。数学。,260, 149-166 (2014) ·Zbl 1293.65066号
[19] Yoo,J。;Choi,S.,正交约束下的非负矩阵分解,J.Compute。科学。工程,4,97-109(2010)
[20] Yoo,J。;Choi,S.,用于共聚类的正交非负矩阵三因子分解:stiefel流形上的乘法更新,Inf.Process。管理。,46, 559-570 (2010)
[21] 李,B。;周国喜。;Cichocki,A.,近似正交非负矩阵分解的两种有效算法,IEEE信号处理。莱特。,22, 843-846 (2015)
[22] 莫鲁普,M。;Madsen,K.H。;Hansen,L.K.,近似\(L_0\)约束非负矩阵和张量分解,(2008年IEEE电路与系统国际研讨会(2008)),1328-1331
[23] 陶,D。;陶,D。;李,X。;高,X。;Wei,K.,用于图像注释的大型稀疏锥非负矩阵分解,ACM Trans。智力。系统。技术。,8, 37 (2017)
[24] Tropp,J.A.,Just relax:识别稀疏信号的凸编程方法,IEEE Trans。Inf.理论,52,1030-1051(2006)·Zbl 1288.94025号
[25] 曾,P。;Yun,S.,非光滑可分离极小化的坐标梯度下降法,数学。程序。,117, 387-423 (2009) ·Zbl 1166.90016号
[26] A.H.Phan,A.Cichocki,使用快速分层交替最小二乘算法(HALS)的多路非负张量因式分解,摘自:2008年非线性理论及其应用国际研讨会论文集,2008年,第41-44页。
[27] Mahoney,M.W.,矩阵和数据的随机算法,Found。趋势马赫数。学习。,3, 123-224 (2011) ·Zbl 1232.68173号
[28] C.Hsieh,I.Dhillon,非负矩阵因式分解的变量选择快速坐标下降法,收录于:第17届ACMSIGKDD国际会议知识发现和数据挖掘会议论文集,2011年,第1064-1072页。
[29] Zangwill,W.,《非线性规划:统一方法》(1969),新泽西州普伦蒂斯·霍尔:普伦蒂斯霍尔·恩格尔伍德克利夫斯·Zbl 0195.20804号
[30] 博伊德,S。;Vandenberghe,L.,《凸优化》(2004),剑桥大学出版社:剑桥大学出版社·Zbl 1058.90049号
[31] Xu,Y。;Yin,W.,正则化多凸优化的块坐标下降法及其在非负张量分解和完成中的应用,SIAM J.成像科学。,6, 1758-1789 (2013) ·Zbl 1280.49042号
[32] Xu,Y。;Yin,W.,基于块坐标更新的非凸优化的全局收敛算法,J.Sci。计算。,72, 700-734 (2017) ·Zbl 1378.65126号
[33] 潘,J。;Ng,M.,通过稀疏性和核范数优化的正交非负矩阵分解,SIAM J.矩阵分析。申请。,39, 856-875 (2018) ·Zbl 1391.65111号
[34] 蔡,D。;何,X.F。;Han,J.W。;Huang,T.S.,数据表示的图正则化非负矩阵分解,IEEE Trans。模式分析。机器。智力。,33, 1548-1560 (2011)
[35] 蔡,D。;何,X。;Han,J.W.,加速核判别分析,VLDB J.,20,21-33(2011)
[36] 蔡,D。;何,X。;Han,J.W。;张海杰,人脸识别的正交拉普拉斯人脸,IEEE Trans。图像处理。,15, 3608-3614 (2006)
[37] D.Cai,X.He,J.W.Han,高效正则化子空间学习的谱回归,收录于:ICCV’07。
[38] Zhao,Y。;Karypis,G.,《文档聚类的标准函数:实验和分析》,(第十一届信息和知识管理会议(2002年)),515-524
[39] 马丁·D·。;Fowlkes,C。;塔尔·D。;Malik,J.,人类分割的自然图像数据库及其在评估分割算法和测量生态统计中的应用,(Proc.Intl Conf.Computer Vision,Vol.2(2001)),416-423
[40] 王,Z。;博维克,A.C。;谢赫,H.R。;Simoncelli,E.P.,《图像质量评估:从错误可见性到结构相似性》,IEEE Trans。图像处理。,13, 600-612 (2004)
[41] Pauca,V。;派珀,J。;Plemmons,R.,光谱数据分析的非负矩阵分解,线性代数应用。,406, 29-47 (2006) ·兹比尔1096.65033
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。