Chu，Delin朱德琳;Shi、Weya;斯里尼瓦·埃斯瓦尔;海森公园 非负矩阵因式分解的交替秩-（k）非负最小二乘框架（ARkNLS）。 （英语） Zbl 07414036号 SIAM J.矩阵分析。申请。 42，第4期，1451-1479（2021）. 摘要：非负矩阵分解（NMF）是一种显著的数据降维技术，已被广泛用于文本挖掘、计算机视觉、模式发现和生物信息学。本文提出了一个计算NMF的框架ARkNLS（交替秩-（k）非负约束最小二乘）。首先，建立了秩-（k）非负约束最小二乘（NLS）解的递推公式。此递推公式可用于导出任意整数的秩-（k）NLS问题的闭式解。因此，交替秩-（k）非负最小二乘框架的每个子问题都可以基于此闭式解得到。假设NMF计算中涉及秩-\（k\）NLS的所有矩阵都是满秩的，那么当前最好的两种NMF算法HALS（层次交替最小二乘法）和ANLS-BPP（基于块主枢轴的交替NLS）可以被视为ARkNLS的特例，其中秩-\（r\）NMF具有\（k=1\）和\（k=r\），分别是。然后，本文重点讨论了具有（k=3）的框架，它通过秩-3的闭式解导出了一种新的NMF算法荷兰统计局问题。此外，一种新的策略有效地克服了等级-3中潜在的奇异性问题荷兰统计局在NMF计算的背景下也进行了介绍。使用真实数据集和合成数据集进行的大量数值比较表明，该算法在计算精度和CPU时间方面提供了最先进的性能。 引用于2文件 MSC公司： 2015财年65 矩阵特征值和特征向量的数值计算 65层60 矩阵指数和相似矩阵函数的数值计算 65层10 线性系统的迭代数值方法 关键词：非负矩阵分解;非负最小二乘法;秩-（k）剩余迭代;块坐标下降法 软件：层次NMF2;SymNMF公司 PDF格式BibTeX公司 XML格式引用 \textit{D.Chu}等人，SIAM J.矩阵分析。申请。42，编号4，1451-1479（2021；兹bl 07414036） 全文： 内政部 arXiv公司 参考文献： [1] A.M.S.Ang和N.Gillis，使用外推加速非负矩阵分解算法，神经计算。，31（2019），第417-439页，https://doi.org/10.1162/neco_a_01157。 ·Zbl 1470.65083号 [2] T.Bouwmans、A.Sobral、S.Javed、S.K.Jung和E.-H.Zahzah，分解为低秩加性矩阵用于背景/前景分离：与大规模数据集的比较评估综述，计算。科学。第23版（2017年），第1-71页，https://doi.org/10.1016/j.cosrev-2016.11.001。 ·兹比尔1398.68572 [3] R.Bro和S.De Jong，快速非负约束最小二乘算法，《化学计量学杂志》，11（1997），第393-401页，https://doi.org/10.1002/（SICI）1099-128X（199709/10）11:5<393:：AID-CEM483>3.0.CO；2-L。 [4] J.-P.Brunet、P.Tamayo、T.R.Golub和J.P.Mesirov，《利用矩阵分解发现转基因和分子模式》，Proc。国家。阿卡德。科学。美国，101（2004），第4164-4169页，https://doi.org/10.1073/pnas.0308531101。 [5] I.Buciu，非负矩阵分解，一种新的特征提取工具：理论与应用，国际。J.计算。Commun公司。控制，3（2008），第67-74页。 [6] Y.T.Chow，T.Wu，and W.Yin，《定点问题的循环协调更新算法：分析与应用》，SIAM J.Sci。计算。，39（2017），第A1280-A1300页，https://doi.org/10.1137/16M1102653。 ·Zbl 1368.90104号 [7] A.Cichocki和A.-H.Phan，大规模非负矩阵和张量分解的快速局部算法，IEICE Trans。基金。电子。Commun公司。计算。科学。，92（2009），第708-721页，https://doi.org/10.1587/transun.E92.A.708。 [8] A.Cichocki、R.Zdunk和S.-I.Amari，非负矩阵和三维张量因子分解的层次ALS算法，《独立分量分析和信号分离国际会议论文集》，Springer，2007年，第169-176页，https://doi.org/10.1007/978-3-540-74494-8_22。 ·Zbl 1172.94390号 [9] A.Cichocki、R.Zdunk、A.H.Phan和S.-I.Amari，《非负矩阵和张量因子分解：探索性多路数据分析和盲源分离的应用》，John Wiley&Sons，纽约，2009年，https://doi.org/10.1002/9780470747278。 [10] G.Cui，X.Li，Y.Dong，子空间聚类引导的凸非负矩阵分解，神经计算，292（2018），第38-48页，https://doi.org/10.1016/j.neucom.2018.02.067。 [11] K.Devarajan，《非负矩阵分解：计算生物学中的分析和解释工具》，《公共科学图书馆·计算》。生物，4（2008），e1000029，https://doi.org/10.1371/journal.pcbi.1000029。 [12] B.Dong、M.M.Lin和H.Park，《整数矩阵近似和数据挖掘》，科学杂志。计算。，75（2018），第198-224页，https://doi.org/10.1007/s10915-017-0531-7。 ·Zbl 1388.90092号 [13] B.Drake、T.Huang、A.Beavers、R.Du和H.Park，《基于非负矩阵分解的事件检测：违反停火、环境和恶意软件事件》，载于《国际应用人为因素和工效学会议论文集》，施普林格，2017，第158-169页，https://doi.org/10.1007/978-3-319-60585-2_16。 [14] R.Du、B.Drake和H.Park，基于内容和连接结构的混合聚类，使用联合非负矩阵分解，J.Global Optim。，74（2019），第861-877页，https://doi.org/10.1007/s10898-017-0578-x。 ·兹比尔1434.15011 [15] R.Du，D.Kuang，B.Drake，和H.Park，DC-NMF：基于分治的非负矩阵分解，用于快速聚类和主题建模，J.Global Optim。，68（2017），第777-798页，https://doi.org/10.1007/s10898-017-0515-z。 ·兹比尔1379.90025 [16] R.Du、D.Kuang、B.Drake和H.Park，通过秩-2对称非负矩阵分解进行层次社区检测，计算。Soc.Netw.公司。，4（2017），第7页，https://doi.org/10.1186/s40649-017-0043-5。 [17] N.B.Erichson、A.Mendible、S.Wihlborn和J.N.Kutz，随机非负矩阵因式分解，模式识别。莱特。，104（2018），第1-7页，https://doi.org/10.1016/j.patrec.2018.01.007。 [18] R.Fujimoto、A.Guin、M.Hunter、H.Park、G.Kanitkar、R.Kannan、M.Milholen、S.Neal和P.Pecher，《车辆跟踪的动态数据驱动应用系统》，Proc。计算。科学。，29（2014），第1203-1215页，https://doi.org/10.1016/j.procs.2014.05.108。 [19] N.Gillis，D.Kuang和H.Park，使用二阶非负矩阵分解对高光谱图像进行分层聚类，IEEE Trans。地质科学。遥感，53（2014），第2066-2078页，https://doi.org/10.109/TGRS.2014.2352857。 [20] 何振清和袁晓元，用于鲁棒对称非负矩阵分解的块迭代重加权算法，IEEE信号处理。莱特。，25（2018），第1510-1514页，https://doi.org/10.109/LSP.2018.2865857。 [21] N.Ho，《非负矩阵分解算法与应用》，鲁汶天主教大学博士论文，2008年。 [22] P.O.Hoyer，稀疏约束下的非负矩阵分解，J.Mach。学习。Res.，5（2004），第1457-1469页·Zbl 1222.68218号 [23] D.Kim、S.Sra和I.S.Dhillon，《最小二乘非负矩阵近似问题的快速牛顿型方法》，载《2007年SIAM国际数据挖掘会议论文集》，SIAM，宾夕法尼亚州费城，2007年，第343-354页，https://doi.org/10.1137/1.9781611972771.31。 [24] H.Kim和H.Park，通过交替非负约束最小二乘法进行微阵列数据分析的稀疏非负矩阵分解，生物信息学，23（2007），第1495-1502页，https://doi.org/10.1093/bioinformatics/btm134。 [25] H.Kim和H.Park，基于交替非负约束最小二乘和活动集方法的非负矩阵分解，SIAM J.matrix Anal。申请。，30（2008），第713-730页，https://doi.org/10.1137/07069239X。 ·Zbl 1162.65354号 [26] J.Kim，《非负矩阵和张量因子分解，最小二乘问题及其应用》，博士论文，佐治亚理工学院，2011年。 [27] J.Kim、Y.He和H.Park，非负矩阵和张量分解算法：基于块坐标下降框架的统一视图，J.Global Optim。，58（2014），第285-319页，https://doi.org/10.1007/s10898-013-0035-4。 ·Zbl 1321.90129号 [28] J.Kim和H.Park，《迈向更快的非负矩阵因式分解：一种新的算法和比较》，载于《2008年IEEE第八届数据挖掘国际会议论文集》，IEEE，2008年，第353-362页，https://doi.org/10.109/ICDM.2008.149。 [29] J.Kim和H.Park，《快速非负矩阵因式分解：一种活性集样方法和比较》，SIAM J.Sci。计算。，33（2011），第3261-3281页，https://doi.org/10.1137/110821172。 ·Zbl 1232.65068号 [30] D.Kuang、C.Ding和H.Park，图聚类的对称非负矩阵分解，《2012年SIAM国际数据挖掘会议论文集》，SIAM，宾夕法尼亚州费城，2012年，第106-117页，https://doi.org/10.1137/1.9781611972825.10。 [31] D.Kuang和H.Park，用于分层文档聚类的快速秩2非负矩阵分解，载《第19届ACM SIGKDD国际知识发现和数据挖掘会议论文集》，2013年，第739-747页，https://doi.org/10.1145/2487575.2487606。 [32] D.Kuang，S.Yun和H.Park，SymNMF:用于图聚类的相似矩阵的非负低秩近似，J.Global Optim。，62（2015），第545-574页，https://doi.org/10.1007/s10898-014-0247-2。 ·Zbl 1326.90080号 [33] C.L.Lawson和R.J.Hanson，解决最小二乘问题，SIAM，费城，宾夕法尼亚州，1995年，https://doi.org/10.1137/1.9781611971217。 ·Zbl 0860.65029号 [34] D.D.Lee和H.S.Seung，通过非负矩阵分解学习对象的各个部分，《自然》，401（1999），第788-791页，https://doi.org/10.1038/44565。 ·Zbl 1369.68285号 [35] 李振华，吴旭，彭海鹏，正交子空间上的非负矩阵分解，模式识别。莱特。，31（2010），第905-911页，https://doi.org/10.1016/j.patrec.2009.12.023。 [36] 林春杰，非负矩阵分解的投影梯度法，神经计算。，19（2007），第2756-2779页，https://doi.org/10.1162/neco.2007.19.10.2756。 ·Zbl 1173.90583号 [37] H.Liu和Y.Zhou，非负矩阵分解的秩二剩余迭代法，神经计算，74（2011），第3305-3312页，https://doi.org/10.1016/j.neucom.2011.05.011。 [38] P.Luo，J.Peng，Z.Guan，J.Fan，用于聚类的对偶正则化多视图非负矩阵分解，神经计算，294（2018），第1-11页，https://doi.org/10.1016/j.neucom.2017.10.023。 [39] M.Merritt和Y.Zhang，大规模完全非负最小二乘问题的内点梯度法，J.Optim。理论应用。，126（2005），第191-202页，https://doi.org/10.1007/s10957-005-2668-z。 ·邮编1093.90084 [40] H.-W.Ng和S.Winkler，《清洗大面数据集的数据驱动方法》，摘自2014年IEEE图像处理国际会议（ICIP）论文集，IEEE，2014年，第343-347页，https://doi.org/10.109/ICIP.2014.7025068。 [41] P.Paatero和U.Tapper，《正矩阵因式分解：最优利用数据值误差估计的非负因子模型》，《环境计量学》，5（1994），第111-126页，https://doi.org/10.1002/env.3170050203。 [42] V.P.Pauca、J.Piper和R.J.Plemmons，光谱数据分析的非负矩阵分解，线性代数应用。，416（2006），第29-47页，https://doi.org/10.1016/j.laa.2005.06.025。 ·兹比尔1096.65033 [43] V.P.Pauca、F.Shahnaz、M.W.Berry和R.J.Plemmons，《使用非负矩阵分解进行文本挖掘》，载《2004年SIAM国际数据挖掘会议论文集》，SIAM，宾夕法尼亚州费城，2004年，第452-456页，https://doi.org/10.1137/1.9781611972740.45。 [44] X.Peng，D.Chen，D.Xu，半监督最小二乘非负矩阵因式分解和基于图形的扩展，神经计算，320（2018），第98-111页，https://doi.org/10.1016/j.neucom.2018.09.026。 [45] A.Sapienza、A.Bessi和E.Ferrara，在线游戏中人类行为模式挖掘的非负张量因子分解，《信息》，9（2018），第66页，https://doi.org/10.3390/info9030066。 [46] J.Sun、Z.Wang、F.Sun和H.Li，用于图像联合聚类的稀疏双图形规则化nmf，神经计算，316（2018），第156-165页，https://doi.org/10.1016/j.neucom.2018.07.062。 [47] A.Tosyali、J.Kim、J.Choi和M.K.Jeong，定向网络中聚类的正则化非对称非负矩阵分解，模式识别。莱特。，125（2019），第750-757页，https://doi.org/10.1016/j.patrec.2019.07.005。 [48] M.H.Van Benthem和M.R.Keenan，求解大规模非负约束最小二乘问题的快速算法，《化学计量学杂志》，18（2004），第441-450页，https://doi.org/10.1002/cem.889。 [49] C.Wang，X.Song，and J.Zhang，用于图像表示的带样本多样性的图正则化非负矩阵分解，工程应用。Artif公司。智力。，68（2018），第32-39页，https://doi.org/10.1016/j.engappai.2017.10.108。 [50] 王永霞，张永杰，非负矩阵因式分解：综合评述，IEEE Trans。知识数据工程，25（2012），第1336-1353页，https://doi.org/10.109/TKDE.2012.51。 [51] B.Wu，E.Wang，Z.Zhu，W.Chen，and P.Xiao，具有聚类范数的流形NMF，神经计算，273（2018），第78-88页，https://doi.org/10.1016/j.neucom.2017.08.025。 [52] 徐伟，刘晓霞，龚永勇，基于非负矩阵分解的文档聚类，载《第26届国际ACM SIGIR信息检索研究与开发会议论文集》，2003年，第267-273页，https://doi.org/10.1145/860435.860485。 [53] R.Zdunk和A.Cichocki，用拟Newton优化进行非负矩阵分解，《人工智能与软计算国际会议论文集》，Springer，2006年，第870-879页，https://doi.org/10.1007/11785231_91。 [54] R.Zdunek和A.Cichocki，大型问题中使用投影梯度方法的快速非负矩阵分解算法，Comput。智力。神经科学。，2008 (2008), https://doi.org/10.1155/2008/939567。 ·兹比尔1390.94506 [55] 朱凤琴，P.Honeine，在线核非负矩阵因式分解，信号处理。，131（2017），第143-153页，https://doi.org/10.1016/j.sigpro.2016.08.011。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。