×
三野武弘；Migita、Tsuyoshi；北川高桥

一种新的HALS算法更新规则，用于非负矩阵分解和Zangwill的全局收敛。 （英语） Zbl 1505.90125号

J.全球。优化。 84，第3期，755-781（2022）.
摘要：非负矩阵分解（NMF）作为大规模非负数据降维的一种有效技术，引起了人们的广泛关注。给定一个非负矩阵，NMF旨在通过求解一个约束优化问题来获得两个低秩非负因子矩阵。层次交替最小二乘（HALS）算法是解决此类优化问题的一种著名且广泛使用的迭代方法。然而，HALS算法中使用的原始更新规则没有得到很好的定义。本文提出了一种新的定义明确的HALS算法更新规则，并证明了其在Zangwill意义下的全局收敛性。与传统的全局收敛更新规则不同，该规则允许变量取零值，因此可以获得稀疏因子矩阵。我们还提出了保证HALS算法有限终止的两个停止条件。通过使用真实数据集的实验，证明了所提更新规则的实用性。

MSC公司：

90立方 非线性规划
15A23型 矩阵的因式分解

关键词：

非负矩阵分解；分层交替最小二乘算法；全球收敛

软件：

NeNMF公司
PDF格式BibTeX公司 XML格式引用
\textit{T.Sano}等人，J.Glob。最佳方案。84，第3号，755--781（2022；Zbl 1505.90125）
全文： 内政部
OA许可证

参考文献：

[1] Arora，S。；Ge，R。；Kannan，R。；Moitra，A.，《计算非负矩阵因式分解》，SIAM J.Compute。，45, 4, 1582-1611 (2016) ·Zbl 1350.68123号 ·doi:10.1137/130913869
[2] 贝里，MW；布朗，M。；安大略省朗维尔市；副总裁Pauca；Plemmons，RJ，近似非负矩阵分解的算法和应用，计算。统计数据分析。，52, 1, 155-173 (2007) ·Zbl 1452.90298号 ·doi:10.1016/j.csda.2006.11.006
[3] 博伊德，S。；博伊德，SP；Vandenberghe，L.，凸优化（2004），剑桥：剑桥大学出版社，剑桥·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441
[4] 蔡，D。；何，X。；Han，J。；黄，TS，用于数据表示的图正则化非负矩阵分解，IEEE Trans。模式分析。马赫。智力。，33, 8, 1548-1560 (2010)
[5] Cichocki，A。；Phan，AH，大规模非负矩阵和张量分解的快速局部算法，IEICE Trans。芬丹。电子。Commun公司。计算。科学。，92, 3, 708-721 (2009) ·doi:10.1587/transfun。E92.A.708型
[6] Cichocki，A.、Zdunk，R.、Amari，S.I.：非负矩阵和三维张量分解的层次ALS算法。在：2017年独立成分分析和信号分离国际会议记录，第169-176页（2007）·Zbl 1172.94390号
[7] Cichocki，A。；扎杜克，R。；Phan，AH；Amari，SI，《非负矩阵和张量因子分解：在探索性多路数据分析和盲源分离中的应用》（2009），霍博肯：John Wiley&Sons，霍博克·doi:10.1002/9780470747278
[8] 坎宁安，JP；Ghahramani，Z.，《线性降维：调查、见解和概括》，J.Mach。学习。第162859-2900号决议（2015年）·Zbl 1351.62123号
[9] 丁，C.，李，T.，彭，W.，Park，H.：聚类的正交非负矩阵三因子化。摘自：第十二届ACM SIGKDD国际知识发现和数据挖掘会议记录，第126-135页（2006）
[10] Domen，Y.，Migita，T.，Takahashi，N.：基于欧氏距离的非负矩阵分解的分布式HALS算法。摘自：2019年IEEE计算智能系列研讨会论文集，第1332-1337页（2019年）
[11] 多诺霍，D。；Stodden，V.，非负矩阵因式分解何时给出正确的分解？，高级神经信息处理。系统。，16111-1148（2003年）
[12] 多佛，C。；Puigt，M。；Delmaire，G。；Roussel，G.，移动传感器网络校准的知情非负矩阵分解方法，IEEE Trans。信号信息处理。净值。，4, 4, 667-682 (2018)
[13] 埃里克森，NB；Mendible，A。；Wihlborn，S。；Kutz，JN，随机非负矩阵分解，模式识别。莱特。，104, 1-7 (2018) ·doi:10.1016/j.patrec.2018.01.007
[14] 费沃特，C。；Bertin，N。；Durrieu，JL，带Itakura-Saito发散的非负矩阵因式分解：在音乐分析中的应用，神经计算。，21, 3, 793-830 (2009) ·Zbl 1156.94306号 ·doi:10.1162/neco.2008.04-08-771
[15] Gillis，N.：非负矩阵分解。SIAM（2020年）
[16] Gillis，N.，Glineur，F.：非负因子分解和最大边双液问题。arXiv电子版（2008）
[17] 吉利斯，N。；Glineur，F.，非负矩阵分解的加速乘法更新和分层ALS算法，神经计算。，24, 4, 1085-1105 (2012) ·doi:10.1162/NECO_a_00256
[18] Gligorijević，V。；Panagakis，Y。；Zafeiriou，S.，多重网络分析的非负矩阵分解，IEEE Trans。模式分析。马赫。智力。，41, 4, 928-940 (2018) ·doi:10.1109/TPAMI.2018.2821146
[19] Gonzalez，E.F.，Zhang，Y.：加速非负矩阵分解的Lee Seung算法。技术代表（2005）
[20] 关，N。；陶，D。；罗，Z。；Yuan，B.，NeNMF:非负矩阵分解的最优梯度法，IEEE Trans。信号处理。，60, 6, 2882-2898 (2012) ·兹比尔1391.65115 ·doi:10.1109/TSP.2012.2190406
[21] Halko，N。；马丁森，PG；Tropp，JA，《寻找随机性结构：构建近似矩阵分解的概率算法》，SIAM Rev.，53，2，217-288（2011）·Zbl 1269.65043号 ·数字对象标识代码：10.1137/090771806
[22] 哈蒙，R。；Borganta，P。；法兰德林，P。；Robardet，C.，从基于图形的信号中提取时间网络结构，IEEE Trans。信号信息处理。净值。，2, 2, 215-226 (2016)
[23] Ho，N.D.：非负矩阵分解算法和应用。卢万天主教大学博士论文（2008年）
[24] Hoyer，P.O.：非负稀疏编码。摘自：第十二届IEEE信号处理神经网络研讨会论文集，第557-565页（2002）
[25] Hoyer，PO，稀疏约束下的非负矩阵分解，J.Mach。学习。第5号决议，1457-1469（2004年）·Zbl 1222.68218号
[26] Xieh，C.J.，Dhillon，I.S.：非负矩阵因式分解的快速坐标下降法，带变量选择。摘自：第17届ACM SIGKDD国际知识发现和数据挖掘会议记录，第1064-1072页（2011）
[27] Kim，J。；何毅。；Park，H.，《非负矩阵和张量分解算法：基于块坐标下降框架的统一视图》，J.Glob。最佳。，58, 2, 285-319 (2014) ·Zbl 1321.90129号 ·doi:10.1007/s10898-013-0035-4
[28] Kim，J。；Park，H.，《快速非负矩阵分解：一种活性集样方法和比较》，SIAM J.Sci。计算。，33, 6, 3261-3281 (2011) ·Zbl 1232.65068号 ·数字对象标识代码：10.1137/10821172
[29] Kimura，T.，Takahashi，N.：非负矩阵分解的改进HALS算法的全局收敛性。摘自：2015年IEEE第六届多传感器自适应处理计算进展国际研讨会论文集，第21-24页（2015）
[30] 木村，T。；Takahashi，N.，Gauss-Seidel HALS算法，用于稀疏和平滑约束下的非负矩阵分解，IEICE Trans。芬丹。电子。Commun公司。计算。科学。，100, 12, 2925-2935 (2017) ·doi:10.1587/transfun。E100.A.2925
[31] 北村，D。；小野，N。；Sawada，H。；Kameoka，H。；Saruwatari，H.，统一独立向量分析和非负矩阵分解的确定盲源分离，IEEE/ACM Trans。音频语音语言处理。，24, 9, 1626-1641 (2016) ·doi:10.1109/TASLP.2016.2577880
[32] Lee，DD；Seung，HS，通过非负矩阵分解学习对象的各个部分，Nature，401，6755，788-791（1999）·Zbl 1369.68285号 ·doi:10.1038/44565
[33] Lee，D.D.，Seung，H.S.：非负矩阵分解的算法。《神经信息处理系统进展》，第556-562页（2001年）
[34] 李，Z。；Tang，J。；He，X.，图像表示的稳健结构非负矩阵分解，IEEE Trans。神经网络。学习。系统。，29, 5, 1947-1960 (2017) ·doi:10.1109/TNNLS.2017.2691725
[35] Lin，CJ，关于非负矩阵分解乘法更新算法的收敛性，IEEE Trans。神经网络。，18, 6, 1589-1596 (2007) ·doi:10.109/TNN.2007.895831
[36] Lin，CJ，非负矩阵分解的投影梯度法，神经计算。，19, 10, 2756-2779 (2007) ·Zbl 1173.90583号 ·doi:10.1162/neco.2007.19.10.2756
[37] 卢，S。；洪，M。；Wang，Z.，对称非负矩阵分解的一种非凸分裂方法：收敛性分析和最优性，IEEE Trans。信号处理。，65, 12, 3120-3135 (2017) ·Zbl 1414.94392号 ·doi:10.1109/TSP.2017.2679687
[38] Nakatsu，S.，Takahashi，N.：一种新的Newton型算法，用于具有α-扩散的非负矩阵分解。2017年神经信息处理国际会议记录，第335-344页。施普林格（2017）
[39] Paatero，P。；Tapper，U.，《正矩阵因式分解：数据值误差估计的最佳利用非负因子模型》，环境计量学，5，2，111-126（1994）·doi:10.1002/env.3170050203
[40] 副总裁Pauca；派珀，J。；Plemmons，RJ，光谱数据分析的非负矩阵分解，线性代数应用。，416, 1, 29-47 (2006) ·Zbl 1096.65033号 ·doi:10.1016/j.laa.2005.06.025
[41] Pauca，V.P.，Shahnaz，F.，Berry，M.W.，Plemmons，R.J.：使用非负矩阵分解进行文本挖掘。摘自：2004年SIAM国际数据挖掘会议记录，第452-456页（2004）
[42] 拉扎维亚因，M。；洪，M。；Luo，ZQ，非光滑优化分块逐次极小化方法的统一收敛性分析，SIAM J.Optim。，23, 2, 1126-1153 (2013) ·Zbl 1273.90123号 ·doi:10.1137/120891009
[43] Recht，B。；关于C。；特罗普，J。；Bittorf，V.，用线性程序分解非负矩阵，高级神经信息处理。系统。，25, 1214-1222 (2012)
[44] Sano，T.、Migita，T.和Takahashi，N.：基于α-扩散的非负矩阵分解的阻尼牛顿算法。摘自：2019年第6届系统与信息学国际会议记录，第463-468页。IEEE（2019）
[45] Sriperumbudur，B.K.，Lanckriet，G.R.：关于凹-凸过程的收敛性。载：第22届神经信息处理系统国际会议记录，第1759-1767页（2009年）
[46] 高桥，N。；Hibi，R.，非负矩阵因式分解修正乘法更新的全局收敛性，计算。最佳方案。申请。，57, 2, 417-440 (2014) ·Zbl 1305.65135号 ·doi:10.1007/s10589-013-9593-0
[47] 高桥，N。；Katayama，J。；Seki，M。；Takeuchi，J.，非负矩阵分解乘法更新规则的统一全局收敛性分析，计算。最佳方案。申请。，7121-250（2018）·Zbl 1427.90269号 ·doi:10.1007/s10589-018-9997-y
[48] 高桥，N。；Nishi，T.，支持向量机分解学习方法的全局收敛性，IEEE Trans。神经网络。，17, 6, 1362-1369 (2006) ·doi:10.1109/TNN.2006.880584
[49] Vavasis，SA，关于非负矩阵分解的复杂性，SIAM J.Optim。，20, 3, 1364-1377 (2010) ·Zbl 1206.65130号 ·doi:10.1137/070709967
[50] Wang，F。；李·T。；王，X。；朱，S。；丁，C.，使用非负矩阵分解的社区发现，Data Min.Knowl。发现。，22, 3, 493-521 (2011) ·Zbl 1235.68034号 ·doi:10.1007/s10618-010-0181-y
[51] 沃尔德，S。；Esbensen，K。；Geladi，P.，主成分分析，化学。智力。实验室系统。，2, 1-3, 37-52 (1987) ·doi:10.1016/0169-7439（87）80084-9
[52] 杨，Z。；Oja，E.，线性和二次非负矩阵因式分解乘法算法的统一开发，IEEE Trans。神经网络。，22, 12, 1878-1891 (2011) ·doi:10.1109/TNN.2011.2170094
[53] 威斯康星州Zangwill，《非线性规划：统一方法》（1969），新泽西州恩格伍德悬崖：普伦蒂斯·霍尔，恩格伍德崖，新泽西·Zbl 0195.20804号
[54] Zdunk，R.，Cichocki，A.：具有拟Newton优化的非负矩阵分解。摘自：人工智能和软计算国际会议，第870-879页（2006）
[55] Zdunk，R.，Fonal，K.：用于高维信号特征提取的随机非负张量因子分解。摘自：2018年第25届系统、信号和图像处理国际会议，第1-5页（2018）
[56] Zhang，W.，Sun，H.，Liu，X.，Guo，X.：通过非负张量因子分解的支持QoS的暂时web服务推荐。在：第23届国际万维网会议记录，第585-596页（2014）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。