×
北川高桥;片山，二郎;马萨托·塞基;Jun’ichi竹内

非负矩阵分解乘法更新规则的统一全局收敛性分析。 （英语） Zbl 1427.90269号

计算。优化。应用。 71，第1期，221-250（2018）。
摘要：乘法更新规则是一种著名的非负矩阵分解计算方法。根据两个矩阵之间的误差度量，迄今为止已经提出了各种类型的乘法更新规则。然而，它们的收敛性质尚未完全理解。本文提供了一般乘法更新规则具有全局收敛性的充分条件，即任何解序列都至少有一个收敛子序列，且任何收敛子序列的极限是优化问题的一个稳定点。利用这个条件，证明了许多现有的乘法更新规则如果稍加修改，使所有变量都取正值，则具有全局收敛性。本文还基于Kullback-Leibler、Gamma和Rényi发散提出了新的乘法更新规则。结果表明，如果进行同样的修改，这三个规则具有全局收敛性。

引用于1文件

MSC公司：

90立方 非线性规划
90 C90 数学规划的应用
68瓦40 算法分析
15A23型 矩阵的因子分解

关键词：

非负矩阵分解;乘法更新规则;全球收敛

软件：

NeNMF公司
PDF格式BibTeX公司 XML格式引用
\textit{N.Takahashi}等人，计算。优化。申请。71，编号1221-250（2018；兹bl 1427.90269）
全文： 内政部

参考文献：

[1] 巴多，R；贝尔廷，N；Vincent，E，乘法更新算法的稳定性分析及其在非负矩阵分解中的应用，IEEE Trans。神经网络。，21, 1869-1881, (2010) ·doi:10.1109/TNN.2010.2076831
[2] Berman，A.，Plemmons，R.：数学科学中的非负矩阵。纽约学术出版社（1979）·Zbl 0484.15016号
[3] 贝里，MW；Browne，M，使用非负矩阵分解的电子邮件监控，计算。数学。器官。理论，11，249-264，（2005）·Zbl 1086.68502号 ·doi:10.1007/s10588-005-5380-5
[4] 坎贝尔，SL；Poole，GD，计算非负秩因式分解，线性代数应用。，35, 175-182, (1981) ·Zbl 0452.15018号 ·doi:10.1016/0024-3795（81）90272-X
[5] 陈，JC，非负矩阵的非负秩分解，线性代数应用。，62, 207-217, (1984) ·Zbl 0561.15007号 ·doi:10.1016/0024-3795（84）90096-X
[6] Chi，EC；Kolda，TG，关于张量、稀疏性和非负因子分解，SIAM J.矩阵分析。申请。，33, 1272-1299, (2012) ·Zbl 1262.15029号 ·数字对象标识代码：10.1137/10859063
[7] Cichocki，A；李，H；Kim，YD；Choi，S，带α散度的非负矩阵分解，模式识别。莱特。，29, 1433-1440, (2008) ·doi:10.1016/j.patrec.2008.02.016
[8] Cichocki，A；Phan，AH，大规模非负矩阵和张量因式分解的快速局部算法，IEICE Trans。芬丹。电子。Commun公司。计算。科学。，E92-A，708-721，（2009）·doi:10.1587/转移。E92.A.708型
[9] Cichocki，A.，Zdunek，R.，Amari，S.I.：非负矩阵和三维张量分解的分层ALS算法。摘自：《计算机科学讲义》，第4666卷，第169-176页。施普林格（2007）·Zbl 1172.94390号
[10] Cichocki，A.，Zdunek，R.，Phan，A.H.，Amari，S.I.：非负矩阵和张量因子分解。威利，西苏塞克斯（2009）·doi:10.1002/9780470747278
[11] Dhillon，I.S.，Sra，S.：具有Bregman发散的广义非负矩阵近似。摘自：《神经信息处理系统进展》，第283-290页（2005年）
[12] Févotte，C；Bertin，N；Durrieu，JL，带itakura-Saito散度的非负矩阵分解：在音乐分析中的应用，神经计算。，21, 793-830, (2009) ·Zbl 1156.94306号 ·doi:10.1162/neco.2008.04-08-771
[13] Févotte，C；Idier，J，带β散度的非负矩阵分解算法，神经计算。，23, 2421-2456, (2011) ·Zbl 1231.65072号 ·doi:10.1162/NECO_a_00168
[14] 费内索，L；非负矩阵因式分解与I-散度交替极小化，线性代数应用。，416, 270-287, (2006) ·Zbl 1109.15007号 ·doi:10.1016/j.laa.2005.11.012
[15] Gillis，N.，Glineur，F.：非负因子分解和最大边双液问题。arXiv电子版（2008）·Zbl 1305.90349号
[16] Gonzalez，E.F.，Zhang，Y.：加速非负矩阵分解的Lee-Seung算法。部门计算与申请。数学。，莱斯大学，德克萨斯州休斯顿，技术代表TR-05-02（2005）
[17] 关，N；陶，D；罗，Z；Yuan，B，Nenmf:非负矩阵分解的最优梯度法，IEEE Trans。信号处理。，60, 2882-2898, (2012) ·Zbl 1391.65115号 ·doi:10.1109/TSP.2012.2190406
[18] Guillamet，D.，Vitria，J.：人脸识别的非负矩阵分解。摘自：《人工智能课堂讲稿》，第336-344页。施普林格（2002）·兹比尔1028.68642
[19] 汉森，S；Plantenga，T；Kolda，TG，Kullback-Leibler非负张量因子分解的基于牛顿的优化，Optim。方法软件。，30, 1002-1029, (2015) ·Zbl 1336.90086号 ·doi:10.1080/10556788.2015.1009977
[20] Holzapfel，A；Stylianou，Y，使用基于非负矩阵分解的特征进行音乐类型分类，IEEE Trans。音频语音语言处理。，16, 424-434, (2008) ·doi:10.1109/TASL.2007.909434
[21] Xieh，C.J.，Dhillon，I.S.：非负矩阵因式分解的快速坐标下降法，带变量选择。摘自：第17届ACM SIGKDD国际知识发现和数据挖掘会议记录，第1064-1072页。ACM（2011）
[22] Katayama，J.，Takahashi，N.，Takeuchi，J.：非负矩阵分解的修正乘法更新的有界性。摘自：第五届多传感器自适应处理计算进展国际研讨会论文集，第252-255页（2013）
[23] Kim，D.，Sra，S.，Dhillon，I.S.：最小二乘非负矩阵近似问题的快速牛顿型方法。摘自：第六届SIAM国际数据挖掘会议记录，第343-354页。SIAM（2007）
[24] Kim，H；Park，H，基于交替非负约束最小二乘和活动集方法的非负矩阵分解，SIAM J.矩阵分析。申请。，30, 713-730, (2008) ·Zbl 1162.65354号 ·数字对象标识码：10.1137/07069239X
[25] Kim，J；他，Y；Park，H，非负矩阵和张量分解算法：基于块坐标下降框架的统一视图，J.Global Optim。，58, 285-319, (2014) ·Zbl 1321.90129号 ·doi:10.1007/s10898-013-0035-4
[26] Kimura，T.，Takahashi，N.：非负矩阵分解的改进HALS算法的全局收敛性。摘自：2015年IEEE第六届多传感器自适应处理计算进展国际研讨会论文集，第21-24页（2015）
[27] Kompass，R，非负矩阵分解的广义散度测度，神经计算。，19, 780-791, (2007) ·Zbl 1127.68081号 ·doi:10.1162/neco.2007.19.3.780
[28] Lee，DD；Seung，HS，通过非负矩阵分解学习对象的各个部分，Nature，401，788-792，（1999）·Zbl 1369.68285号 ·doi:10.1038/44565
[29] Lee，D.D.，Seung，H.S.：非负矩阵分解的算法。收录于：T.K.Leen，T.G.Dietterich，V.Tresp（编辑）《神经信息处理系统进展》，第13卷，第556-562页（2001）
[30] Lin，CJ，关于非负矩阵分解的乘法更新算法的收敛性，IEEE Trans。神经网络。，18, 1589-1596, (2007) ·doi:10.1109/TNN.2007.895831
[31] Lin，CJ，非负矩阵因子分解的投影梯度方法，神经计算。，19, 2756-2779, (2007) ·Zbl 1173.90583号 ·doi:10.1162/neco.2007.19.10.2756
[32] Paatero，P；Tapper，U，《正矩阵因式分解：数据值误差估计的最佳利用非负因子模型》，环境计量学，5，111-126，（1994）·doi:10.1002/env.3170005003
[33] 帕纳加基斯，Y；Kotropoulos，C；Arce，GR，用于音乐类型分类的听觉时间调制的非负多线性主成分分析，IEEE Trans。音频语音语言处理。，18, 576-588, (2010) ·doi:10.1109/TASL.2009.2036813
[34] Seki，M.，Takahashi，N.：基于非负矩阵因式分解的Kullback-Leibler、gamma和Rényi发散的新更新。摘自：2014年非线性理论及其应用国际研讨会论文集，第48-51页（2014）
[35] Shahnaz，F；贝里，MW；副总裁Pauca；Plemmons，RJ，使用非负矩阵分解的文档聚类，Inf.过程。Manag/，42，373-386，（2006）·Zbl 1087.68104号 ·doi:10.1016/j.ipm.2004.11.005
[36] 北高桥；Hibi，R，非负矩阵分解修正乘法更新的全局收敛性，计算。优化。申请。，57, 417-440, (2014) ·Zbl 1305.65135号 ·doi:10.1007/s10589-013-9593-0
[37] Takahashi，N.，Katayama，J.，Takeuchi，J.：NMF修正乘法更新全局收敛的广义充分条件。摘自：2014年非线性理论及其应用国际研讨会论文集，第44-47页（2014）
[38] 北高桥；Nishi，T，支持向量机分解学习方法的全局收敛性，IEEE Trans。神经网络。，17, 1362-1369, (2006) ·doi:10.1109/TNN.2006.880584
[39] Vavasis，SA，关于非负矩阵分解的复杂性，SIAM J.Optim。，20, 1364-1377, (2009) ·兹比尔1206.65130 ·电话：10.1137/070709967
[40] 王，RS；张，S；王，Y；张，XS；Chen，L，通过不同相似性度量的非负矩阵分解对复杂网络和生物网络进行聚类，神经计算，72，134-141，（2008）·doi:10.1016/j.neucom.2007.12.043
[41] 王，YX；Zhang，YJ，非负矩阵分解：综合评述，IEEE Trans。知识。数据工程，25，1336-1353，（2013）·doi:10.1109/TKDE.2012.51
[42] 吴长杰，关于EM算法的收敛性，《统计》，第11期，第95-103页，（1983）·Zbl 0517.62035号 ·doi:10.1214/aos/1176346060
[43] Xu，W.，Liu，X.，Gong，Y.：基于非负矩阵分解的文档聚类。摘自：第26届国际ACM SIGIR信息检索研究与开发会议记录，第267-273页。ACM（2003）
[44] Yamauch，S.、Kawakita，M.、Takeuchi，J.：基于非负矩阵分解和MDL原则的僵尸网络检测。摘自：《第19届神经信息处理国际会议论文集》，第400-409页。施普林格（2012）
[45] 杨，Z；Oja，E，线性和二次非负矩阵因式分解乘法算法的统一开发，IEEE Trans。神经网络。，22, 1878-1891, (2011) ·doi:10.1109/TNN.2011.2170094
[46] Zangwill，W.：《非线性规划：统一方法》。普伦蒂斯·霍尔（Prentice-Hall），恩格伍德悬崖（Englewood Cliffs）（1969年）·Zbl 0195.20804号
[47] Zhao，R.，Tan，V.Y.：非负矩阵分解乘法更新算法的统一收敛性分析。arXiv预印arXiv:1609.00951（2016）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。