×
Nguyen、Duy Khuong;何屠宝

使用有限内存的加速并行和分布式算法进行非负矩阵分解。 （英文） Zbl 1380.90228号

J.全球。最佳方案。 68，第2号，307-328（2017）.
摘要：非负矩阵分解（NMF）是一种有效的降维、提取潜在因素和学习基于部分表示的技术。对于大型数据集，NMF性能取决于一些主要问题，如快速算法、完全并行分布式可行性和有限的内存。本研究设计了一种使用有限内存的快速完全并行和分布式算法，以实现对大型数据集的高NMF性能。特别地，我们提出了一种基于完全分解的NMF及其所有（L_1；L_2）正则化变量的灵活加速算法，它是精确线搜索、贪婪坐标下降和加速搜索的组合。当在被动变量子空间中固定另一个因子时，该算法利用这些算法在优化每个因子矩阵时以超有界速率（（1-\frac{\mu}{L}）（1-\frac{\mu{rL}，^{2r}）线性收敛，其中\（r）是潜在分量的数目，\（mu\）和\（L\）被限定为\（\frac{1}{2}\leq\mu\leq-L\leqr）。此外，与快速块坐标下降法和加速法相比，该算法可以利用数据稀疏性在机器内存有限的大型数据集上运行。我们的实验结果与七种最新方法在收敛性、优化性和迭代次数平均三个重要方面具有很强的竞争力。

MSC公司：

90立方厘米26 非凸规划，全局优化
15A23型 矩阵的因式分解

关键词：

非负矩阵分解;加速反不平衡算法;坐标下降算法;并行分布式算法

软件：

NeNMF公司
PDF格式BibTeX公司 XML格式引用
\textit｛D.K.Nguyen｝和\textit｛T.B.Ho｝，J.Glob。最佳方案。68，第2号，307--328（2017；Zbl 1380.90228）
全文： 内政部 arXiv公司

参考文献：

[1] Zhang，Z.Y.：非负矩阵分解：模型、算法和应用。摘自：Holmes，D.E.，Jain，L.C.（编辑）《数据挖掘：基础和智能范式：第2卷：统计、贝叶斯、时间序列和其他理论方面》，第99-134页。施普林格，柏林，海德堡（2012）。doi:10.1007/978-3-642-23241-1_6·Zbl 1391.65115号
[2] Helén，M.，Virtanen，T.：使用非负矩阵分解和支持向量机从复调音乐中分离鼓。摘自：《欧洲科学院院刊》，第2005卷（2005年）
[3] Donoho，D.，Stodden，V.：非负矩阵因式分解何时给出正确的分解？收录：神经信息处理系统进展16：2003年会议记录。麻省理工学院出版社（2004）
[4] Gillis，N.：非负矩阵因式分解的原因和方法。规则。最佳方案。内核支持向量马赫数。12, 257 (2014)
[5] Lee，D.，Seung，H.等人：通过非负矩阵分解学习对象的各个部分。《自然》401（6755），788-791（1999）·Zbl 1369.68285号 ·doi:10.1038/44565
[6] Paatero，P.，Tapper，U.：正矩阵因式分解：最佳利用数据值误差估计的非负因子模型。环境计量学5（2），111-126（1994）·doi:10.1002/env.3170050203
[7] Wang，Y.X.，Zhang，Y.J.：非负矩阵分解：综合评述。IEEE传输。知识。《数据工程》25（6），1336-1353（2013）。doi:10.1109/TKDE.2012.51·doi:10.1109/TKDE.2012.51
[8] Lee，D.D.，Seung，H.S.：非负矩阵分解算法。摘自：Leen，T.K.，Dietterich，T.G.，Tresp，V.（编辑）《神经信息处理系统的进展》，第556-562页。麻省理工学院出版社（2001）。http://papers.nips.cc/paper/1861-algorithmsfor-non-nessive-matrix-factorization.pdf ·Zbl 1096.65033号
[9] Zhang，Z.Y.：非负矩阵分解的散度函数：一项比较研究。Commun公司。统计模拟。计算。40(10), 1594-1612 (2011) ·Zbl 1227.62003年 ·网址：10.1080/03610918.2011.589734
[10] Hoyer，P.O.：具有稀疏约束的非负矩阵分解。J.马赫。学习。第5号决议，1457-1469（2004年）·Zbl 1222.68218号
[11] Pascual-Montano，A.、Carazo，J.M.、Kochi，K.、Lehmann，D.、Pascual-Marqui，R.D.：非光滑非负矩阵因式分解（nsnmf）。IEEE传输。模式分析。机器。智力。28(3), 403-415 (2006) ·doi:10.1109/TPAMI.2006.60
[12] Choi，S.：正交非负矩阵分解的算法。摘自：神经网络，2008年。IJCNN 2008。IEEE计算智能世界大会，IEEE国际联合会议，第1828-1832页。IEEE（2008年）·Zbl 1310.93089号
[13] Li，H.，Adal，T.，Wang，W.，Emge，D.，Cichocki，A.：正交约束的非负矩阵分解及其在拉曼光谱中的应用。超大规模集成电路信号处理。系统。信号图像视频技术。48（1-2），83-97（2007）·doi:10.1007/s11265-006-0039-0
[14] Thurau，C.，Kersting，K.，Wahabzada，M.，Bauckhage，C.：海量数据集的凸非负矩阵分解。知识。信息系统。29(2), 457-478 (2011) ·Zbl 1235.6202号 ·doi:10.1007/s10115-010-0352-6
[15] Guan，N.，Wei，L.，Luo，Z.，Tao，D.：图正则化非负矩阵分解的有限记忆快速梯度下降法。《公共科学图书馆·综合》8（10），e77162（2013）·doi:10.1371/journal.pone.0077162
[16] Liu，C.，Yang，H.C.，Fan，J.，He，L.W.，Wang，Y.M.：基于mapreduce的网络尺度二元数据分析的分布式非负矩阵分解。摘自：第19届万维网国际会议记录，第681-690页。ACM（2010）·Zbl 1257.90073号
[17] Lin，C.J.：非负矩阵分解的投影梯度法。神经计算机。19(10), 2756-2779 (2007) ·Zbl 1173.90583号 ·doi:10.1162/neco.2007.19.10.2756
[18] Kim，D.，Sra，S.，Dhillon，I.S.：最小二乘非负矩阵近似问题的快速牛顿型方法。收录于：SDM，第343-354页。SIAM（2007）
[19] Zdunk，R.，Cichocki，A.：具有拟牛顿优化的非负矩阵分解。摘自：《人工智能与软计算——ICAISC 2006》，第870-879页。斯普林格（2006）
[20] Kim，H.，Park，H.：基于交替非负约束最小二乘和活动集方法的非负矩阵分解。SIAM J.矩阵分析。申请。30(2), 713-730 (2008) ·Zbl 1162.65354号 ·数字对象标识码：10.1137/07069239X
[21] Kim，J.，Park，H.：迈向更快的非负矩阵分解：一种新算法和比较。摘自：数据挖掘，2008年。2008年ICDM。第八届IEEE国际会议，第353-362页。IEEE（2008）·Zbl 1173.90583号
[22] Xieh，C.J.，Dhillon，I.S.：非负矩阵因式分解的快速坐标下降法，带变量选择。摘自：第17届ACM SIGKDD国际知识发现和数据挖掘会议记录，第1064-1072页。ACM（2011）·Zbl 1235.65061号
[23] Gillis，N.，Glineur，F.：非负矩阵因式分解的加速乘法更新和层次als算法。神经计算机。24（4），1085-1105（2012）·doi:10.1162/NECO_a_00256
[24] Guan，N.，Tao，D.，Luo，Z.，Yuan，B.：Nenmf：非负矩阵分解的最优梯度法。IEEE传输。信号处理。60（6），2882-2898（2012）·Zbl 1391.65115号 ·doi:10.1109/TSP.2012.2190406
[25] Kim，J.，He，Y.，Park，H.：非负矩阵和张量分解算法：基于块坐标下降框架的统一视图。J.Glob。最佳方案。58(2), 285-319 (2014) ·Zbl 1321.90129号 ·doi:10.1007/s10898-013-0035-4
[26] Lin，C.J.：关于非负矩阵分解的乘法更新算法的收敛性。IEEE传输。神经网络。18(6), 1589-1596 (2007) ·doi:10.1109/TNN.2007.895831
[27] Berry，M.W.，Browne，M.，Langville，A.N.，Pauca，V.P.，Plemmons，R.J.：近似非负矩阵分解的算法和应用。计算。统计数据分析。52(1), 155-173 (2007) ·Zbl 1452.90298号 ·doi:10.1016/j.csda.2006.11.006
[28] Bonettini，S.：非精确块坐标下降法及其在非负矩阵分解中的应用。IMA J.数字。分析。31(4), 1431-1452 (2011) ·Zbl 1235.65061号 ·doi:10.1093/imanum/drq024
[29] Lee，D.D.，Seung，H.S.：非负矩阵分解算法。摘自：《神经信息处理系统进展》，第556-562页（2001年）
[30] Cichocki，A.，Zdunk，R.，Amari，S.i.：非负矩阵和三维张量因子分解的层次算法。摘自：Davies，M.E.，James，C.J.，Abdallah，S.A.，Plumbley，M.D.（eds.）《第七届独立成分分析和信号分离国际会议论文集》，ICA 2007，第169-176页，英国伦敦，2007年9月9日至12日。施普林格，柏林，海德堡（2007）。doi:10.1007/978-3-540-74494-8_22·Zbl 1172.94390号
[31] Chen，D.，Plemmons，R.J.：数值分析中的非负约束。摘自：数值分析诞生研讨会，第109-140页（2009年）·Zbl 1192.65041号
[32] Bro，R.，De Jong，S.：一种快速非负约束最小二乘算法。《化学杂志》。11(5), 393-401 (1997) ·doi:10.1002/（SICI）1099-128X（199709/10）11:5<393:：AID-CEM483>3.0.CO；2升
[33] Lawson，C.L.，Hanson，R.J.：解决最小二乘问题，第161卷。费城SIAM（1974）·Zbl 0860.65028号
[34] Kim Dongmin，S.S.，Dhillon，I.S.：大规模非负最小二乘的非单调方法。最佳方案。方法软件。28(5), 1012-1039 (2013) ·Zbl 1310.93089号 ·doi:10.1080/10556788.2012.656368
[35] Kim，D.，Sra，S.，Dhillon，I.S.：非负最小二乘问题的新投影拟牛顿方法。德克萨斯大学奥斯汀分校计算机科学系（2006年）
[36] Franc，V.、Hlaváć，V.和Navara，M.：非负最小二乘问题的顺序坐标系算法。载：Gagalowicz，A.，Philips，W.（编辑）第11届图像和图案计算机分析国际会议论文集，CAIP 2005，第407-414页，法国凡尔赛，2005年9月5-8日。施普林格，柏林，海德堡（2005）。doi:10.1007/11556121_50
[37] Nesterov，Y.：一种求解收敛速度为\[o（1/k^2）\]o（1/k2）的凸规划问题的方法。Sov公司。数学。多克。27, 372-376 (1983) ·Zbl 0535.90071号
[38] Nguyen，D.K.，Ho，T.B.：大规模非负最小二乘问题的反不平衡算法。arXiv:1502.01645（2015）
[39] Gemulla，R.，Nijkamp，E.，Haas，P.J.，Sismanis，Y.：具有分布随机梯度下降的大规模矩阵分解。摘自：第17届ACM SIGKDD国际知识发现和数据挖掘会议记录，第69-77页。ACM（2011）
[40] Sun，Z.，Li，T.，Rishe，N.：使用mapreduce的大尺度矩阵分解。2010年IEEE国际数据挖掘研讨会（ICDMW），第1242-1248页。IEEE（2010）·Zbl 1222.68218号
[41] Nesterov，Y.：坐标下降法在大规模优化问题上的效率。SIAM J.Optim公司。22(2), 341-362 (2012) ·Zbl 1257.90073号 ·数字对象标识代码：10.1137/100802001
[42] Schmidt，M.，Friedlander，M.：坐标下降比随机选择收敛得更快。In:NIPS OPT-ML研讨会（2014）
[43] Pauca，V.P.，Piper，J.，Plemmons，R.J.：光谱数据分析的非负矩阵分解。线性代数应用。416(1), 29-47 (2006) ·Zbl 1096.65033号 ·doi:10.1016/j.laa.2005.06.025
[44] Caramanis，L.，Jo，S.J.：EE 381V：2012年秋季大规模优化。http://sers.ece.utexas.edu/cmcaram/EE381V_2012F/讲座_4_Scribe_Notes.final.pdf
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。