×

最小二乘非负矩阵逼近问题的快速投影方法。 (英语) Zbl 07260181号

摘要:非负矩阵近似(NNMA)是一种流行的矩阵分解技术,已被证明在从文档分析和图像处理到生物信息学和信号处理的各个领域都很有用。多年来,提出了几种NNMA算法,例如Lee和Seung的乘法更新、交替最小二乘法(ALS)和基于梯度下降的程序。然而,这些程序大多存在收敛速度慢、数值不稳定或最坏情况下存在严重的理论缺陷。本文针对最小二乘NNMA问题提出了一种新的改进算法框架,该框架不仅在理论上有很好的基础,而且克服了其他方法的许多不足。我们的框架很容易接受强大的优化技术,作为具体实现,我们提出了基于牛顿法、BFGS法和共轭梯度法的实现。我们的算法提供的数值结果优于Lee和Seung的方法以及交替最小二乘启发式算法,据说该算法在某些情况下工作良好,但没有理论保证[1]。我们的方法自然地扩展到包括正则化和箱约束,而不牺牲收敛保证。我们在合成数据集和真实数据集上给出了实验结果,证明了我们的方法在更好的近似性和计算效率方面的优越性。

MSC公司:

62-XX年 统计
68倍 计算机科学
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] M.Berry、M.Browne、A.Langville、P.Pauca和R.J.Plemmons,近似非负矩阵因式分解的算法和应用,计算统计数据分析(2006),预印本·兹比尔1452.90298
[2] D.D.Lee和H.S.Seung,通过非负矩阵分解学习对象的各个部分,《自然》401(1999),788-791·Zbl 1369.68285号
[3] P.Paatero和U.Tapper,《正矩阵因子分解:一个最佳利用数据值误差估计的非负因子模型》,Environmetrics 5(1994),111-126。
[4] D.D.Lee和H.S.Seung,非负矩阵分解算法。神经信息处理系统,2000,556-562。
[5] C.L.Lawson和R.J.Hanson,求解最小二乘问题,Prentice Hall,1974年·兹伯利0860.65028
[6] R.Bro和S.D.Jong,《快速非负约束最小二乘算法》,《化学计量杂志》11(5)(1997),393-401。
[7] ˚Ake Bj¨orck,最小二乘问题的数值方法,SIAM,1996年·Zbl 0847.65023号
[8] D.Kim、S.Sra和I.S.Dhillon,非负最小二乘问题的新投影拟牛顿方法。技术报告TR-06-54,计算机科学,德克萨斯大学奥斯汀分校,2006年。
[9] P.Paatero,稳健非负因子分析的最小二乘公式,化学计量智能实验室系统37(1997),23-35。
[10] P.Paatero,《多线性引擎——解决多线性问题的表驱动最小二乘程序,包括N向并行因子分析模型》,J Compute Graphical Statist 8(4)(1999),854-888。
[11] M.Bierlaire、P.L.Toint和D.Tuyttens,《关于约束线性最小二乘问题的迭代算法》,《线性代数应用》143(1991),111-143·Zbl 0722.65019号
[12] C.Lin,非负矩阵分解的投影梯度方法。技术报告ISSTECH-95-013,国立台湾大学,2005年。
[13] M.Merritt和Y.Zhang,大规模完全非负最小二乘问题的内点梯度法,《最优化理论应用》126(1)(2005),191-202·邮编1093.90084
[14] E.F.Gonzalez和Y.Zhang,加速非负矩阵分解的Lee-Seung算法。技术报告TR-05-02,莱斯大学,2005年。
[15] R.ZdunkandA。Cichocki,非负矩阵分解与拟Newton优化。在第八届国际人工智能和软计算会议上,ICAISC,2006,870-879。
[16] D.P.Bertsekas,简单约束优化问题的投影牛顿法,SIAMJ控制优化20(2)(1982),221-246·Zbl 0507.49018号
[17] L.Grippo和M.Sciandone,关于凸约束下块非线性高斯面方法的收敛性,Operat Res Lett 26(2000),127-136·Zbl 0955.90128号
[18] A.Cichocki和R.Zdunk,NMFLAB-MATLAB非负矩阵分解工具箱,在线,2006年。
[19] S.Sra和I.S.Dhillon,非负矩阵近似:算法和应用。技术报告Tr-0627,计算机科学,德克萨斯大学奥斯汀分校,2006年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。