Hoai An Le Thi；Vo、Xuan Thanh；Dinh，Tao Pham先生 通过DC编程和DCA实现高效的非负矩阵分解。 （英语） Zbl 1472.65070号 神经计算。 28，第6号，1163-1216（2016）. 摘要：在这封信中，我们考虑了非负矩阵分解（NMF）问题和几个NMF变体。提出了两种基于凸函数差分（DC）编程和DCA（DC算法）的方法。第一种方法遵循交替框架，要求在每次迭代时求解两个非负约束最小二乘子问题，并对其研究基于DCA的方案。研究了该算法的收敛性。我们表明，通过适当的DC分解，我们的算法可以生成NMF问题的大多数标准方法。第二种方法直接将DCA应用于整个NMF问题。提出了两种算法——一种是计算所有变量，另一种是部署变量选择策略。然后将所提出的方法应用于求解各种NMF变量，包括非负因式分解、平滑正则化NMF、稀疏正则化NMF、多层NMF、凸壳NMF和对称NMF。我们还表明，我们的算法包含了针对这些NMF变体的几种现有方法作为特殊版本。所提方法的效率在真实世界和合成数据集上都得到了实证证明。结果表明，我们的算法可以与五种最先进的交替非负最小二乘算法进行有效竞争。 引用于4文件 MSC公司： 65千5 数值数学规划方法 68瓦40 算法分析 90C26型 非凸规划，全局优化 90 C90 数学规划的应用 15A23型 矩阵的因式分解 软件：NeNMF公司 PDF格式BibTeX公司 XML格式引用 \textit{H.A.Le Thi}等人，《神经计算》。28，第6号，1163--1216（2016；Zbl 1472.65070） 全文： 内政部 参考文献： [1] Berry，M.、Browne，M.，Langville，A.、Pauca，P.和Plemmons，R.（2006）。近似非负矩阵分解的算法和应用。计算统计与数据分析，52，155-173·Zbl 1452.90298号 [2] Cai，D.、He，X.、Wu，X.和Han，J.（2008）。流形上的非负矩阵分解。程序中。IEEE Int.Conf.数据挖掘（第63-72页）。新泽西州皮斯卡塔韦：IEEE。 [3] Chen，Z.和Cichocki，A.（2005）。具有时间平滑度和/或空间去相关约束的非负矩阵分解（技术报告68）。斋玉：里肯高级信号处理实验室。 [4] Chu，M.、Diele，F.、Plemmons，R.和Ragni，S.（2004）。非负矩阵分解的最优性、计算和解释。 [5] Cichocki，A.和Phan，A.-H（2009年）。大规模非负矩阵和张量分解的快速局部算法。IEICE电子、通信和计算机科学基础汇刊，E92-A，708-721， [6] Cichocki，A.和Zdunk，R.（2006年）。多层非负矩阵分解。电子快报，42（16），947-948， [7] Cichocki，A.、Zdunk，R.和Amari，S.-I.（2007年）。非负矩阵和三维张量分解的层次ALS算法。计算机科学课堂讲稿4666（第169-176页）。纽约：斯普林格·Zbl 1172.94390号 [8] Cichocki，A.、Zdunk，R.、Phan，A.-H.和Amari，S.-I.（2009年）。非负矩阵和张量分解：应用于探索性多路数据分析和盲源分离。新泽西州霍博肯：威利。 [9] Dhillon，I.和Sra，S.（2006年）。具有Bregman发散的广义非负矩阵逼近。在Y.Weiss、B.Schölkopf和J.C.Platt（编辑），《神经信息处理系统的进展》，18（第283-290页）。马萨诸塞州剑桥：麻省理工学院出版社。 [10] Ding，C.、Li，T.和Jordan，M.I.（2010年）。凸矩阵分解和半非负矩阵分解。IEEE模式分析和机器智能汇刊，32，45-55， [11] Franc，V.、Hlavac，V.和Navara，M.（2005）。非负最小二乘问题的顺序坐标算法。A.Gagalowicz&W.Philips（编辑），CAIP 2005：图像和模式的计算机分析，LNCS 3691（第407-414页）。纽约：斯普林格， [12] Gillis，N.和Glineur，F.（2008年）。非负因式分解和最大边双液问题（CORE讨论论文2008/64）。卢万：卢万天主教大学。 [13] Gillis，N.和Glineur，F.（2012年）。用于非负矩阵分解的加速乘法更新和分层ALS算法。神经计算24，1085-1105， [14] Gong，P.，&Zhang，C.（2012）。利用投影牛顿法进行有效的非负矩阵分解。模式识别，45，3557-3565·Zbl 1242.68270号 [15] Gonzalez，E.F.和Zhang，Y.（2005）。加速非负矩阵分解的Lee-Seung算法（技术报告）。休斯顿：莱斯大学计算与应用数学系。 [16] Guan，N.、Tao，D.、Lou，Z.和Yuan，B.（2012）。NeNMF：非负矩阵分解的最优梯度方法。IEEE信号处理汇刊，602882-1988·Zbl 1391.65115号 [17] Ho，N.-D.（2008）。非负矩阵分解：算法和应用。博士学位。，鲁汶天主教大学。 [18] Hoyer，P.O.（2002）。非负稀疏编码。程序中。IEEE神经网络研讨会。信号处理。（第557-565页）。新泽西州皮斯卡塔韦：IEEE， [19] Hoyer，P.O.（2004）。稀疏约束下的非负矩阵分解。机器学习研究杂志，51457-1469·Zbl 1222.68218号 [20] Huang，Y.、Liu，H.和Zhou，S.（2014）。非负矩阵分解的二次正则投影Barzilai-Borwein方法。光盘。，29, 1665-1684. doi:10.1007/s10618-014-0390-x·Zbl 1405.65060号 [21] Jüdice，J.J.和Pires，F.M.（1992）。单纯形上大规模可分离严格凸二次规划的求解。线性代数应用。，170, 214-220. [22] Kim，D.、Sra，S.和Dhillon，I.S.（2007年）。最小二乘非负矩阵逼近问题的快速牛顿型方法。2007年SIAM数据挖掘国际会议论文集。费城：SIAM·Zbl 07260181号 [23] Kim，H.和Park，H.（2007）。通过交替非负约束最小二乘法进行稀疏非负矩阵分解，用于微阵列数据分析。生物信息学，231495-1502， [24] Kim，H.和Park，H.（2008）。基于交替非负约束最小二乘和活动集方法的非负矩阵分解。SIAM矩阵分析与应用期刊，30（2），713-730·Zbl 1162.65354号 [25] Kim，H.和Park，H.（2011年）。快速非负矩阵分解：一种类似活动集的方法和比较。SIAM科学计算杂志，33（6），3261-3281·Zbl 1232.65068号 [26] Le，H.M.、Le Thi，H.A.和Nguyen，M.C.（2015）。通过DC编程和DCA实现稀疏半监督支持向量机。神经计算，153（4），62-76， [27] Le，H.M.、Le Thi，H.A.、Pham Dinh，T.和Huynh，V.N.（2013）。基于凸函数差分（DC）编程和DC算法的块聚类。神经计算，25（10），2776-2807·Zbl 1418.62253号 [28] Le Thi，H.A.（2005）。DC编程和DCA·Zbl 1116.90122号 [29] Le Thi，H.A.、Belghiti，T.和Pham Dinh，T..（2006年）。基于DC编程和DCA的新高效聚类算法。全球优化杂志，37593-608·Zbl 1198.90327号 [30] Le Thi，H.A.、Le，H.M.、Nguyen，V.V.和Pham Dinh，T.（2008）。支持向量机学习中特征选择的DC编程方法。数据分析与分类进展杂志，2，259-278·Zbl 1284.90057号 [31] Le Thi，H.A.、Le，H.M.和Pham Dinh，T.（2007年）。基于优化的DC编程和分层聚类的DCA。欧洲运筹学杂志，183（3），1067-1085·Zbl 1149.90117号 [32] Le Thi，H.A.、Le，H.M.和Pham Dinh，T.（2014）。用于最小平方和聚类的新的高效基于DCA的算法。模式识别，47（1），388-401·Zbl 1326.68225号 [33] Le Thi，H.A.、Le，H.M.和Pham Dinh，T.（2015）。机器学习中的特征选择：使用凸函数差分算法的精确惩罚方法。机器学习，101163-186。doi:10.1007/s10994-014-5455-y·Zbl 1343.68201号 [34] Le Thi，H.A.、Le，H.M.、Pham Dinh，T.和Huynh，V.N.（2013）。通过DC编程和DCA通过球形分离器进行二元分类。《全局优化杂志》，56（4），1393-1407·Zbl 1275.90093号 [35] Le Thi，H.A.、Le Hoai，M.和Pham Dinh，T.（2007年）。基于凸函数差分（DC）算法的非凸优化方法的模糊聚类。数据分析和分类进展杂志，2，1-20·Zbl 1301.90072号 [36] Le Thi，H.A.和Nguyen，M.C.（2014）。利用凸函数差分优化自组织映射。数据最小知识。发现。，28（5-6），1336-1365·兹比尔1342.90147 [37] Le Thi，H.A.、Nguyen，M.C.和Pham Dinh，T.（2014）。用于在网络中查找社区的DC编程方法。神经计算，26（12），2827-2854·Zbl 1415.68168号 [38] Le Thi，H.A.和Pham Dinh，T.（2005）。用实际非凸优化问题的DC模型重新审视了DC（凸函数差分）规划和DCA。《运筹学年鉴》，133，23-46·Zbl 1116.90122号 [39] Le Thi，H.A.、Pham Dinh，T.、Le，H.M.和Vo，X.T.（2015）。稀疏优化的DC近似方法。欧洲药典。决议，244（1），26-46·Zbl 1346.90819号 [40] Le Thi，H.A.、Pham Dinh，T.和Vo X.T.（2014）。非负矩阵分解的DC编程和DCA。D.Hwang、J.J.Jung和N.T.Nguyen（编辑），《计算集体智能技术与应用：2014年ICCCI第六届国际会议论文集》（第573-582页）。纽约：斯普林格。 [41] Le Thi，H.A.、Vo，X.T.和Pham Dinh，T.（2014）。不确定数据下线性SVM的特征选择：基于凸函数差分算法的稳健优化。神经网络，59，36-50·Zbl 1327.90236号 [42] Lee，D.D.和Seung，H.S.（1997年）。通过凸和圆锥编码进行无监督学习。M.C.Mozer、M.I.Jordan和T.Petsche（编辑），《神经信息处理系统的进展》，9（第515-521页）。马萨诸塞州剑桥：麻省理工学院出版社。 [43] Lee，D.D.和Seung，H.S.（1999年）。通过非负矩阵分解学习对象的各个部分。自然，401，788-791·兹比尔1369.68285 [44] Lee，D.D.和Seung，H.S.（2001年）。非负矩阵分解算法。T.K.Leen、T.G.Dietterich和K.R.Müller（编辑），《神经信息处理系统的进展》，13（第556-562页）。马萨诸塞州剑桥：麻省理工学院出版社。 [45] Lin，C.-J.（2007a）。非负矩阵分解乘法更新算法的收敛性。IEEE神经网络汇刊，18，1589-1596， [46] Lin，C.-J.（2007b）。非负矩阵分解的投影梯度法。神经计算，192756-2779·Zbl 1173.90583号 [47] Michelot，C.（1986年）。求一点在Rn的正则类复数上的投影的有限算法。J.优化。理论应用。，50, 195-200. , ·Zbl 0571.90074号 [48] Paatero，P.和Tapper，U.（1994年）。正矩阵因式分解：一种非负因子模型，可优化利用数据值的误差估计。环境计量学，5111-126， [49] Pauca，V.P.、Piper，J.和Plemmons，R.J.（2006）。光谱数据分析的非负矩阵分解。线性代数及其应用，41629-47·Zbl 1096.65033号 [50] Pham Dinh，T.和Le Thi，H.A.（1997年）。DC编程的凸分析方法：理论、算法和应用。数学学报。越南，22289-357·Zbl 0895.90152号 [51] Pham Dinh，T.和Le Thi，H.A.（1998年）。一种用于解决信任域子问题的DC优化算法。SIAM J.Optim.公司。，8, 476-505. , ·Zbl 0913.65054号 [52] Pham Dinh，T.和Le Thi，H.A.（2014年）。DC编程和DCA的最新进展。计算型集体智能汇刊，8342，1-37。 [53] Sandler，R.和Lindenbaum，M.（2011年）。图像分析中使用推土机距离度量的非负矩阵分解。IEEE传输。模式分析与机器智能，331590-1602， [54] Shahnaz，F.、Berry，M.W.、Langville，A.N.、Pauca，V.P.和Plemmons，R.J.（2006）。使用非负矩阵分解进行文档聚类。信息处理与管理，42，373-386·兹比尔1087.68104 [55] Thurau，C.、Kersting，K.、Wahabzada，M.和Bauckhage，C.（2011年）。大规模数据集的凸非负矩阵分解。知识。信息系统。，29, 457-478. , ·Zbl 1235.6202号 [56] Van Loan，C.F.（2000）。无处不在的克罗内克产品。计算与应用数学杂志，123，85-100·Zbl 0966.65039号 [57] Vavasis，S.A.（2009年）。关于非负矩阵分解的复杂性。SIAM优化杂志，20，1364-1377·Zbl 1206.65130号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。