×
匡、达；Yun、Sangwoon；海森公园

SymNMF：图聚类中相似矩阵的非负低阶近似。 （英语） Zbl 1326.90080号

J.全球。最佳方案。 62，第3期，545-574（2015）.
摘要：非负矩阵因式分解（NMF）通过两个非负因子的乘积提供了矩阵的低秩近似。NMF已被证明能够产生聚类结果，这些结果通常优于其他方法，如K-means。本文进一步解释了NMF作为一种聚类方法，并研究了一种扩展的图聚类公式，称为对称NMF（Symmetric NMF）。与以数据矩阵为输入的NMF不同，SymNMF以非负相似矩阵为输入，并计算对称非负低阶近似。我们证明了SymNMF与谱聚类相关，证明了Sym NMF是一种通用的图聚类方法，并讨论了SymN MF和谱聚类的优缺点。我们提出了两种SymNMF优化算法，讨论了它们的收敛性和计算效率。我们在文档聚类、图像聚类和图像分割方面的实验支持SymNMF作为图形捕获数据中潜在线性和非线性关系的聚类方法。

引用于18文件

MSC公司：

90立方 非线性规划

关键词：

对称非负矩阵分解；低阶近似；图聚类；光谱聚类

软件：

SymNMF公司；层次NMF2；CMU项目；基站；t-SNE公司；RCV1型
PDF格式BibTeX公司 XML格式引用
\textit{D.Kuang}等人，J.Glob。最佳方案。62，第3号，545--574（2015；Zbl 1326.90080）
全文： 内政部

参考文献：

[1] Arbelaez，P.、Maire，M.、Fowlkes，C.、Malik，J.：轮廓检测和分层图像分割。IEEE传输。模式分析。机器。智力。33（5），898-916（2011）·doi:10.1109/TPAMI.2010.161
[2] Arora，R.，Gupta，M.R.，Kapila，A.，Fazel，M.：通过左随机矩阵分解进行聚类。In:ICML'11:第28届机器学习国际会议（2011）会议记录·Zbl 1317.68142号
[3] Banerjee，A.、Dhillon，I.S.、Ghosh，J.、Sra，S.：使用von Mises-Fisher分布在单位超球面上的聚类。J.马赫。学习。第6号决议，1345-1382（2005）·Zbl 1190.62116号
[4] Berman，A.，Plemmons，R.J.：数学科学中的非负矩阵。宾夕法尼亚州费城SIAM（1994）·Zbl 0815.15016号 ·doi:10.1137/1.9781611971262
[5] Berman，A.，Shaked-Monderer，N.：完全正矩阵。《世界科学》，新泽西州River Edge（2003）·Zbl 1030.15022号 ·doi:10.1142/5273
[6] Bertsekas，D.P.：具有简单约束的优化问题的投影牛顿法。SIAM J.控制优化。20(2), 221-246 (1982) ·Zbl 0507.49018号 ·doi:10.1137/0320018
[7] Bertsekas，D.P.：非线性规划，第二版。Athena Scientific，马萨诸塞州贝尔蒙特（1999）·Zbl 1015.90077号
[8] Cai，D.，He，X.，Han，J.，Huang，T.S.：用于数据表示的图正则化非负矩阵因式分解。IEEE传输。模式分析。机器。智力。33(8), 1548-1560 (2011) ·doi:10.1109/TPAMI.2010.231
[9] Catral，M.、Han，L.、Neumann，M.和Plemmons，R.J.：关于对称矩阵的降秩非负矩阵因式分解。线性代数应用。393, 107-126 (2004) ·Zbl 1085.15012号 ·doi:10.1016/j.laa.2003.11.024
[10] Chan，P.，Schlag，M.，Zien，J.：谱k路比率切割分区和聚类。IEEE Trans。CAD集成。电路系统。13(9), 1088-1096 (1994) ·数字对象标识代码：10.1109/43.310898
[11] Choo，J.，Lee，C.，Reddy，C.K.，Park，H.：乌托邦：基于交互式非负矩阵分解的用户驱动主题建模。IEEE传输。视觉。计算。图表。19(12), 1992-2001 (2013) ·doi:10.1109/TVCG.2013.212
[12] Cour，T.，Benezit，F.，Shi，J.：用多尺度图分解进行光谱分割。收录于：CVPR’05：2005年IEEE计算机视觉和模式识别会议记录，第1124-1131页（2005）
[13] Dhillon，I.，Guan，Y.，Kulis，B.：核K-均值、谱聚类和图切割的统一视图。德克萨斯大学奥斯汀分校技术报告TR-04-25（2005）·Zbl 0972.68604号
[14] Dhillon，I.，Modha，D.S.：使用聚类对大型稀疏文本数据进行概念分解。学习。42, 143-175 (2001) ·Zbl 0970.68167号 ·doi:10.1023/A:1007612920971
[15] Ding，C.，He，X.，Simon，H.D.：关于非负矩阵分解和谱聚类的等价性。在：SDM’05：SIAM国际数据挖掘会议论文集，pp.606-610（2005）
[16] Ding，C.，Li，T.，Jordan，M.：用于组合优化的非负矩阵分解：谱聚类、图匹配和团查找。摘自：ICDM’08：第八届IEEE数据挖掘国际会议论文集，第183-192页（2008）·Zbl 1187.90306号
[17] Ding，C.，Li，T.，Jordan，M.I.：凸和半非负矩阵因式分解。IEEE传输。模式分析。机器。智力。32(1), 45-55 (2010) ·doi:10.10109/TPAMI.2008.277
[18] 杜达，R.O.，哈特，P.E.，斯托克，D.G.：模式分类。Wiley-Interscience，纽约（2000年）
[19] Fowlkes，C.，Malik，J.：全球化对分割有多大帮助？技术报告UCB/CSD-4-1340。加州大学伯克利分校（2004年）
[20] Gillis，N.，Kuang，D.，Park，H.：使用二级非负矩阵分解对高光谱图像进行分层聚类。IEEE传输。地质科学。遥感器53（4）：2066-2078，（2015）
[21] Globerson，A.、Chechik，G.、Pereira，F.、Tishby，N.：共现数据的欧几里德嵌入。J.马赫。学习。第8号决议，2265-2295（2007年）·Zbl 1222.68203号
[22] Gonzales，E.F.，Zhang，Y.：加速非负矩阵分解的Lee-Seung算法。技术报告TR05-02，莱斯大学（2005）
[23] He，Z.，Xie，S.，Zdunk，R.，Zhou，G.，Cichocki，A.：对称非负矩阵分解：概率聚类的算法和应用。IEEE Trans。神经网络。22(12), 2117-2131 (2011) ·Zbl 1235.65039号 ·doi:10.1109/TNN.2011.2169087
[24] Ho，N.D.：非负矩阵分解算法与应用。卢万天主教大学博士论文（2008年）
[25] Kannan，R.，Ishteva，M.，Park，H.：推荐系统的有界矩阵分解。知识。信息系统。39(3), 491-511 (2014) ·doi:10.1007/s10115-013-0710-2
[26] Kelley，C.T.：线性和非线性方程的迭代方法。宾夕法尼亚州费城SIAM（1995）·Zbl 0832.65046号 ·doi:10.1137/1.9781611970944
[27] Kim，H.，Park，H.：通过交替非负约束最小二乘法对微阵列数据进行稀疏非负矩阵分解。生物信息学23（12），1495-1502（2007）·doi:10.1093/bioinformatics/btm134
[28] Kim，H.，Park，H.：基于交替非负约束最小二乘法和活动集方法的非负矩阵因式分解。SIAM J.矩阵分析。申请。30(2), 713-730 (2008) ·Zbl 1162.65354号 ·数字对象标识码：10.1137/07069239X
[29] Kim，J.，He，Y.，Park，H.：非负矩阵和张量分解算法：基于块坐标下降框架的统一视图。J.Glob。最佳方案。58(2), 285-319 (2014) ·Zbl 1321.90129号 ·doi:10.1007/s10898-013-0035-4
[30] Kim，J.，Park，H.：聚类的稀疏非负矩阵分解。技术报告GT-CSE-08-01，乔治亚理工学院（2008）
[31] Kim，J.，Park，H.：迈向更快的非负矩阵分解：一种新算法和比较。摘自：ICDM’08：第八届IEEE数据挖掘国际会议记录，第353-362页（2008）
[32] Kim，J.，Park，H.：快速非负矩阵因式分解：一种类似活动集的方法和比较。SIAM J.科学。计算。33（6），3261-3281（2011）·Zbl 1232.65068号 ·数字对象标识代码：10.1137/10821172
[33] Kleinberg，J.：聚类的不可能性定理。高级神经信息处理。系统。15, 446-453 (2002)
[34] Kuang，D.，Ding，C.，Park，H.：图聚类的对称非负矩阵分解。In:SDM’12:SIAM国际数据挖掘会议论文集，pp.106-117（2012）·Zbl 1222.68203号
[35] Kuang，D.，Park，H.：用于分层文档聚类的快速秩-2非负矩阵分解。在：KDD’13：第19届ACM知识发现和数据挖掘国际会议论文集，第739-747页（2013）·Zbl 1085.15012号
[36] Kulis，B.，Basu，S.，Dhillon，I.，Mooney，R.：半监督图聚类：一种核方法。摘自：ICML'05:第22届机器学习国际会议记录，第457-464页（2005）·Zbl 1472.68144号
[37] Lawson，C.L.，Hanson，R.J.：解决最小二乘问题。普伦蒂斯·霍尔（Prentice-Hall），新泽西州恩格伍德悬崖（Englewood Cliffs）（1974年）·兹伯利0860.65028
[38] Lee，D.D.，Seung，H.S.：通过非负矩阵分解学习对象的各个部分。《自然》401，788-791（1999）·兹比尔1369.68285 ·doi:10.1038/44565
[39] Lee，K.C.，Ho，J.，Kriegman，D.：获取线性子空间用于可变光照下的人脸识别。IEEE传输。模式分析。机器。智力。27(5), 684-698 (2005) ·doi:10.1109/TPAMI.2005.92
[40] Lewis，D.D.，Yang，Y.，Rose，T.G.，Li，F.：Rcv1：文本分类研究的新基准集合。J.马赫。学习。第5号决议，361-397（2004）
[41] Li，T.，Ding，C.，Jordan，M.I.：使用非负矩阵分解解决一致性和半监督聚类问题。In:ICDM’07：第七届IEEE数据挖掘国际会议论文集，第577-582页（2007）
[42] Lin，C.J.：关于非负矩阵分解的乘法更新算法的收敛性。事务处理。神经网络。18(6), 1589-1596 (2007) ·doi:10.1109/TNN.2007.895831
[43] Lin，C.J.：非负矩阵分解的投影梯度法。神经计算。19（10），2756-2779（2007）·Zbl 1173.90583号 ·doi:10.1162/neco.2007.19.10.2756
[44] Lucena，A.，Ribeiro，C.，Santos，A.C.：直径约束最小生成树问题的混合启发式算法。J.全球。最佳方案。46(3), 363-381 (2010) ·Zbl 1187.90306号 ·doi:10.1007/s10898-009-9430-2
[45] Ma，X.，Gao，L.，Yong，X.Fu，L.：复杂网络中社区结构检测的半监督聚类算法。物理。统计力学。申请。389(1), 187-197 (2010) ·doi:10.1016/j.physa.2009.09.018
[46] Malik，J.，Belongie，S.，Leung，T.，Shi，J.：图像分割的轮廓和纹理分析。国际期刊计算。视觉。43(1), 7-27 (2001) ·Zbl 0972.68604号 ·doi:10.1023/A:1011174803800
[47] Manning，C.D.，Raghavan，P.，Schütze，H.：信息检索导论。剑桥大学出版社，纽约州纽约市（2008）·Zbl 1160.68008号 ·doi:10.1017/CBO9780511809071
[48] Martin，D.，Fowlkes，C.，Malik，J.：学习使用局部亮度、颜色和纹理线索检测自然图像边界。IEEE传输。模式分析。机器。智力。26(5), 530-549 (2004) ·doi:10.1109/TPAMI.2004.1273918
[49] Martin，D.，Fowlkes，C.，Tal，D.，Malik，J.：人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。收录于：ICCV'01:第八届IEEE国际计算机视觉会议记录，第2卷，第416-423页（2001）
[50] Nepusz，T.、Petróczi，A.、Négyessy，L.、Bazsó，F.：复杂网络中的模糊社区和桥接概念。物理。修订版E 77（1），016107（2008）
[51] Ng，A.Y.、Jordan，M.I.、Weiss，Y.：关于光谱聚类：分析和算法。高级神经信息处理。系统。14, 849-856 (2001) ·Zbl 1024.34045号
[52] Pauca，V.P.，Shahnaz，F.，Berry，M.W.，Plemmons，R.J.：使用非负矩阵分解进行文本挖掘。载于：SDM'04：SIAM国际数据挖掘会议记录，第452-456页（2004年）
[53] Rinnooy Kan，A.，Timmer，G.：随机全局优化方法，第二部分：多级方法。数学。程序。39, 57-78 (1987) ·Zbl 0634.90067号 ·doi:10.1007/BF02592071
[54] Rinnooy Kan，A.，Timmer，G.：全局优化。收录于：Kan，R.，Todds，M.J.（编辑）《运营研究和管理科学手册》，第1卷，第631-662页。北荷兰，阿姆斯特丹（1989）·Zbl 0715.90086号
[55] Shahnaz，F.，Berry，M.W.，Pauca，V.P.，Plemmons，R.J.：使用非负矩阵分解进行文档聚类。信息处理。管理。42, 373-386 (2006) ·兹比尔1087.68104 ·doi:10.1016/j.ipm.2004.11.005
[56] Shi，J.，Malik，J.：标准化切割和图像分割。IEEE传输。模式分析。机器。智力。22(8), 888-905 (2000) ·doi:10.1009/34.868688
[57] Sim，T.、Baker，S.、Bsat，M.：CMU姿势、照明和表情数据库。IEEE传输。模式分析。机器。智力。25(12), 1615-1618 (2003) ·doi:10.1109/TPAMI.2003.1251154
[58] Stewart，G.W.，Sun，J.G.：矩阵摄动理论。纽约学术出版社（1990）·Zbl 0706.65013号
[59] Strogatz，S.H.：探索复杂网络。《自然》410，268-276（2001）·Zbl 1370.90052号 ·doi:10.1038/35065725
[60] van der Maaten，L.，Hinton，G.：使用t-SNE可视化数据。J.马赫。学习。第9号决议，2579-2605（2008年）·兹比尔1225.68219
[61] von Luxburg，U.：光谱聚类教程。统计计算。17(4), 395-416 (2007) ·数字对象标识代码：10.1007/s11222-007-9033-z
[62] Wang，F.，Li，T.，Wang，X.，Zhu，S.，Ding，C.：使用非负矩阵分解进行社区发现。数据最小知识。发现。22(3), 493-521 (2011) ·兹比尔1235.68034 ·doi:10.1007/s10618-010-0181-y
[63] Wild，S.，Curry，J.，Dougherty，A.：通过结构化初始化改进非负矩阵分解。模式识别。37, 2217-2232 (2004) ·doi:10.1016/j.patcog.2004.02.013
[64] Xu，W.，Liu，X.，Gong，Y.：基于非负矩阵分解的文档聚类。收录于：SIGIR’03：第26届国际ACM信息检索研究与开发会议记录，第267-273页（2003）
[65] Yang，Z.，Hao，T.，Dikmen，O.，Chen，X.，Oja，E.：使用图随机游走通过非负矩阵因式分解进行聚类。高级神经信息处理。系统。25, 1088-1096 (2012)
[66] Yang，Z.，Oja，E.：通过低秩双随机矩阵分解进行聚类。In:ICML’12:第29届机器学习国际会议记录（2012）·兹比尔1225.68219
[67] Yu，S.X.，Shi，J.：多类光谱聚类。In:ICCV’03：第九届IEEE计算机视觉国际会议论文集，第313-319页（2003）
[68] Yun，S.，Tseng，P.，Toh，K.C.：正则凸可分离优化和协方差选择的块坐标梯度下降法。数学。程序。129, 331-355 (2011) ·兹比尔1228.90052 ·doi:10.1007/s10107-011-0471-1
[69] Zass，R.，Shashua，A.：硬聚类和概率聚类的统一方法。摘自：ICCV’05：第十届IEEE计算机视觉国际会议论文集，第294-301页（2005）
[70] Zelnik-Manor，L.，Perona，P.：自校正光谱聚类。高级神经信息处理。系统。17, 1601-1608 (2004)
[71] Zhang，Y.，Yeung，D.Y.：通过有界非负矩阵三因子分解进行重叠群落检测。收录于：KDD’12:第18届ACM知识发现和数据挖掘国际会议记录，第606-614页（2012）
[72] Zhang，Z.Y.，Wang，Y.，Ahn，Y.Y.：使用对称二进制矩阵分解在复杂网络中进行重叠社区检测。物理。版本E 87（6），062803（2013）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。