×

格拉斯曼流形上的多重谱图割。 (英语) Zbl 07510328号

摘要:谱聚类方法的非线性改型由于其增加的数值效益和坚实的数学背景,近年来得到了很多关注。对于(p\in(1,2]),我们提出了一种新的基于(p\-范数)的直接多路谱聚类算法。图(p)-Laplacian的多特征向量的计算问题是标准图Laplacian的一个非线性推广,被重新描述为Grassmann流形上的无约束极小化问题。(p)的值以伪连续的方式减少,当(p)接近1时,促进对应于最优图割的稀疏解向量。监视平衡图割的单调减少可以确保我们从所考虑的(p)-层中获得最佳可用解。我们在各种人工测试用例中证明了我们的算法的有效性和准确性。我们的数值例子和与各种最新聚类方法的比较结果表明,该方法在平衡图割度量和标记分配准确性方面都获得了高质量的聚类。此外,我们对人脸图像和手写字符的分类进行了研究,以证明其在现实世界数据集中的适用性。

MSC公司:

68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Absil,宾夕法尼亚州;塞普尔赫里,R。;Van Dooren,P。;Mahony,R.,不变子空间计算的三次收敛迭代,SIAM矩阵分析与应用杂志,26,1,70-96(2004)·兹比尔1075.65049 ·doi:10.1137/S089547979803422002
[2] Absil,宾夕法尼亚州;Mahony,R。;Sepulchre,R.,矩阵流形上的优化算法(2007),普林斯顿大学出版社·兹比尔1147.65043
[3] 阿加瓦尔,CC;翟,C。;阿加瓦尔,C。;翟,C.,文本聚类算法综述,挖掘文本数据,77-128(2012),施普林格·doi:10.1007/978-1-4614-3223-44
[4] Amghibech,S.,图的离散p-Laplacian特征值,Ars Combinatoria,67283-302(2003)·Zbl 1080.31005号
[5] Amghibech,S.,图的最大p-Laplacian特征值的界,离散数学,30621272-2771(2006)·Zbl 1103.05047号 ·doi:10.1016/j.disc.2006.05.012
[6] 安东尼奥,A。;Wu-Sheng,L.,《实用优化:算法和工程应用》(2017),ISTE,Springer·Zbl 1128.90001号
[7] Bhatia,R.,矩阵分析(1997),施普林格·Zbl 0863.15001号 ·doi:10.1007/978-1-4612-0653-8
[8] 比肖特,CE;Siarry,P.,图分区(2013),ISTE,Wiley·Zbl 1242.05002号 ·数字对象标识码:10.1002/9781118601181
[9] Bollobás,B.,图、群和矩阵,253-293(1998),Springer·doi:10.1007/978-1-4612-0619-48
[10] 布列松,X。;Laurent,T。;乌明斯基,D。;布莱希特,J。;佩雷拉,F。;伯吉斯,首席法官;博图,L。;Weinberger,KQ,Cheeger-cut聚类的收敛和能量景观,神经信息处理系统进展(2012),Curran Associates,Inc。
[11] 布列松,X。;Laurent,T。;乌明斯基,D。;冯·布莱希特,J。;伯吉斯,首席法官;博图,L。;韦林,M。;加赫拉马尼,Z。;Weinberger,KQ,多类总变异聚类,神经信息处理系统进展(2013),Curran Associates,Inc。
[12] Bresson,X.、Laurent,T.、Uminsky,D.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;von Brecht,J.H.(2013b)。一种计算图的平衡割的自适应全变分算法。arXiv:1302.2717。
[13] 布列松,X。;泰,XC;Chan,TF;Szlam,A.,《基于Cheeger cut和Mumford-Shah-Potts模型放松的多类转化学习》,《数学成像与视觉杂志》,49,1,191-201(2014)·Zbl 1366.68230号
[14] Bühler,T.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Hein,M.(2009)。基于图p-Laplacian的谱聚类。第26届国际机器学习年会论文集(第81-88页)。ACM,纽约,纽约,美国,ICML'09。doi:10.1145/1553374.1553385。
[15] Byrd,R.H.、Liu,G.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Nocedal,J.(1998年)。关于非线性规划内点方法的局部行为。1997年《数值分析》(第37-56页)。艾迪森·韦斯利·朗曼·Zbl 0902.65021号
[16] Cheeger,J.,拉普拉斯最小特征值的下限,195-199(1969),普林斯顿大学出版社·Zbl 0212.44903号
[17] Chung,FRK,谱图理论(1997),美国数学学会·Zbl 0867.05046号
[18] Dalianis,H.,《评估指标与评估》,45-53(2018),施普林格出版社·doi:10.1007/978-3319-78503-56
[19] Davis,TA,稀疏线性系统的直接方法(算法基础2)(2006年),工业和应用数学学会·Zbl 1119.65021号 ·doi:10.1137/1.9780898718881
[20] 阿联酋登普斯特;新墨西哥州莱尔德;Rubin,DB,《通过EM算法从不完整数据中获取最大似然》,《皇家统计学会杂志》,B辑,39,1,1-38(1977)·Zbl 0364.62022号
[21] Dhillon,I.、Guan,Y.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Kulis,B.(2005)。用于图聚类的基于核的快速多级算法。第十一届ACM SIGKDD数据挖掘知识发现国际会议论文集(第629-634页)。计算机协会,美国纽约州纽约市,KDD’05。doi:10.1145/1081870.1081948。
[22] 印度迪伦;关,Y。;Kulis,B.,《无特征向量加权图切割-多级方法》,IEEE模式分析和机器智能汇刊,29,111944-1957(2007)·doi:10.1109/TPAMI.2007.1115
[23] Diekmann,R.,&;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Preis,R.(2018)。AG-Monien图形集合。http://www2.cs.uni-paderborn.de/fachbereich/AG/monien/RESEARCH/PART/graphs.html。
[24] Dua,D.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;格拉夫,C.(2017)。UCI机器学习库。http://archive.ics.uci.edu/ml。
[25] 北卡罗来纳州埃布纳;Riediger,M。;Lindenberger,U.,FACES-年轻、中年和老年男女面部表情数据库:发展和验证,行为研究方法,42,1,351-362(2010)·doi:10.3758/BRM.42.1.351
[26] 爱德曼,A。;TA阿里亚斯;Smith,ST,正交约束算法的几何,SIAM矩阵分析与应用杂志,20,2,303-353(1999)·Zbl 0928.6500号 ·doi:10.1137/S089547989529290954
[27] 埃吉尔梅兹,高等教育;帕维兹,E。;Ortega,A.,《拉普拉斯和结构约束下数据的图形学习》,IEEE信号处理选定主题期刊,11,6,825-841(2017)·doi:10.1109/JSTSP.2017.2726975
[28] Fiedler,M.,图的代数连通性,捷克斯洛伐克数学杂志,23(2),298-305,10.21136/CMJ.1973.101168(1973)·Zbl 0265.05119号
[29] Fountoulakis,K。;罗斯塔·呼拉桑尼,F。;Shun,J.(顺,J.)。;Cheng,X。;Mahoney,MW,局部图聚类的变分观点,数学规划,174,1-2,553-573(2019)·Zbl 1409.05196号 ·doi:10.1007/s10107-017-1214-8
[30] Fountoulakis,K.、Wang,D.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Yang,S.(2020年)。局部图聚类的p-范数流扩散;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;A.Singh(编辑),第37届机器学习国际会议论文集(第119卷,第3222-3232页)。PMLR,机器学习研究论文集。
[31] Gajewski,H。;Gärtner,K.,通过p-Laplacians的符号变化特征函数进行区域分离,应用分析,79,3-4,483-501(2001)·Zbl 1034.35018号 ·数字对象标识代码:10.1080/00036810108840974
[32] Ge,Y。;彭,P。;Lu,H.,复杂网络的混合阶谱聚类,模式识别,117107964(2021)·doi:10.1016/j.patcog.2021.107964
[33] Graham,DB;Allinson,NM,《通用人脸识别虚拟特征签名的特征化》,446-456(1998),施普林格出版社·doi:10.1007/978-3-642-72201-125
[34] Hagen,L.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Kahng,A.B.(1991)。比率分割和聚类的快速谱方法。1991年IEEE计算机辅助设计国际会议技术论文摘要(第10-13页)。doi:10.1109/ICCAD.1991.185177。
[35] 哈根,L。;Kahng,AB,比率分割和聚类的新谱方法,IEEE集成电路和系统计算机辅助设计汇刊,11,9,1074-1085(1992)·doi:10.1109/43.159993年
[36] Hein,M.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Setzer,S.(2011年)。超越谱聚类——平衡图切割的精细松弛。第24届神经信息处理系统国际会议论文集(第2366-2374页)。Curran Associates Inc.,美国纽约州Red Hook,NIPS’11。
[37] 亨德里克森,B。;Leland,R.,用于映射并行计算的改进谱图划分算法,SIAM科学计算杂志,16,2,452-469(1995)·Zbl 0816.68093号 ·doi:10.1137/0916028
[38] Hond,D.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Spacek,L.(1997年9月)。面部处理的独特描述。第八届英国机器视觉会议论文集BMVC97,英国科尔切斯特(第320-329页)。
[39] 黄,W。;Absil,宾夕法尼亚州;加里凡,KA;Hand,P.,ROPTLIB:一个用于黎曼流形优化的面向对象C++库,ACM数学软件汇刊,44,4,1-21(2018)·Zbl 1484.65142号 ·doi:10.1145/3218822
[40] 贾,H。;丁·S。;Xu,X。;Nie,R.,谱聚类、神经计算和应用的最新研究进展,241477-1486(2014)·doi:10.1007/s00521-013-1439-2
[41] 贾,H。;丁·S。;Du,M.,基于共享最近邻的自校正p谱聚类,认知计算,7,5,622-632(2015)·doi:10.1007/s12559-015-9331-2
[42] 克尼根,BW;Lin,S.,划分图的有效启发式方法,贝尔系统技术期刊,49,2,291-307(1970)·Zbl 0333.05001号 ·doi:10.1002/j.1538-7305.1970.tb01770.x
[43] 库马尔,S。;Ying,J。;de Miranda Cardoso,合资公司;Palomar,DP,《通过谱约束进行结构化图形学习的统一框架》,《机器学习研究杂志》,21,22,1-60(2020)·Zbl 1498.68246号
[44] 湖泊,BM;Salakhutdinov,R。;Tenenbaum,JB,《通过概率程序归纳法进行人类级概念学习》,《科学》,350,6266,1332-1338(2015)·兹比尔1355.68230 ·doi:10.1126/science.aab3050
[45] Lancichinetti,A。;福图纳托,S。;Radicchi,F.,《测试社区检测算法的基准图》,《物理评论》E,78,046110(2008)·doi:10.1103/PhysRevE.78.046110
[46] 李,P。;He,N。;Milenkovic,O.,《二次可分解子模函数最小化:理论与实践》,《机器学习研究杂志》,21,106,1-49(2020)·Zbl 1507.68247号
[47] 刘,M。;格雷奇,DF;拉罗谢尔,H。;兰扎托,M。;哈德塞尔,R。;巴尔坎,MF;Lin,H.,用于半监督学习和局部图聚类的强局部p-norm-cut算法,神经信息处理系统进展,5023-5035(2020),Curran Associates,Inc。
[48] 罗,D。;黄,H。;丁,C。;Nie,F.,关于p-Laplacian的特征向量,机器学习,81,1,37-51(2010)·Zbl 1470.68141号 ·doi:10.1007/s10994-010-5201-z
[49] 美国卢克斯堡,《光谱聚类、统计与计算教程》,17,4,395-416(2007)·数字对象标识代码:10.1007/s11222-007-9033-z
[50] MacQueen,J.(1967)。多元观测值分类和分析的一些方法。第五届伯克利数理统计与概率研讨会论文集,第1卷:统计学(第281-297页)。加利福尼亚大学出版社,加利福尼亚州伯克利·Zbl 0214.46201号
[51] 马奥尼,MW;美国诺曼。;Schenk,O.,大规模数据分析的算法和统计视角,组合科学计算(2012),Chapman&霍尔/CRC
[52] Malik,J。;Belongie,S。;Leung,T。;Shi,J.,用于图像分割的轮廓和纹理分析,国际计算机视觉杂志,43,1,7-27(2001)·Zbl 0972.68604号 ·doi:10.1023/A:1011174803800
[53] Mercado,P.、Tudisco,F.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Hein,M.(2019)。基于矩阵幂平均的符号图谱聚类。收件人:K.Chaudhuri&R.Salakhuttinov(编辑),第36届机器学习国际会议论文集(第97卷,第4526-4536页)。PMLR,机器学习研究论文集。
[54] Mizutani,T.,基于凸编程的谱聚类,机器学习,110,5,933-964(2021)·Zbl 07432826号 ·doi:10.1007/s10994-020-05940-1
[55] Ng,A.Y.、Jordan,M.I.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Weiss,Y.(2001)。关于谱聚类:分析和算法。《第14届神经信息处理系统国际会议论文集:天然和合成》(第849-856页)。麻省理工学院出版社,马萨诸塞州剑桥,美国,NIPS’01。doi:10.5555/290539.2980649。
[56] Pentney,W.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Meila,M.(2005)。生物序列数据的光谱聚类。《第20届全国人工智能会议论文集》(第2卷,第845-850页)。AAAI出版社,AAAI'05。
[57] Rangapuram,S.S.、Mudrakarta,P.K.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Hein,M.(2014)。平衡k-cut问题的紧连续松弛。第27届神经信息处理系统国际会议论文集(第2卷,第3131-3139页)。麻省理工学院出版社,马萨诸塞州剑桥,美国,NIPS’14。
[58] Samaria,F.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Harter,A.(1994年)。人脸识别随机模型的参数化。1994年IEEE计算机视觉应用研讨会论文集(第138-142页)。doi:10.1109/ACV.1994.341300。
[59] 佐藤,H。;Iwai,T.,格拉斯曼流形上的优化算法及其在矩阵特征值问题中的应用,日本工业与应用数学杂志,31,2,355-400(2014)·Zbl 1306.65189号 ·doi:10.1007/s13160-014-0141-9
[60] 史J。;Malik,J.,标准化切割和图像分割,IEEE模式分析和机器智能汇刊,22,8,888-905(2000)·数字对象标识代码:10.1109/34.868688
[61] Sieranoja,S。;Fránti,P.,《快速和一般密度峰聚类》,《模式识别快报》,128,551-558(2019)·doi:10.1016/j.pare.2019.10.019文件
[62] 西蒙,HD;Teng,SH,递归二分法有多好?,SIAM科学计算杂志,18,5,1436-1445(1997)·Zbl 0886.68104号 ·doi:10.1137/S1064827593255135
[63] Simpson,T.、Pasadakis,D.、Kourounis,D.,Fujita,K.、Yamaguchi,T.和Ichimura,T;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;申克,O.(2018)。使用图p-Laplacian进行平衡图分区细化。在高级科学计算会议平台的会议记录中。计算机协会,美国纽约州纽约市,PASC’18。doi:10.1145/3218176.3218232。
[64] 斯拉夫斯基,M。;Hein,M.,吸引高斯-马尔可夫随机场的正定M-矩阵估计和结构学习,线性代数及其应用,473145-179(2015)·Zbl 1312.62070号 ·doi:10.1016/j.laa.2014.04.020
[65] Szlam,A.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Bresson,X.(2010)。总变化和Cheeger切割。第27届国际机器学习会议论文集(第1039-1046页)。Omnipress,威斯康星州麦迪逊,美国,ICML'10。
[66] Tudisco,F。;Hein,M.,图p-Laplacian的节域定理和高阶Cheeger不等式,谱理论杂志(2017)·Zbl 1491.05126号 ·doi:10.4171/JST/216
[67] Verma,D.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Meila,M.(2005)。光谱聚类算法的比较。华盛顿西雅图CSE大学系技术报告,WA98195-2350。
[68] 瓦格纳,D。;瓦格纳,F。;博尔兹科夫斯基(Borzyszkowski),AM;Sokołowski,S.,《最小割与图二分法之间》,计算机科学数学基础,744-750(1993),施普林格·兹伯利0925.05053
[69] Wang,Q.,Gao,J.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Li,H.(2017)。格拉斯曼流形优化辅助稀疏谱聚类。2017年IEEE计算机视觉和模式识别会议(CVPR)(第3145-3153页)。doi:10.1109/CVPR.2017.335。
[70] 威斯康星州维尔兹坎;Kłopotek,MA,光谱聚类,181-259(2018),Springer·doi:10.1007/978-3-319-69308-8_5
[71] Yu,S.X.和;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;Shi,J.(2003)。多类光谱聚类。第九届IEEE计算机视觉国际会议论文集(第1卷,第313-319页)。doi:10.1109/ICCV.2003.1238361。
[72] Zelnik-Manor,L。;佩罗纳,P。;索尔,LK;Weiss,Y。;Bottou,L.,自校正谱聚类,神经信息处理系统的进展,1601-1608(2005),麻省理工学院出版社
[73] 朱,X。;Zhu,Y。;郑伟,深度一步聚类的谱旋转,模式识别,105,107175(2020)·doi:10.1016/j.patcog.2019.107175
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。