×

基于最近交替线性化最小化方法的非凸聚类。 (英语) Zbl 1390.68559号

摘要:聚类是一项广泛研究领域的基本学习任务。最流行的聚类算法可以说是K-均值算法,众所周知,K-均值的性能很大程度上取决于初始化,因为它具有很强的非凸性。为了克服初始化问题,本文首先将K-means模型松弛为具有非凸约束的优化问题,然后采用近似交替线性化最小化(PALM)方法求解松弛的非凸优化模型。并对PALM算法在聚类问题中的收敛性进行了分析。在几个基准数据集上进行了实验,以评估该方法的效率。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62小时30分 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用
全文: DOI程序

参考文献:

[1] Aloise,D.,Deshpande,A.,Hansen,P.和Popat,P.,欧氏平方和聚类的Np硬度,Mach。学习.75(2)(2009)245-248·Zbl 1378.68047号
[2] Arthur,D.和Vassilvitskii,S.,k-means++:仔细播种的优势,见Proc。第18届ACM-SIAM年会。《离散算法》(工业和应用数学学会,2007年),第1027-1035页·Zbl 1302.68273号
[3] Attouch,H.,Bolt,J.,Redont,P.和Soubeyran,A.,非凸问题的近似交替最小化和投影方法:基于Kurdyka-Lojasiewicz不等式的方法,数学。运营商。第35(2)(2010)号决议438-457·Zbl 1214.65036号
[4] Awasthi,P.、Bandeira,A.S.、Charikar,M.、Krishnaswamy,R.、Villar,S.和Ward,R.,《放松,无需四舍五入:聚类公式的完整性》,见Proc。2015年理论计算机科学创新大会(ACM,2015),第191-200页·Zbl 1364.62144号
[5] Bolte,J.,Sabach,S.和Teboulle,M.,非凸和非光滑问题的近端交替线性化最小化,数学。方案146(2014)459-494·Zbl 1297.90125号
[6] Bradley,P.S.和Fayyad,U.M.,《为k-means聚类细化初始点》,载于《机器学习国际会议》(1998年)。
[7] Celebi,M.E.,Kingravi,H.A.和Vela,P.A.,《k均值聚类算法有效初始化方法的比较研究》,专家系统。申请40(1)(2013)200-210。
[8] Comaniciu,D.和Meer,P.,《均值漂移:特征空间分析的稳健方法》,IEEE Trans。模式分析。马赫。《情报》24(5)(2002)603-619。
[9] Ding,C.和He,X.,K表示通过主成分分析进行聚类,在Proc。第21届国际机器学习大会(ACM,2004),第29页。
[10] Ding,C.H.,He,X.和Simon,H.D.,关于非负矩阵分解和谱聚类的等价性。2005年SIAM国际数据挖掘会议(SIAM,2005),第606-610页。
[11] Edelman,A.、Arias,T.A.和Smith,S.T.,《正交约束算法的几何》,SIAM J.Mat.Anal。申请20(2)(1999)303-353·Zbl 0928.6500号
[12] Forgy,E.W.,多变量数据的聚类分析:分类的效率与可解释性,生物计量21(1965)768-769。
[13] Frey,B.J.和Dueck,D.,通过数据点之间的消息进行聚类,《科学》315(5814)(2007)972-976·Zbl 1226.94027号
[14] Georghiades,A.S.、Belhumeur,P.N.和Kriegman,D.J.,《从少到多:可变光照和姿势下人脸识别的照明锥模型》,IEEE Trans。模式分析。马赫。《情报》23(6)(2001)643-660。
[15] M.Grant和S.Boyd,CVX:规范凸规划的Matlab软件(2014),2.1版,http://cvxr.com/cvx。
[16] Hartigan,J.A.和Wong,M.A.,《136算法:k均值聚类算法》,J.Roy。统计师。Soc.序列号。C(应用统计)28(1)(1979)100-108·Zbl 0447.62062号
[17] Hocking,T.D.、Vert,J.、Joulin,A.和Bach,F.R.,《聚类路径:使用凸融合惩罚的聚类算法》,载于《机器学习国际会议》(2011),第745-752页。
[18] 黄,J.,聂,F.和黄,H.,谱聚类中的谱旋转与k均值,《人工智能国家会议》(2013),第431-437页。
[19] Iguchi,T.、Mixon,D.G.、Peterson,J.和Villar,S.,可能证明k-means聚类正确,数学。程序。(2016) 1-38. ·兹比尔1377.65012
[20] Kaufman,L.和Rousseeuw,P.,通过Medoids进行聚类(North-Holland,1987)。
[21] Lewis,A.S.和Malick,J.,流形上的交替投影,数学。运营商。第33(1)号决议(2008)216-234·Zbl 1163.65040号
[22] Lloyd,S.,《pcm中的最小二乘量化》,IEEE Trans。通知。Theory28(2)(1982)129-137·Zbl 0504.94015号
[23] MacQueen,J.等人,《多元观测分类和分析的一些方法》。第五届伯克利交响乐团。《数理统计与概率》,美国加利福尼亚州奥克兰(1967),第281-297页·Zbl 0214.46201号
[24] Martinez,A.M.和Kak,A.C.,Pca与lda,IEEE Trans。模式分析。马赫。Intell.23(2)(2001)228-233。
[25] Naseem,I.、Togneri,R.和Bennamoun,M.,人脸识别的线性回归,IEEE Trans。模式分析。马赫。国际贸易法委员会32(11)(2010)2106-2112。
[26] 在线,ORL数据集,http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html。
[27] Peng,J.和Wei,Y.,通过半定规划逼近k均值型聚类,SIAM J.Optimiz.18(1)(2007)186-205·Zbl 1146.90046号
[28] Peng,J.和Xia,Y.,《k均值型聚类的新理论框架》,《数据挖掘的基础与进展》(2005)79-96·Zbl 1085.68132号
[29] Phillips,P.J.、Moon,H.、Rizvi,S.A.和Rauss,P.J.,《人脸识别算法的参考评估方法》,IEEE Trans。模式分析。马赫。《情报》22(10)(2000)1090-1104。
[30] Rockafellar,R.T.和Wets,J.B.,变分分析(Springer,1998)·Zbl 0888.49001号
[31] Shaha,S.A.和Koltunb,V.,稳健连续聚类,Proc。国家。阿卡德。科学。美国114(37)(2017)9814-9819。
[32] Shi,J.和Malik,J.,归一化剪切和图像分割,IEEE Trans。模式分析。马赫。《情报》22(8)(2000)888-905。
[33] 唐义勇,陶义明,林永明,基于分形行为的特征提取新方法,《模式识别》35(5)(2002)1071-1081·Zbl 0997.68117号
[34] 唐义勇,涂立泰,刘杰,李世伟,基于多特征和多级分类的手写体离线识别,IEEE Trans。模式分析。马赫。《情报》20(5)(1998)556-561。
[35] Tang,Y.Y.,Yang,L.和Liu,J.,用小波变换表征dirac结构边,IEEE Trans。系统。人类网络。B部分:控制论30(1)(2000)93-109。
[36] Tang,Y.Y.和You,X.,基于新小波函数的带状形状骨架化,IEEE Trans。模式分析。马赫。《情报》25(9)(2003)1118-1133。
[37] 田,J.,张,T.,秦,A.,尚,Z.和唐,Y.Y.,学习用于聚类的分布保持语义子空间,IEEE Trans。图像处理。26(12)(2017)5950-5965。
[38] Von Luxburg,U.,《光谱聚类教程》,Statist。计算17(4)(2007)395-416。
[39] Zass,R.和Shashua,A.,《硬聚类和概率聚类的统一方法》,第10届IEEE计算机视觉国际会议(ICCV'05),第1卷(IEEE,2005),第294-301页。
[40] Zhang,T.,Fang,B.,Tang,Y.Y.,He,G.和Wen,J.,用于人脸识别的保拓扑非负矩阵因式分解,IEEE Trans。图像处理.17(4)(2008)574-584。
[41] Zhang,T.,Fang,B.,Tang,Y.Y.,Shang,Z.和Xu,B.,广义判别分析:矩阵指数方法,IEEE Trans。系统。人类网络。B部分:控制论40(1)(2010)186。
[42] Zhang,T.,Fang,B.,Yuan,Y.,Tang,Y.Y.,Shang,Z.,Li,D.和Lang,F.,可变光照下人脸识别的多尺度面部结构表征,模式识别。42(2)(2009)251-258·Zbl 1162.68644号
[43] Zhang,T.,Tang,Y.Y.,Shang,Z.和Liu,X.,使用梯度面在不同光照下进行人脸识别,IEEE Trans。图像处理。18(11)(2009)2599·兹比尔1371.94457
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。