×

大数据集聚类问题的新对角束方法。 (英语) Zbl 1380.90226号

摘要:聚类是数据挖掘中最重要的任务之一。计算机硬件的最新发展使我们能够存储在随机存取存储器(RAM)中,并重复读取数十万甚至数百万个数据点的数据集。这使得在此类数据集中使用传统的聚类算法成为可能。然而,这些算法可能需要非常大的计算时间,并且无法生成准确的解。因此,开发准确且能在大数据集中提供实时聚类的聚类算法非常重要。本文介绍其中之一。利用聚类问题的非光滑优化公式,将目标函数表示为两个凸(DC)函数的差。然后,设计了一种新的显式使用这种结构的对角束算法,并将其与增量方法相结合来解决该问题。该方法使用具有大量属性和大量数据点的真实数据集进行评估。利用数值结果将该方法与其他两种聚类算法进行了比较。

MSC公司:

90C26型 非凸规划,全局优化
62H30型 分类和区分;聚类分析(统计方面)
90 C90 数学规划的应用
90 C56 无导数方法和使用广义导数的方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Al-Sultan,K.,一种解决聚类问题的禁忌搜索方法,模式识别,28,91443-1451(1995)
[2] An,L。;贝尔吉提,M。;Tao,P.,基于DC编程和DCA的聚类新高效算法,《全局优化杂志》,37,4,593-608(2007)·Zbl 1198.90327号
[3] An,L。;Minh,L。;Tao,P.,用于最小平方和聚类的基于DCA的新型高效算法,模式识别,47388-401(2014)·兹比尔1326.68225
[4] An,L。;Tao,P.,《通过DC编程和DCA进行最小平方和聚类》,(Huang,D.-S.;Jo,K.-H.;Lee,H.-H.;Kang,H.-J.;Bevilacqua,V.,《新兴智能计算技术和应用》,《人工智能方面》(2009),柏林斯普林格-弗拉格出版社:柏林斯普林格-弗拉格-海德堡),327-340
[5] Bagirov,A.,用于平方和聚类问题的改进全局(k)均值算法,模式识别,41,10,3192-3199(2008)·Zbl 1147.68669号
[6] Bagirov,A。;北卡罗来纳州卡米萨。;Mäkelä,M.,非光滑优化导论:理论、实践和软件(2014),施普林格·Zbl 1312.90053号
[7] Bagirov,A。;Mohebi,E.,《聚类分析中基于非光滑优化的算法》(Celebi,E..,《分区聚类算法》(2015),Springer International Publishing),99-146
[8] Bagirov,A。;Ordin,B。;Ozturk,G。;Xavier,A.,基于双曲线平滑的增量聚类算法,计算优化与应用,61,1,219-241(2015)·Zbl 1309.90098号
[9] Bagirov,A。;鲁比诺夫,A。;北苏霍鲁科娃。;Yearwood,J.,《通过非光滑和全局优化进行非监督和监督数据分类》,Top,11,1-93(2003)·Zbl 1048.65059号
[10] Bagirov,A。;南卡罗来纳州塔赫里。;Ugon,J.,最小平方和聚类问题的非光滑DC编程方法,模式识别,53,12-24(2016)·Zbl 1412.68200号
[11] Bagirov,A。;Ugon,J.,最小化聚类函数的算法,优化,54,4-5,351-368(2005)·Zbl 1122.90059
[12] Bagirov,A。;Yearwood,J.,最小平方和聚类问题的一种新的非光滑优化算法,《欧洲运筹学杂志》,170,2,578-596(2006)·Zbl 1085.90045号
[15] 伯德·R·H。;Nocedal,J。;Schnabel,R.B.,拟牛顿矩阵的表示及其在有限记忆方法中的应用,数学规划,63129-156(1994)·Zbl 0809.90116号
[16] Carrizosa,E。;Mladenovic,N。;Todosijevic,R.,网络上最小平方和聚类的可变邻域搜索,《欧洲运筹学杂志》,230,2,356-363(2013)·Zbl 1317.91061号
[17] Clarke,F.H.,《优化与非光滑分析》(1983),威利国际科学:威利国际科技纽约·兹比尔0727.90045
[18] 德米扬诺夫,V。;Rubinov,A.,《建设性非光滑分析》(1995),彼得·朗:彼得·朗·法兰克福·Zbl 0887.49014号
[19] Diehr,G.,聚类分枝定界算法的评估,SIAM科学与统计计算杂志,6,2,268-284(1985)·Zbl 0561.65097号
[20] 费尔南德斯,K。;Vinagre,P。;Cortez,P.,预测在线新闻受欢迎程度的前瞻性智能决策支持系统,《2015年第17届EPIA会议记录-葡萄牙人工智能会议》,9月,葡萄牙科英布拉(2015)
[21] Fuduli,A。;高迪奥索,M。;Giallonbardo,G.,非凸非光滑最小化中的DC分段仿射模型和捆绑技术,优化方法和软件,19,1,89-102(2004)·Zbl 1211.90182号
[22] 高迪奥索,M。;Gorgone,E.,非凸非光滑数值优化中的梯度集分裂,优化方法和软件,25,59-74(2010)·Zbl 1190.90140号
[23] 哈拉拉,M。;Miettinen,K。;Mäkelä,M.M.,用于大规模非光滑优化的新有限内存束方法,优化方法和软件,19,6,673-692(2004)·Zbl 1068.90101号
[24] 北卡罗来纳州哈拉拉。;Miettinen,K。;Mäkelä,M.M.,大规模非光滑优化的全局收敛有限内存束方法,数学规划,109,1,181-205(2007)·Zbl 1278.90451号
[25] Hansen,P。;Mladenovic,N.,可变邻域分解搜索,启发式杂志,7335-350(2001)·Zbl 1041.68623号
[26] 赫斯科维茨,J。;Goulart,E.,大型非线性优化的稀疏拟牛顿矩阵,结构和多学科优化第六届世界大会论文集(2005)
[27] 希里亚特·乌鲁蒂,J.-B。;Lemaréchal,C.,凸分析和最小化算法II(1993),Springer-Verlag:Springer-Verlag Berlin·兹比尔0795.49001
[28] Karmitsa,N.,非光滑稀疏优化的对角束方法,优化理论与应用杂志,166,3,889-905(2015)·Zbl 1323.65069号
[29] 考尔,M。;杨,B。;Jensen,C.S.,《构建精确的三维空间网络以支持下一代智能交通系统》,移动数据管理国际会议论文集,2013年6月3日至6日,意大利米兰(2013)
[30] Kiwiel,K.C.,不可微优化的下降方法。不可微优化的下降方法,数学讲义,第1133卷(1985),Springer-Verlag:Springer-Verlag Berlin·兹比尔0602.90122
[31] Krislock,N。;Malick,J。;Roupin,F.,《(k)-簇半定分枝定界算法的计算结果》,计算机与运筹学研究,66,153-159(2016)·Zbl 1349.90715号
[32] Lemaréchal,C。;斯特罗迪奥特,J.-J。;Bihain,A.,《关于非光滑优化的束算法》(Mangasarian,O.L.;Mayer,R.R.;Robinson,S.M.,《非线性规划》(1981),学术出版社:纽约学术出版社),245-281·Zbl 0533.49023号
[33] Lichman,M.,UCI机器学习库(2013),欧文:加州欧文大学信息与计算机科学学院
[34] 卢克桑,L。;Vlček,J.,凸非光滑无约束极小化问题的全局收敛变尺度方法,优化理论与应用杂志,102,3,593-613(1999)·Zbl 0955.90102号
[35] MacQueen,J.B.,《多元观测分类和分析的一些方法》,281-297(1967),加利福尼亚大学出版社·Zbl 0214.46201号
[36] Mäkelä,M.M。;Neitaanmaki,P.,《非光滑优化:分析和算法及其在最优控制中的应用》(1992年),世界科学出版社:新加坡世界科学出版社·Zbl 0757.49017号
[37] Maulik,美国。;Mukhopadhyay,A.,基于模拟退火的自动模糊聚类结合ANN分类分析微阵列数据,计算机与运筹学,37,8,1369-1380(2010)·Zbl 1183.68488号
[38] 梅尔,O.d。;Hansen,P。;Jaumard,B。;Mladenovic,N.,最小平方和聚类的内点算法,SIAM科学计算杂志,21,4,1485-1505(1999)·Zbl 1049.90129号
[39] Mifflin,R.,非光滑极小化Lemaréchal算法的一种改进和扩展,Matematical Programming Study,17,77-90(1982)·Zbl 0476.65047号
[41] Ordin,B。;Bagirov,A.,解决最小平方和聚类问题的启发式算法,《全局优化杂志》,61,2,341-361(2015)·Zbl 1311.90111号
[42] 拉贝洛,R.L。;Mauri,G.R。;里贝罗,G.M。;Lorena,L.A.N.,点特征地图标签放置问题的聚类搜索元启发式,《欧洲运筹学杂志》,234,3,802-808(2014)·Zbl 1304.90126号
[43] Rahman,医学硕士。;Islam,M.Z.,将新型遗传算法与k均值相结合的混合聚类技术,基于知识的系统,71,345-365(2014)
[44] 桑蒂,E。;Aloise博士。;Blanchard,S.J.,异质差异的聚类数据模型,《欧洲运筹学杂志》,253,3,659-672(2016)·Zbl 1347.62120号
[45] 塞利姆,S。;Al-Sultan,K.,聚类的模拟退火算法,模式识别,24,10,1003-1008(1991)
[46] Vergara,A。;南韦姆布。;Ayhan,T。;Ryan,医学硕士。;霍默,M.L。;Huerta,R.,《使用分类器集合的化学气体传感器漂移补偿》,传感器和执行器B:Chemical,166-167,320-329(2012)
[47] 弗切克,J。;Lukšan,L.,非凸不可微无约束极小化问题的全局收敛变尺度方法,优化理论与应用杂志,111,2,407-430(2001)·Zbl 1029.90060号
[48] Xavier,A.,双曲线平滑聚类方法,模式识别,43,731-737(2010)·Zbl 1187.68514号
[49] 泽维尔,A。;Xavier,V.,通过双曲线平滑和划分边界和引力区域解决最小平方和聚类问题,模式识别,44,1,70-77(2011)·Zbl 1207.68326号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。