研究论文

用于聚类和嵌入的自动编码器的联合优化

作者:

阿赫塞纳布贝基,

迈克尔坎普费梅尔,

乌尔夫布雷费尔德、和

罗伯特詹森作者信息和声明

机器学习,体积110,问题7

页1901-1937

https://doi.org/10.1007/s10994-021-06015-5

出版:2021年7月1日出版历史

摘要

深度嵌入聚类已成为利用深度神经网络进行无监督对象分类的主要方法。最常用方法的优化在深层自动编码器的训练和k个-意味着对自动编码器的嵌入进行聚类。然而，历时设置使前者无法从后者获得的宝贵信息中获益。在本文中，我们提出了一种同时学习自动编码器和聚类的方法。这是通过提供新的理论见解来实现的，其中我们表明，某类高斯混合模型（GMM）的目标函数可以自然地重新表述为单隐藏层自动编码器的损失函数，从而继承了GMM的内置聚类功能。这个简单的神经网络（称为聚类模块）可以集成到深度自动编码器中，从而形成能够联合学习聚类和嵌入的深度聚类模型。实验验证了聚类模块与高斯混合模型的等价性。进一步的评估证实了我们的深层架构的经验相关性，因为它在多个数据集上优于相关基线。

工具书类

[1]

Abadi，M.，Barham，P.，Chen，J.，Chen-Z.，Davis，A.，Dean，J.…&郑旭（2016）。Tensorflow：用于大规模机器学习的系统。在第十二届USENIX操作系统设计与实现研讨会（OSDI 16）（第265-283页）。

[2]

Alemi，A.A.、Fischer，I.、Dillon，J.V.和Murphy，K.（2016）。深刻的变化信息瓶颈。http://arxiv.org/abs/1612.00410

[3]

Alimoglu，F.和Alpaydin，E.（1996年）。手写体数字识别中基于不同表示的多分类器组合方法。在第五届土耳其人工智能和人工神经网络研讨会论文集.

[4]

Arthur，D.和Vassilvitskii，S.（2007）。K-means++：仔细播种的优点。在第十八届ACM-SIAM离散算法（SODA）年会论文集（第1027–1035页）。

[5]

贝兹德克JC基于模糊目标函数算法的模式识别2013年柏林施普林格

[6]

Bianchi，F.M.、Grattarola，D.和Alippi，C.（2020）。用于图池的带图神经网络的谱聚类。在第37届机器学习国际会议（ICML）（第874-883页）。

[7]

主教CM模式识别和机器学习（信息科学和统计）2006年柏林，海德堡施普林格-弗拉格

[8]

Breiman L、Friedman J、Olshen R和Stone C分类和回归树1984年加利福尼亚州蒙特利市沃兹沃斯和布鲁克斯

[9]

Caron，M.、Bojanowski，P.、Joulin，A.和Douze，M.（2018年）。用于视觉特征无监督学习的深度聚类。在欧洲计算机视觉会议记录（第132-149页）。

[10]

Chang，J.，Wang，L.，Meng，G.，Xiang，S.，&Pan，C.（2017）。深度自适应图像聚类IEEE计算机视觉国际会议（ICCV）会议记录（第5879–5887页）。

[11]

Dhillon，I.S.、Guan，Y.和Kulis，B.（2004）。核k-means：谱聚类和归一化切割。在2004年ACM SIGKDD知识发现和数据挖掘国际会议记录-KDD’04.

[12]

Dilokthanakul，N.、Mediano，P.A.M.、Garnelo，M.、Lee，M.C.H.、Salimbeni，H.、Arulkumaran，K.和Shanahan，M.（2016）。使用高斯混合变分自编码器的深度无监督聚类。http://arxiv.org/abs/1611.02648

[13]

Dunn，J.C.（1973）。ISODATA过程的模糊关系及其在检测紧密且分离良好的簇中的使用。控制论杂志,三(3), 32–57.

[14]

Estévez PA、Tesmer M、Perez CA和Zurada JM标准化互信息特征选择IEEE传输。神经网络。2009 20 2 189-201

[15]

Fard MM、Thonet T和Gaussier E Deep k-means:使用k-means和学习表示联合聚类模式识别。莱特。2020 138 185-192

[16]

Frandsen PB、Calcott B、Mayer C和Lanfear R使用站点速率的迭代k均值聚类为系统发育分析自动选择分区方案BMC演变。生物。2015 15 1 1-17

[17]

Gasch AP和Eisen MB通过模糊k-均值聚类探讨酵母基因表达的条件协同调控基因组生物学。2002 3 11 1-22

[18]

Dizaji，K.G.、Herandi，A.、Deng，C.、Cai，W.和Huang，H.（2017）。通过联合卷积自动编码器嵌入和相对熵最小化实现深度聚类。在IEEE计算机视觉国际会议（ICCV）会议记录（第5736–5745页）。

[19]

Goodfellow，I.J.、Pouget-Abadie，J.、Mirza，M.、Xu，B.、Warde-Farley，D.、Ozair，S.、Courville，A.和Bengio，Y.（2014）。生成对抗性网络。http://arxiv.org/abs/1406.2661

[20]

郭，X.，高，L.，刘，X.和尹，J.（2017）。改进了具有局部结构保留的深度嵌入聚类。在第26届国际人工智能联合会议记录（IJCAI）（第1753-1759页）。

[21]

Guo，X.，Liu，X.、Zhu，E.和Yin，J.（2017）。带卷积自动编码器的深度聚类。在神经信息处理（第373–382页）。

[22]

Guyon，I.、Boser，B.和Vapnik，V.（1993）。超大VC-维度分类器的自动容量调整。在神经信息处理系统（NIPS）的进展（第147-155页）。

[23]

Haeusser，P.、Plapp，J.、Golkov，V.、Aljalbout，E.和Cremers，D.（2018年）。关联深度聚类：训练一个没有标签的分类网络。在德国模式识别会议（第18-32页）。

[24]

Hasnat，M.A.、Bohné，J.、Milgram，J.，Gentric，S.和Chen，L.（2017年）。von Mises-Fisher基于混合模型的深度学习：应用于人脸验证。http://arxiv.org/abs/1706.04264

[25]

Hennig C和Liao TF如何为混合型变量找到合适的聚类并应用于社会经济分层J.Royal Stat.Soc.:爵士。C（应用统计）2013 62 3 309-369

[26]

Hu，W.，Miyato，T.，Tokui，S.，Matsumoto，E.，&Sugiyama，M.（2017）。通过信息最大化的自我增强训练学习离散表示法。在第34届国际机器学习会议记录（ICML）（第1558-1567页）。

[27]

Hubert L和Arabie P比较分区J.分类。1985 2 1 193-218

[28]

Jang，E.、Gu，S.和Poole，B.（2016）。使用Gumbel-Softmax进行分类重新参数化。网址：http://arxiv.org/abs/1611.01144

[29]

Ji，X.、Henriques，J.F.和Vedaldi，A.（2019年）。用于无监督图像分类和分割的不变信息聚类。在IEEE/CVF国际计算机视觉会议（ICCV）会议记录（第9865-9874页）。

[30]

Jiang，Z.、Zheng，Y.、Tan，H.、Tang，B.和Zhou，H.（2017）。变分深度嵌入：一种无监督的生成性聚类方法第26届国际人工智能联合会议（IJCAI）会议记录（第1965-1972页）。

[31]

Kampfeyer M、Lökse S、Bianchi FM、Livi L、Salberg AB和Jenssen R基于深度差异的聚类方法神经网络。2019 113 91-101

[32]

Kingma，D.P.和Ba，J.（2014）。亚当：一种随机优化方法。http://arxiv.org/abs/11412.6980

[33]

Kingma，D.P.和Welling，M.（2013年）。自动编码变分贝叶斯。http://arxiv.org/abs/1312.6114

[34]

Krishna K和Murty MN遗传K-means算法IEEE传输。系统。人类网络。B部分1999 29 3 433-439

[35]

Krizhevsky，A.（2009）。从微小图像中学习多层特征。多伦多大学TR-2009技术报告。

[36]

Kuhn HW分配问题的匈牙利方法海军后勤研究。每季度1955 2 1–2 83-97

[37]

Kulis，B.，Jordan，M.I.（2012年）。重温k-means：通过贝叶斯非参数的新算法。在第29届机器学习国际会议论文集（ICML）（第1131-1138页）。

[38]

LeCun Y、Boser B、Denker JS、Henderson D、Howard RE、Hubbard W和Jackel LD Backpropagation应用于手写邮政编码识别神经计算。1989 1 4 541-551

[39]

pcm中的Lloyd S最小二乘量化IEEE传输。通知。理论1982 28 2 129-137

[40]

Lücke J和Forster D k均值作为高斯混合模型的变分em逼近模式识别。莱特。2019 125 349-356

[41]

Maaten L和Hinton G使用t-sne可视化数据J.马赫。学习。物件。2008 9 2579-2605

[42]

Makhzani，A.、Shlens，J.、Jaitly，N.、Goodfellow，I.和Frey，B.（2015）。对抗性自动编码器。http://arxiv.org/abs/1511.05644

[43]

McConville，R.、Santos-Rodriguez，R.，Piechocki，R.J.和Craddock，I.（2021）。N2D：（不是太）通过聚类自动编码嵌入的局部流形进行深度聚类。在2020第25届国际模式识别大会（ICPR）（第5145–5152页）。

[44]

McInnes，L.、Healy，J.和Melville，J.（2018）。UMAP：用于降维的统一流形近似和投影。http://arxiv.org/abs/1802.03426

[45]

Miklautz L、Mautz D、Altinigneli MC、Böhm C和Plant C深度嵌入非冗余集群程序。AAAI Conf.Artif.公司。智力。2020 34 5174-5181

[46]

Mukherjee S、Asnani H、Lin E和Kannan S Clustergan：生成性对抗网络中的潜在空间集群程序。AAAI Conf.Artif.公司。智力。2019 33 4610-4617

[47]

Punj G和Stewart DW市场营销研究中的聚类分析：综述和应用建议J.营销研究。1983 20 2 134-148

[48]

Rosenberg，A.和Hirschberg，J.（2007）。V度量：一种基于条件熵的外部聚类评估度量。在2007年自然语言处理和计算自然语言学习经验方法联合会议记录（EMNLP-CoNLL）（第410-420页）。

[49]

Salaün，A.、Petetin，Y.和Desbouvries，F.（2019年）。比较RNN和HMM.In的建模能力2019年IEEE第18届机器学习与应用国际会议（ICMLA）（第1496-1499页）。

[50]

Springenberg，J.T.（2015）。无监督和半监督学习与分类生成对抗网络。http://arxiv.org/abs/1511.06390

[51]

田凤、高斌、崔琦、陈毅和刘天勇（2014）。学习图聚类的深度表示AAAI人工智能会议记录（第1293-1299页）。

[52]

Tishby，N.、Pereira，F.C.和Bialek，W.（2000）。信息瓶颈方法。http://arxiv.org/abs/physics/0004057

[53]

乌尔·Y、Arvanitakis G和Zaidi A无监督聚类的变异信息瓶颈：深高斯混合嵌入熵2020 22 2 213

[54]

Van Gansbeke，W.、Vandenhende，S.、Georgoulis，S.，Proesmans，M.、Van Gool，L.（2020年）。扫描：学习无标签图像分类。在欧洲计算机视觉会议记录（第268–285页）。

[55]

Xiao，H.、Rasul，K.和Vollgraf，R.（2017）。Fashion-MNIST：用于基准机器学习算法的新型图像数据集。http://arxiv.org/abs/1708.07747

[56]

Xie，J.、Girschick，R.、Farhadi，A.（2016）。用于聚类分析的无监督深度嵌入。在第33届机器学习国际会议论文集（ICML）（第478–487页）。

[57]

Yang，B.、Fu，X.、Sidiropoulos，N.D.和Hong，M.（2017）。走向K-means友好空间：同步深度学习和聚类第34届国际机器学习会议记录（ICML）（第3861–3870页）。

[58]

Yang，J.，Parikh，D.，Batra，D.（2016）。深度表征和图像簇的联合无监督学习。在IEEE计算机视觉和模式识别会议记录（第5147–5156页）。

[59]

Yang，L.，Cheung，N.M.，Li，J.，Fang，J.（2019年）。基于图嵌入的高斯混合变分自编码器深度聚类。在IEEE计算机视觉国际会议（ICCV）会议记录（第6440-6449页）。

[60]

Yang，X.，Deng，C.，Wei，K.，Yan，J.，&Liu，W.（2020年）。稳健深度聚类的对抗学习神经信息处理系统（NeurIPS）的进展（第9098–9108页）。

[61]

Zhang，T.，Ji，P.，Harandi，M.，Huang，W.，Li，H.（2019年）。神经协作子空间聚类第36届机器学习国际会议（ICML）会议记录（第7384–7393页）。

[62]

Zheng GX、Terry JM、Belgrader P、Ryvkin P、Bent ZW、Wilson R、Ziraldo SB、Wheeler TD、McDermott GP、Zhu J等。单细胞大规模并行数字转录图谱自然通信2017 8 1 1-12

引用人

姚Y平移Y李杰曾荫权（Tsang I）姚明X(2024)针对混杂偏见的净化聚类机器语言2007年10月10日/10994-023-06451-5113:6(3711-3730)在线发布日期：2024年6月1日
https://dl.acm.org/doi/10.1007/s10994-023-06451-5
谭JKatchabaw M公司(2022)一种使用Wasserstein自动编码器的可重用播放器聚类方法娱乐计算–ICEC 202210.1007/978-3-031-20212-4_24(296-308)在线发布日期：2022年11月1日
https://dl.acm.org/doi/10.1007/978-3-031-20212-4_24

建议

使用另一个聚类的合适质心改进基于质心的聚类
摘要
基于质心的快速聚类算法，如k个-均值通常收敛于局部最优。在这项工作中，我们提出了一种从两个这样的次优聚类解决方案构建更好聚类的方法，基于每个次优聚类解决方案。。。
阅读更多信息
基于K-调和均值聚类的蚂蚁聚类算法

聚类是一种无监督的学习过程，没有数据分布的先验知识。它将一组对象/数据组织成类似的组，称为集群，一个集群中的对象与。。。
阅读更多信息
k个-均值作为高斯混合模型的变分EM近似
集锦
- k-means是从应用于高斯混合模型（GMM）的一类新的变分EM近似导出的。
摘要
我们证明了这一点k个-将截断变分EM近似应用于各向同性高斯混合模型（GMM）时，得到了均值（Lloyd算法）。与标准的联系方式相反k个-...
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片机器语言

机器语言第110卷第7期

2021年7月

249页

ISSN公司：0885-6125

©作者2021。

出版商

Kluwer学术出版社

美国

出版历史

出版：2021年7月1日

认可的：2021年5月28日

收到的修订：2021年4月5日

收到：2020年11月22日

作者标记

限定符

研究文章

资金来源

UiT挪威北极大学（包括挪威北部大学医院）

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

2
引文总数
查看引文
0
总下载次数

下载量（最近12个月）0
下载次数（最近6周）0

其他指标

查看作者指标

引文

引用人

姚明Y平移Y李杰曾荫权（Tsang I）姚明X(2024)针对混杂偏见进行分类机器语言2007年10月10日/10994-023-06451-5113:6(3711-3730)在线发布日期：2024年6月1日
https://dl.acm.org/doi/10.1007/s10994-023-06451-5
谭JKatchabaw M公司(2022)基于Wasserstein自编码器的可重用玩家聚类方法娱乐计算–ICEC 202210.1007/978-3-031-20212-4_24(296-308)在线发布日期：2022年11月1日
https://dl.acm.org/doi/10.1007/978-3-031-20212-4_24

视图选项

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子

查看问题目录