尚荣华;孟阳;刘启阳;焦立成;埃斯法哈尼（Esfahani）、埃米尔·M·加拉姆赞（Amir M.Ghalamzan）;鲁斯塔姆·斯托尔金 基于核Fisher判别分析和回归学习的无监督特征选择。 （英语） Zbl 1482.68204号 机器。学习。 108，第4号，659-686（2019）。 摘要：本文提出了一种新的特征选择方法，称为核fisher判别分析和基于回归学习的无监督特征选择算法。现有的特征选择方法要么基于流形学习，要么基于判别技术，每种方法都有一些不足。虽然一些研究表明，两步法的优点既得益于流形学习，也得益于判别技术，但联合公式已被证明更有效。为此，我们基于核方法构造了一个聚类框架的全局判别目标项。我们在目标函数中添加了另一项回归学习，可以对原始数据集的低维表示进行优化。我们使用特征的（L_{2,1}）范数对特征施加稀疏结构，这样可以得到更具区分性的特征。我们提出了一种算法来解决本文介绍的优化问题。我们进一步讨论了该算法的收敛性、参数敏感性、计算复杂性以及聚类和分类精度。为了证明该算法的有效性，我们使用不同的可用数据集进行了一组实验。将所提算法获得的结果与最先进的算法进行了比较。这些结果表明，在不同的数据集上，我们的方法在许多情况下都优于现有的最新方法，但性能的改进伴随着时间复杂度的增加。 引用于1文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 62克08 非参数回归和分位数回归 62小时30分 分类和区分；聚类分析（统计方面） 关键词：核Fisher判别分析;流形学习;回归学习;稀疏约束;特征选择 PDF格式BibTeX公司 XML格式引用 \textit{R.Shang}等人，马赫。学习。108，第4号，659--686（2019；Zbl 1482.68204） 全文： 内政部 参考文献： [1] Abdulla，W.和Kasabov，N.（2003年）。基于简化特征集的并行CHMM语音识别系统。信息科学，156（1-2），21-38·doi:10.1016/S0020-0255（03）00162-2 [2] Belkin，M.和Niyogi，P.（2003年）。用于降维和数据表示的拉普拉斯特征映射。神经计算，15（6），1373-1396·Zbl 1085.68119号 ·doi:10.1162/089976603321780317 [3] Cai，D.、He，X.、Han，J.和Huang，T.（2011）。用于数据表示的图正则化非负矩阵分解。IEEE模式分析和机器智能汇刊，33（8），1548-1560·doi:10.10109/TPAMI.2010.231 [4] Cai，D.、He，X.、Wu，X.和Han，J.（2008）。流形上的非负矩阵分解。2008年第八届IEEE数据挖掘国际会议处理（第63-72页）。 [5] Cai，D.，Zhang，C.，&He，X.（2010）多聚类数据的无监督特征选择。2010年第16届ACM SIGKDD知识发现和数据挖掘国际会议论文集（第333-342页）。 [6] Chen，M.，Tsang，W.，Tan，M..，&Cham，T.（2015）。一个统一的特征选择框架，用于在高维数据上嵌入图形。IEEE知识与数据工程汇刊，27（6），1465-1477·doi:10.1109/TKDE.2014.2382599 [7] Cheng，Q.、Zhou，H.和Cheng，J.（2011）。Fisher-Markov选择器：快速选择最大可分离特征子集，用于多类分类，并应用于高维数据。IEEE模式分析和机器智能汇刊，33（6），1217-1233·doi:10.1109/TPAMI.2010.195 [8] Constantinopoulos，C.、Titsias，M.和Likas，A.（2006年）。高斯混合模型的贝叶斯特征和模型选择。IEEE模式分析和机器智能汇刊，28（6），1013-1018·doi:10.1109/TPAMI.2006.111 [9] 丁·C、彭·H（2005）。从微阵列基因表达数据中选择最小冗余特征。生物信息学与计算生物学杂志。，3(2), 185-205. ·doi:10.1142/S0219720005001004 [10] Doquire，G.和Verleysen，M.（2013年）。一种基于图拉普拉斯的回归问题半监督特征选择方法。神经计算，121（18），5-13·doi:10.1016/j.neucom.2012.10.028 [11] Fang，X.、Xu，Y.、Li，X.、Fan，Z.、Liu，H.和Chen，Y.（2014）。用于特征选择的保持局部性和相似性的嵌入。神经计算，128，304-315·doi:10.1016/j.neucom.2013.08.040 [12] Gu，B.，&Sheng，V.（2016）。一种用于支持向量分类的鲁棒正则化路径算法。IEEE神经网络和学习系统汇刊。https://doi.org/10.109/TNNLS.2016.2527796。 ·doi:10.1109/TNNLS.2016.527796 [13] Gu，B.，&Sheng，V.S.（2017）。一种稳健的正则化路径算法用于ν-支持向量分类。IEEE神经网络和学习系统汇刊。，28（5），1241-1248·doi:10.1109/TNNLS.2016.527796 [14] Gu，B.，Sheng，V.S.，Wang，Z.，Ho，D.，Osman，S.，&Li，S.（2015）。ν-支持向量回归的增量学习。神经网络，67140-150·Zbl 1394.68286号 ·doi:10.1016/j.neunet.2015.03.013 [15] He，X.，Cai，D.和Niyogi，P.（2005）。特征选择的拉普拉斯分数。2005年神经信息处理系统国际会议（第507-514页），麻省理工学院出版社。 [16] He，X.和Niyogi，P.（2004）。保留位置的投影。神经信息处理系统进展，16，153-160。 [17] Hou，C.，Nie，F.，Li，X.，Yi，D.，&Wu，Y.（2014）。联合嵌入学习和稀疏回归：无监督特征选择框架。IEEE控制论汇刊，44（6），793-804·doi:10.1109/TCYB.2013.2272642 [18] Lee，D.和Seung，H.（1999）。通过非负矩阵分解学习对象的各个部分。《自然》，401788-791·Zbl 1369.68285号 ·doi:10.1038/44565 [19] Li，Z.，Liu，J.，Yang，Y.，Zhou，X.，&Lu，H.（2014）。用于无监督特征选择的聚类引导稀疏结构学习。IEEE知识与数据工程汇刊，26（9），2138-2150·doi:10.1109/TKDE.2013.65 [20] Li，Z.、Liu，J.、Zhu，X.、Liw，T.和Lu，H.（2010）。使用多相关概率矩阵分解的图像注释。2010年第18届ACM多媒体国际会议记录（第1187-1190页）。 [21] Lin，C.（2007）。非负矩阵分解乘法更新算法的收敛性。IEEE神经网络学报，18（6），1589-1596·doi:10.109/TNN.2007.895831 [22] Liu，X.、Wang，L.、Zhang，J.、Yin，J.和Liu，H.（2014）。用于特征选择的全局和局部结构保留。IEEE神经网络和学习系统汇刊，25（6），1083-1095·doi:10.1109/TNNLS.2013.2287275 [23] Liu，H.，Wu，Z.，Li，X.，Cai，D.，&Huang，T.（2012）。图像表示的约束非负矩阵分解。IEEE模式分析和机器智能汇刊，34（7），1299-1311·doi:10.1109/TPAMI.2011.217 [24] Lu，Y.，Lai，Z.，&Fan，Z.（2015）。用于图像分类的流形判别回归学习。神经计算，166475-486·doi:10.1016/j.neucom.2015.03.031 [25] Luxburg，U.（2007年）。光谱聚类教程。统计与计算，17（4），395-416·数字对象标识代码：10.1007/s11222-007-9033-z [26] Ma，T.、Wang，Y.、Tang，M.、Cao，J.、Tian，Y.和Al-Dhelaan，A.等人（2016）。LED：基于结构聚类的快速重叠社区检测算法。神经计算，207488-500·doi:10.1016/j.neucom.2016.05.020 [27] Mao，Q.，&Tsang，I.（2013）。多元性能度量的特征选择方法。IEEE模式分析和机器智能汇刊，35（9），2051-2063·doi:10.1109/TPAMI.2012.266 [28] McLachlan，G.（2004）。判别分析和统计模式识别（第544卷）。纽约州纽约市：Wiley·Zbl 1108.62317号 [29] Meng，Y.，Shang，R.，Jiao，L.，Zhang，W.，&Yang，S.（2018a）。具有稀疏和正交约束的对偶图正则化非负矩阵分解。人工智能的工程应用，69，24-35·doi:10.1016/j.engappai.2017.11.008 [30] Meng，Y.、Shang，R.、Jiao，L.、Zhang，W.、Y.和Yang，S.（2018b）。基于特征选择的双粒度稀疏非负矩阵因式分解用于局部区分聚类。神经计算，290，87-99·doi:10.1016/j.neucom.2018.02.044 [31] Mika，S.、Rätsch，G.、Weston，J.、Schölkopf，B.和Müller，K.（1999年）。核的Fisher判别分析。摘自：IEEE信号处理车间神经网络会议记录（NNSP），1999年（第41-48页）。 [32] Mitra，P.、Murthy，C.和Pal，S.（2002年）。使用特征相似性的无监督特征选择。IEEE模式分析和机器智能汇刊，24（3），301-312·doi:10.1109/34.990133 [33] Nie，F.、Xu，D.、Tsang，I.W.和Zhang，C.（2010）。柔性流形嵌入：用于半监督和非监督降维的框架。IEEE图像处理汇刊，19（7），1921-1932·Zbl 1371.94276号 ·doi:10.1109/TIP.2010.2044958 [34] Papadimitriou，C.和Steiglitz，K.（1998年）。组合优化：算法和复杂性。纽约州米诺拉：多佛出版社·Zbl 0944.90066号 [35] Roweis，S.和Saul，L.（2000）。局部嵌入的非线性降维方法。《科学》，290（5500），2323-2326·doi:10.1126/science.290.5500.2323 [36] Shang，R.、Liu，C.、Meng，Y.、Jiao，L.和Stolkin，R.（2017）。具有秩正则化和硬约束的非负矩阵分解。神经计算，292553-2579·Zbl 1419.65007号 ·doi:10.1162/necoa_00995 [37] Shang，R.，Zhang，Z.，&Jiao，L.（2016a）。基于全局判别的非负谱聚类。模式识别，55，172-182·Zbl 1412.62085号 ·doi:10.1016/j.patcog.2016.01.035 [38] Shang，R.，Zhang，Z.，Jiao，L.，Liu，C.，&Li，Y.（2016b）。基于自表示的双纹理正则化特征选择聚类。神经计算，1711242-1253·doi:10.1016/j.neucom.2015.07.068 [39] Shi，J.和Malik，J.（2000）。标准化切割和图像分割。IEEE模式分析和机器智能汇刊，22（8），888-905·数字对象标识代码：10.1109/34.868688 [40] Shi，C.，&Ruan，Q.（2015）。基于l2,1/2矩阵范数的Hessian半监督稀疏特征选择。IEEE多媒体汇刊，17（1），16-28·doi:10.1109/TMM.2014.2375792 [41] Sikonja，M.和Kononenko，I.（2003年）。救济和救济的理论和实证分析。机器学习，53（1），23-69·Zbl 1076.68065号 ·doi:10.1023/A:1025667309714 [42] Smith，L.（2002）。主成分分析教程。康奈尔大学，58（3），219-226。 [43] Stolkin，R.、Greig，A.、Hodgetts，M.和Gilby，J.（2008）。一种EM/EMRF算法，用于极低能见度下基于模型的自适应跟踪。图像与视觉计算，26（4），480-495·doi:10.1016/j.imavis.2007.06.008 [44] Stolkin，R.、Hodgetts，M.、Greig，A.和Gilby，J.（2007年）。用于预测图像分割的扩展马尔可夫随机场。2007年第六届模式识别进展国际会议论文集。 [45] Strehl，A.和Ghosh，J.（2003）。集群集成：用于组合多个分区的知识重用框架。机器学习研究杂志，3，583-617·Zbl 1084.68759号 [46] Tenenbaum，J.、Silva，V.和Langford，J.（2000）。非线性降维的全局几何框架。科学，290（5500），2319-2323·doi:10.1126/science.290.5500.2319 [47] Tian，Q.，&Chen，S.（2017）。通过相关表示学习进行跨异质数据库年龄估计。神经计算。，238, 286-295. ·doi:10.1016/j.neucom.2017.01.064 [48] Wei，D.、Li，S.和Tan，M.（2012）。基于图形嵌入的特征选择。神经计算，93（2），115-125·doi:10.1016/j.neucom.2012.03.016 [49] Xu，Z.、King，I.、Lyu，M.和Jin，R.（2010）。基于流形正则化的判别半监督特征选择。IEEE神经网络学报，21（7），1033-1047·doi:10.1109/TNN.2010/2047114 [50] Yan，S.和Xu，D.（2007）。图嵌入和扩展：降维的一般框架。IEEE模式分析和机器智能汇刊，29（1），40-51·doi:10.1109/TPAMI.2007.250598 [51] Yang，Y.，Shen，H.，Ma，Z.，Huang，Z.&Zhou，X.（2011）。用于无监督学习的l2,1-形式正则化判别特征选择。2011年第二十二届国际人工智能联合会议记录（第1589-1594页）。 [52] Yang，Y.，Xu，D.，Nie，F.，Yan，S.，&Zhuang，Y.（2010）。使用局部判别模型和全局集成进行图像聚类。IEEE图像处理汇刊，19（10），2761-2773·Zbl 1371.94434号 ·doi:10.10109/TIP.2010.2049235 [53] Zhao，&Liu，H.（2007）。用于监督和非监督学习的光谱特征选择。摘自：2007年第24届国际机器学习会议记录（第1151-1157页）。 [54] Zhao，Z.，Wang，L.，&Liu，H.（2010）。具有最小冗余度的高效光谱特征选择。在第24届AAAI人工智能会议记录中，2010年（第673-678页）。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。