×

核逻辑PLS:用于监督非线性降维和二进制分类的工具。 (英文) Zbl 1162.62384号

摘要:“核逻辑PLS”(KL-PLS)是一种用于有监督非线性降维和二进制分类的新工具。KL-PLS的原理基于PLS潜在变量的构造和核学习。KL-PLS算法可以看作是一种有监督的降维(复杂性控制步骤),然后是基于逻辑回归的分类。该算法应用于11个用于二进制分类的基准数据集和3个医学问题。在所有情况下,KL-PLS证明了其与其他最先进的分类方法(如支持向量机)的竞争力。此外,由于回归和逻辑回归的连续性仅对少数不相关变量进行,KL-PLS允许处理高维数据。该方法简单易行。它通过降维提供了有效的复杂性控制,并允许对数据分段进行可视化检查。

MSC公司:

62H30型 分类和区分;聚类分析(统计方面)
68T05型 人工智能中的学习和自适应系统

软件:

SAS公司;SVM灯
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 阿尔伯特,A。;Anderson,J.A.,关于logistic回归模型中最大似然估计的存在性,Biometrika,71,1-10(1984)·Zbl 0543.62020号
[2] Allison,D.P.,1999年。使用SAS系统的Logistic回归:理论与应用,SAS研究所,ISBN:1-58025-352-0。;Allison,D.P.,1999年。使用SAS系统的Logistic回归:理论与应用,SAS研究所,ISBN:1-58025-352-0。
[3] 巴赫,F.R.,约旦,M.I.,2005年。核方法的预测低秩分解。摘自:德国波恩第二十二届机器学习国际会议论文集。;巴赫,F.R.,约旦,M.I.,2005年。核方法的预测低秩分解。摘自:德国波恩第二十届机器学习国际会议论文集。
[4] 巴菲,G。;马丁·E·B。;Morris,A.J.,对潜在结构的非线性投影(神经网络PLS算法),计算。化学。工程师,23,1293-1307(1999)
[5] Barker,M。;Rayens,W.S.,《偏最小二乘判别法》,《化学计量学杂志》,第17期,第166-173页(2003年)
[6] Bastien,P。;Vinzi,V.E。;Tenenhaus,M.,PLS广义线性回归,计算。统计师。数据分析。,48, 17-46 (2005) ·Zbl 1429.62316号
[7] Bennett,K.P。;Embrechts,M.J.,《关于核偏最小二乘回归的优化观点》,(学习理论的进展:方法、模型和应用),《北约科学系列III:计算机和系统科学》,第190卷(2003年),IOS出版社:阿姆斯特丹IOS出版社),227-250
[8] Boser,B.E.,Guyon,I.,Vapnik,V.N.,1992年。一种最优边缘分类器的训练算法。摘自:《第五届计算学习理论年度研讨会论文集》,第5卷,匹兹堡,第144-152页。;Boser,B.E.,Guyon,I.,Vapnik,V.N.,1992年。一种最优边缘分类器的训练算法。摘自:《第五届计算学习理论年度研讨会论文集》,第5卷,匹兹堡,第144-152页。
[9] Burges,C.J.C.,模式识别、数据挖掘和知识发现支持向量机教程,2,2,121-167(1998)
[10] Cherkassky,V。;穆利埃,F.P。;Vapnik,V.N.,使用VC泛化边界进行回归的模型复杂性控制,IEEE神经网络汇刊,101075-1089(1999)
[11] 科尔特斯,C。;Vapnik,V.,支持向量网络,马赫。学习,20273-297(1995)·兹比尔08316.8098
[12] Evgeniou,T。;庞蒂尔,M。;Poggio,T.,正则化网络和支持向量机,高级计算。数学。,13, 1-50 (1999) ·Zbl 0939.68098号
[13] Firth,D.,最大似然估计的偏差减少,生物特征,80,27-38(1993)·Zbl 0769.62021号
[14] Garthwaite,P.H.,《偏最小二乘法的解释》,J.Amer。统计师。协会,89,425,122-127(1994)·兹比尔0793.62034
[15] Hanley,J.A.,《接收器操作特征方法:最新进展》,《诊断成像关键评论》,29,307-335(1989)
[16] 海因策,G。;Schemper,M.,逻辑回归中分离问题的解决方案,统计。医学,212409-2419(2002)
[17] Höskuldsson,A.,PLS回归方法,《化学计量学杂志》,2211-228(1988)
[18] Joachims,J.,《使大规模SVM学习实用化》(Schölkopf,B.;Burges,C.;Smola,A.,《内核方法的进展——支持向量学习》(1999),麻省理工学院出版社:麻省理学院出版社剑桥)
[19] Li,J.,Liu,H.,2002年。Kent Ridge生物医学数据集存储库\(\langle;\)http://sdmc-lit.org.sg/GE数据集\(\rangle;\);Li,J.,Liu,H.,2002年。Kent Ridge生物医学数据集存储库\(\langle;\)http://sdmc-lit.org.sg/GE数据集\(\rangle;\)
[20] Rätsch,G。;Onoda,T。;Muller,K.R.,adaboost的软裕度,马赫。学习,42,287-320(2001)·Zbl 0969.68128号
[21] 罗斯帕尔,R。;Trejo,L.J.,再生核希尔伯特空间中的核偏最小二乘回归,J.Mach。学习研究,297-123(2001)·兹比尔1021.68075
[22] Rosipal,R.,Trejo,L.J.,Matthews,B.,2003年。线性和非线性分类的核PLS-SVC。附:第二十届国际机器学习会议记录,美国华盛顿。;Rosipal,R.,Trejo,L.J.,Matthews,B.,2003年。线性和非线性分类的核PLS-SVC。摘自:第二十届国际机器学习会议论文集,美国华盛顿。
[23] Schölkopf,B。;Smola,A.J.,《使用内核支持向量机正则化优化及其以外的学习》(2002),麻省理工学院出版社:麻省理学院出版社剑桥
[24] Schölkopf,B。;Smola,A.J。;Müller,K.R.,作为核特征值问题的非线性分量分析,神经计算。,10, 1299-1319 (1998)
[25] 肖-泰勒,J。;Cristianini,N.,《模式分析的核心方法》(2004),剑桥大学出版社:剑桥大学出版社
[26] 沈,L。;Tan,E.C.,使用微阵列数据进行癌症分类的基于维数缩减的惩罚logistic回归,IEEE/ACM Trans。计算。生物.生物信息学,2,2,166-175(2005)
[27] A.J.Smola和B.Schölkopf,2000年。机器学习的稀疏贪婪矩阵近似。参加:第十七届国际机器学习会议,美国斯坦福大学。;Smola,A.J.,Schölkopf,B.,2000年。机器学习的稀疏贪婪矩阵近似。参加:第十七届国际机器学习会议,美国斯坦福大学。
[28] Tenenhaus,A.,La Régression Logistique PLS validée e par bootstrap(2002),统计学硕士学位,皮埃尔·居里大学:统计学硕士学位
[29] Tenenhaus,M.,1998年。La Régression PLS,éditions Technip。;Tenenhaus,M.,1998年。La Régression PLS,éditions Technip公司·Zbl 0923.62058号
[30] Tenenhaus,M.,La régression logistique PLS,(Droesbeke,J.J.;Lejeune,M.;Saporta,G.,Modèles statistiques pour donnes qualitatives(2005),Technip版)
[31] Tenenhaus,A.,Giron,A.,Saporta,G.,Fertil,B.,2005年。核逻辑PLS:一种新的复杂分类工具。参加:第十一届应用随机模型和数据分析国际研讨会,法国布雷斯特。;Tenenhaus,A.,Giron,A.,Saporta,G.,Fertil,B.,2005年。核逻辑PLS:一种用于复杂分类的新工具。在:第11届应用随机模型和数据分析国际研讨会,法国布雷斯特·Zbl 1162.62384号
[32] Tikhonov,A.N。;Arsenin,V.Y.,《病态问题的解决》(1977),威利出版社:威利纽约·Zbl 0354.65028号
[33] 塔克,L.R.,《因子分析的跨银行方法》,《心理测量学》,23,2(1958)·Zbl 0097.35102号
[34] Vapnik,V.,《统计学习理论》(1998),威利出版社:威利纽约·Zbl 0935.62007号
[35] Wahba,G.,1999年。支持向量机,再生核希尔伯特空间和随机GACV。在:核方法支持向量学习的进展,第69-88页。;Wahba,G.,1999年。支持向量机,再生核希尔伯特空间和随机GACV。摘自:《内核方法的进展——支持向量学习》,第69-88页。
[36] 韦伯,A.R.,1996年。使用加权多维缩放应力测度的径向基函数非线性特征提取。参加:第十三届国际模式识别会议。;韦伯,A.R.,1996年。使用加权多维缩放应力测度的径向基函数非线性特征提取。参加:第十三届国际模式识别会议。
[37] Williams,C.K.I.,Seeger,M.,2000年。输入密度分布对基于核分类器的影响。参加:第十七届国际机器学习会议,美国斯坦福大学。;Williams,C.K.I.,Seeger,M.,2000年。输入密度分布对基于核分类器的影响。参加:第十七届国际机器学习会议,美国斯坦福大学。
[38] Wold,S.,非线性偏最小二乘建模。II样条内部功能,化学计量学智能。实验室系统,14,71-84(1992)
[39] 沃尔德,S。;Martens,H。;Wold,H.,用PLS方法解决化学中的多元校准问题,(数学讲义(1983),施普林格:施普林格-海德堡),286-293·Zbl 0499.65065号
[40] 沃尔德,S。;Kettaneh-Wold,N。;Skagerberg,B.,非线性PLS建模,化学计量学情报。实验室系统,753-65(1989)
[41] Wu,W。;马萨特,D.L。;de Jong,S.,宽数据的核心PCA算法。第二部分:快速交叉验证及其在近红外数据分类中的应用,Chemometrics Intell。实验室系统,37,271-280(1997)
[42] 朱,J。;Hastie,T.,《核逻辑回归与输入向量机》,J.Compute。图形统计。,14, 1, 185-205 (2005)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。