约翰·苏肯斯（Johan A.K.Suykens）。;卡洛斯·阿尔扎特;克里斯蒂安·佩尔克曼斯 基于核学习中的原始和对偶模型表示。 （英语） Zbl 06162223号 统计调查。 4, 148-183 (2010). 摘要：本文讨论了原始和（拉格朗日）对偶模型表示在有监督和无监督学习问题中的作用。估计问题的规范在原始层次上被认为是一个约束优化问题。约束与模型有关，该模型以特征图表示。从最优性条件出发，我们共同找到了最佳模型表示和模型估计。在对偶层次上，模型用正定核函数表示，这是支持向量机方法的特点。本文讨论了最小二乘支持向量机如何在回归、分类、主成分分析、谱聚类、典型相关分析、降维和数据可视化等问题中作为核心模型发挥核心作用。 引用于6文件 MSC公司： 62至XX 统计 关键词：内核方法;支持向量机;约束优化;原问题和对偶问题;要素地图;回归，回归;分类;主成分分析;光谱聚类;典型相关分析;独立;降维与数据可视化;稀疏;稳健性 软件：ElemStatLearn（电子状态学习） PDF格式BibTeX公司 XML格式引用 \textit{J.A.K.Suykens}等人，《统计调查》。4148-183（2010年；Zbl 06162223） 全文： 内政部 欧几里得 参考文献： [1] Alzate C.和Suykens J.A.K.（2008年）。“ICA的正则化核CCA对比度函数”，神经网络，21（2-3），170-181·Zbl 1254.68195号 [2] Alzate C.和Suykens J.A.K.（2008年）。“使用Epsilon不敏感鲁棒损失函数的核分量分析”，IEEE神经网络汇刊，19（9），1583-1598。 [3] Alzate C.和Suykens J.A.K.（2008年）。“使用不完全Cholesky分解进行谱聚类的稀疏核模型”，IEEE计算智能世界大会（WCCI-IJCNN 2008），香港，第3555-3562页。 [4] Alzate C.和Suykens J.A.K.（2010年）。“通过加权核PCA进行带样本外扩展的多路谱聚类”，IEEE模式分析和机器智能汇刊，32（2）：335-347 [5] Alzate C.和Suykens J.A.K.（2009年）。“具有成对约束的谱聚类的正则化公式”，国际神经网络联合会议（IJCNN 2009），亚特兰大，141-148。 [6] Alzate C.和Suykens J.A.K.（2010年）。“具有预测样本外扩展的高度稀疏内核谱聚类”，Proc。第18届欧洲人工神经网络研讨会（ESANN 2010），比利时布鲁日，第235-240页。 [7] Aronszajn N.（1950）。“再生核理论”，Trans。美国数学学会，68，337-404。JSTOR公司：·Zbl 0037.20701号 ·数字对象标识代码：10.2307/1990404 [8] 巴赫F.R.和乔丹M.I.（2002）。“内核独立组件分析”，《机器学习研究杂志》，3，1-48·Zbl 1088.68689号 ·doi:10.1162/153244303768966085 [9] Belkin M.和Niyogi P.（2003年）。“用于降维和数据表示的拉普拉斯特征映射”，神经计算，15（6）：1373-1396·Zbl 1085.68119号 ·doi:10.1162/089976603321780317 [10] Belkin M.、Niyogi P.和Sindhwani V.（2006年）。“流形正则化：从标记和未标记示例学习的几何框架”，机器学习研究杂志，7:2399-2434·Zbl 1222.68144号 [11] Bengio Y.、Paiement J.-F.、Vincent P.、Delalleau O.、Le Roux N.和Ouimet M.（2004）。“LLE、Isomap、MDS、特征映射和光谱聚类的样本外扩展”，《神经信息处理系统进展》，2004年第16期。 [12] Bissacco A.、Chiuso A.和Soatto S.（2007年）。“动态模型的分类和识别：相位、独立分量、内核和最佳传输的作用”，IEEE模式分析和机器智能汇刊，29（11）：1958-1972。 [13] Bousquet O.和Elisseeff A.（2002年）。“稳定性和泛化”，《机器学习研究杂志》，2499-526·Zbl 1007.68083号 ·doi:10.1162/153244302760200704 [14] Boyd S.和Vandenberghe L.（2004）。，凸优化，剑桥大学出版社·Zbl 1058.90049号 [15] Bradley P.S.和Mangasarian O.L.（1998年）。“通过凹面最小化和支持向量机进行特征选择”，《第十五届国际会议机器学习论文集》（ICML98），（编辑J.Shavlik），Morgan Kaufmann，加利福尼亚州旧金山，82-90。 [16] Chapelle O.、Schölkopf B.和Zien A.（编辑）（2006年）。，《半监督学习》，麻省理工学院出版社。 [17] Chung F.R.K.（1997）。，谱图理论，CBMS数学区域会议系列，92·Zbl 0867.05046号 [18] Coifman R.R.和Lafon S.（2006年）。“扩散图”，应用和计算谐波分析，21（1），5-30·Zbl 1095.68094号 ·doi:10.1016/j.acha.2006.04.006 [19] Cortes C.和Vapnik V.（1995年）。“支持向量网络”，机器学习，20273-297·Zbl 0831.68098号 [20] Cressie N.（1993）。，空间数据统计，John Wiley&Sons，纽约·Zbl 0799.62002号 [21] Cristianini N.和Shawe-Taylor J.（2000）。，《支持向量机简介》，剑桥大学出版社·Zbl 0994.68074号 [22] Cucker F.和Smale S.（2002年）。“学习理论的数学基础”，AMS公告，39，1-49·Zbl 0983.68162号 ·doi:10.1090/S0273-0979-01-00923-5 [23] Cucker F.和Zhou D.-X.（2007）。，《学习理论：近似理论观点》，剑桥大学出版社·Zbl 1274.41001号 [24] Daubechies I.、DeVore R.、Fornasier M.和Gunturk S.（2010年）。“稀疏恢复的迭代加权最小二乘最小化”，《纯粹与应用数学通讯》，63（1）：1-38·Zbl 1202.65046号 ·doi:10.1002/cpa.20303 [25] De Brabanter K.、Pelckmans K.、De Brabunter J.、Debruyne M.、Suykens J.A.K.、Hubert M.和De Moor B.（2009）“基于核的回归的稳健性：迭代加权方案的比较”，Proc。第19届国际人工神经网络会议（ICANN 2009），塞浦路斯利马索尔，第100-110页。 [26] De Brabanter K.、De Brabanter J.、Suykens J.A.K.和De Moor B.（2010），“大型数据集的优化固定大小内核模型”，计算统计与数据分析，54（6）：1484-1504·Zbl 1284.62369号 [27] Debruyne M.、Hubert M.和Suykens J.A.K.（2008年）。“使用影响函数进行核回归的模型选择”，《机器学习研究杂志》，9，2377-2400·Zbl 1225.62051号 [28] Debruyne M.、Christmann A.、Hubert M.和Suykens J.A.K.（2010年）。“加权最小二乘核回归的稳健性”，多元分析杂志，101（2）：447-463·Zbl 1178.62035号 ·doi:10.1016/j.jmva.2009.09.007 [29] Donoho D.L.和Grimes C.（2003）。“黑森特征映射：高维数据的局部线性嵌入技术”，Proc。国家。阿卡德。科学。美国，100（10）：5591-5596·Zbl 1130.62337号 ·doi:10.1073/pnas.1031596100 [30] Espinoza M.、Suykens J.A.K.和De Moor B.（2006年）。“具有自相关误差的LS-SVM回归”，Proc。第14届国际会计师联合会系统识别研讨会（SYSID 2006），澳大利亚纽卡斯尔，第582-587页。 [31] Espinoza M.、Suykens J.A.K.、Belmans R.和De Moor B.（2007年）。“使用基于核的建模进行非线性系统识别的电力负荷预测”，IEEE Control Systems Magazine，27（5），43-57·Zbl 1395.93417号 ·doi:10.1009/MCS.2007.04656 [32] Falk T.、Pelckmans K.、Suykens J.A.K.和De Moor B.（2009年）。“使用LS-SVM识别Wiener-Hammerstein系统”，第15届IFAC系统识别研讨会论文集（SYSID 2009），法国圣马洛，第820-825页。 [33] Fung G.和Mangasarian O.L.（2001）。“近似支持向量机分类器”，《KDD-2001年学报》，77-86·Zbl 1101.68758号 [34] Fung G.和Mangasarian O.L.（2005）。“多类别近端支持向量机分类器”，机器学习，59:77-97·Zbl 1101.68758号 ·doi:10.1007/s10994-005-0463-6 [35] Girolma M.（2002）。“正交级数密度估计与核特征值问题”，神经计算，14（3），669-688·Zbl 0986.62021号 ·doi:10.1162/089976602317250942 [36] Golub G.H.、Heath M.和Wahba G.（1979年）。“广义交叉验证作为选择良好岭回归参数的方法”，Technometrics，21，215-223。JSTOR公司：·Zbl 0461.62059号 ·doi:10.2307/1268518 [37] Goethals I.、Pelckmans K.、Suykens J.A.K.和De Moor B.（2005年）。“使用最小二乘支持向量机识别MIMO-Hammerstein模型”，Automatica，41（7），1263-1272·Zbl 1086.93064号 ·doi:10.1016/j.automatica.2005.02.002 [38] Goethals I.、Pelckmans K.、Suykens J.A.K.和De Moor B.（2005年）。“使用最小二乘支持向量机识别Hammerstein系统的子空间”，IEEE自动控制汇刊，50（10），1509-1519·Zbl 1086.93064号 ·doi:10.1109/TAC.2005.856647 [39] Gretton A.、Herbrich R.、Smola A.、Bousquet O.和Schölkopf B.（2005年）。“测量独立性的核心方法”，《机器学习研究杂志》，6，2075-2129·Zbl 1222.68208号 [40] Hastie T.和Tibshirani R.（1990）。，广义加法模型，查普曼和霍尔/CRC·Zbl 0747.62061号 [41] Hastie T.、Tibshirani R.和Friedman J.（2001）。，统计学习的要素：数据挖掘、推断和预测，统计学中的斯普林格系列·Zbl 0973.62007号 [42] Huber P.J.（1981）。，《稳健统计》，纽约威利·Zbl 0536.62025号 [43] Jetter K.、Smale S.和Zhou D.-X.（编辑）（2008年）。，学习理论与近似，Oberwolfach报告，5（3）：1655-1706·Zbl 1177.68114号 ·doi:10.441/OWR/2008/30 [44] Jolliffe I.T.（1986年）。，主成分分析，统计学中的Springer系列，Springer-Verlag·Zbl 0584.62009号 [45] Kimeldorf G.S.和Wahba G.（1971）。“随机过程的贝叶斯估计与样条曲线平滑之间的对应关系”，《数学年鉴》。统计人员，2 , 495-502. ·Zbl 0193.45201号 ·doi:10.1214/aoms/1177697089 [46] Kohonen T.（1990）。“自组织映射”，《IEEE学报》，78（9）：1464-1480。 [47] Luenberger D.G.（1969）。，向量空间法优化，威利，纽约·Zbl 0176.12701号 [48] Luts J.、Suykens J.A.K.和Van Huffel S.（2007年）。“半监督学习：避免基于核分类器中的零标签假设”，内部报告07-122，ESAT-SISTA，K.U.Leuven（比利时鲁汶）。 [49] Luts J.、Ojeda F.、Van de Plas R.、de Moor B.、Van Huffel S.和Suykens J.A.K.（2010年）。“基于支持向量机方法的化学计量学分类问题教程”，《分析化学学报》，66（2）：129-145。 [50] 麦凯D.J.C.（1998）。《高斯过程导论》，神经网络和机器学习（编辑：C.M.Bishop），Springer NATO-ASI系列F：计算机和系统科学，第168卷，第133-165页。 [51] Mangasarian O.L.和Wild E.W.（2008年）。“基于非线性知识的分类”，IEEE神经网络汇刊，1826-1832。 [52] Meila M.和Shi J.（2001）。“频谱分割的随机行走视图”，人工智能与统计（AISTATS 2001）。 [53] Mercer J.（1909）。“正负型函数及其与积分方程理论的联系”，菲洛斯。事务处理。罗伊。伦敦特区，209415-446。 [54] Ng A.Y.、Jordan M.I.和Weiss Y.（2002年）。“关于谱聚类：分析和算法”，载于T.Dietterich、S.Becker和Z.Ghahramani（编辑），《神经信息处理系统进展》，第14页。 [55] Ojeda F.、Suykens J.A.K.和De Moor B.（2008年）。“用于快速变量选择的低秩更新LS-SVM分类器”，神经网络，21（2-3），437-449·Zbl 1254.68218号 [56] Parzen E.（1970）。“用RKHS方法对时间序列进行统计推断”，统计部。斯坦福大学技术代表.141,1月·Zbl 0253.60053号 [57] Pelckmans K.、Espinoza M.、De Brabanter J.、Suykens J.A.K.和De Moor B.（2005年）。“原始双单调核回归”，《神经处理快报》，22（2），171-182。 [58] Pelckmans K.、Goethals I.、De Brabanter J.、Suykens J.A.K.和De Moor B.（2005年）。“分量最小二乘支持向量机”，第章，支持向量机：理论与应用，（Wang L.，ed.），Springer，2005年，第77-98页·Zbl 1086.93064号 [59] Pelckmans K.、Suykens J.A.K.和De Moor B.（2005年）。“在LS-SVM基板上构建稀疏表示和结构确定”，神经计算，64，137-159。 [60] Pelckmans K.、Suykens J.A.K.和De Moor B.（2006年）。“加性正则化权衡：内核方法中训练和验证级别的融合”，机器学习，62（3），217-252。 [61] Perez-Cruz F.、Bousono-Calzon C.和Artes-Rodriguez A.（2005年）。“IRWLS程序到支持向量机解的收敛性”，神经计算，17（1），7-18·Zbl 1092.68649号 ·doi:10.1162/0899766052530875 [62] Poggio T.和Girosi F.（1990年）。“近似和学习网络”，《IEEE学报》，78（9），1481-1497·Zbl 1226.92005号 [63] Poggio T.、Rifkin R.、Mukherjee S.和Niyogi P.（2004年）。“学习理论中预测性的一般条件”，《自然》，428（6981），419-422。 [64] Rasmussen C.E.和Williams C.K.I.（2006）。，《机器学习的高斯过程》，麻省理工学院出版社·兹比尔1177.68165 [65] Rousseeuw P.J.和Leroy A.（1997）。，稳健回归和异常检测，John Wiley&Sons，纽约·兹比尔0711.62030 [66] Roweis S.和Saul L.（2000年）。“通过局部线性嵌入降低非线性维数”，《科学》，290（5500），2323-2326。 [67] Saunders C.、Gammerman A.和Vovk V.（1998年）。“双变量岭回归学习算法”，Proc。第15届国际机器学习大会，Madison-Wasconsin，515-521。 [68] Schölkopf B.、Smola A.和Müller K.-R.（1998年）。“非线性分量分析作为核心特征值问题”，神经计算，101299-1319。 [69] Schölkopf B.和Smola A.（2002）。，《与内核一起学习》，麻省理工学院出版社，马萨诸塞州剑桥·Zbl 1019.68094号 [70] Schölkopf B.、Tsuda K.和Vert J.P.（编辑）（2004年）。，计算生物学中的核心方法400，麻省理工学院出版社。 [71] Shawe-Taylor J.和Cristianini N.（2004）。，《模式分析的核心方法》，剑桥大学出版社·Zbl 0994.68074号 [72] Shi J.和Malik J.（2000）。“标准化切割和图像分割”，IEEE模式分析和机器智能汇刊，22（8），888-905。 [73] 斯梅尔·S（1997），“复杂性理论和数值分析”，数字学报，523-551·兹伯利0883.65125 [74] Suykens J.A.K.和Vandewalle J.（1999）。“最小二乘支持向量机分类器”，《神经处理快报》，9（3），293-300·Zbl 0958.93042号 [75] Suykens J.A.K.和Vandewalle J.（1999）。“多类最小二乘支持向量机”，Proc。神经网络国际联合会议（IJCNN'99），美国华盛顿特区·Zbl 0958.93042号 [76] Suykens J.A.K.、De Brabanter J.、Lukas L.和Vandewalle J.（2002年）。“加权最小二乘支持向量机：鲁棒性和稀疏近似”，神经计算，48（1-4），85-105·Zbl 1006.68799号 ·doi:10.1016/S0925-2312（01）00644-0 [77] 苏肯斯J.A.K.、范·盖斯特尔T.、德布拉班特J.、德穆尔B.和范德瓦勒J.（2002）。，最小二乘支持向量机，世界科学，新加坡·Zbl 1017.93004号 [78] Suykens J.A.K.、Horvath G.、Basu S.、Michelli C.和Vandewalle J.（编辑）（2003年）。，学习理论进展：方法、模型和应用，第190卷NATO-ASI系列III：计算机和系统科学，IOS出版社。 [79] Suykens J.A.K.、Van Gestel T.、Vandewalle J.和De Moor B.（2003年）。“PCA分析的支持向量机公式及其核心版本”，IEEE神经网络汇刊，14（2）：447-450。 [80] 苏肯斯J.A.K.（2008）。“使用带参考点的内核映射进行数据可视化和降维”，IEEE神经网络汇刊，19（9），1501-1517。 [81] Tibshirani R.（1996）。“通过套索回归收缩和选择”，J.Royal。统计师。Soc B.，58（1），267-288。JSTOR公司：·Zbl 0850.62538号 [82] Tsuda K.、Shin H.J.和Schölkopf B.（2005）。“具有多个网络的快速蛋白质分类”，生物信息学（ECCB’05），21（增刊2）：ii59-ii65。 [83] Van Belle V.、Pelckmans K.、Suykens J.A.K.和Van Huffel S.（2010年）。“加性生存最小二乘支持向量机”，《医学统计学》，29（2）：296-308。 [84] Van Gestel T.、Suykens J.A.K.、Lanckriet G.、Lambrechts A.、De Moor B.和Vandewalle J.（2002年）。“多类LS-SVM：中等输出和编码解码方案”，《神经处理快报》，15（1）：45-48·Zbl 1008.68739号 ·doi:10.1023/A:1013815310229 [85] Vapnik V.（1998）。，统计学习理论，威利，纽约·Zbl 0935.62007号 [86] Wahba G.（1990）。，观测数据的样条模型，应用数学系列，59，SIAM，费城·Zbl 0813.62001号 [87] Weinberger K.Q.和Saul L.K.（2004）。“通过半定编程对图像流形进行无监督学习”，《IEEE计算机视觉和模式识别会议论文集》（CVPR-04），华盛顿特区。 [88] Williams C.K.I.和Seeger M.（2001年）。“使用Nyström方法加速内核机器”，T.K.Leen、T.G.Dietterich和V.Tresp（编辑），《神经信息处理系统的进展》，13，682-688。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。