×
Nojun Kwak

回归问题的核判别分析。 （英语） Zbl 1233.68190号

模式识别 45，第5期，2019-2031（2012）.
摘要：在本文中，我们提出了一种用于回归问题的非线性特征提取方法，以降低输入空间的维数。此前，提出了一种特征提取方法LDAr，即线性判别分析的回归版本。本文利用所谓的核技巧将LDAr推广到非线性判别分析。其基本思想是将输入空间映射到一个高维特征空间，其中的变量是输入变量的非线性变换。然后，我们尝试在特征空间中最大化目标值差异较大的样本与目标值差异较小的样本之间的距离比率。众所周知，在平移、旋转和缩放的可感知变化下，人脸图像的分布是高度非线性的，而人脸对齐问题是一个复杂的回归问题。我们将该方法应用于各种回归问题，包括人脸对齐问题，并取得了比传统线性特征提取方法更好的性能。

引用于2文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
68吨10 模式识别、语音识别
62H25个 因子分析和主成分；对应分析
62J02型 一般非线性回归
62小时30分 分类和区分；聚类分析（统计方面）

关键词：

回归，回归;特征提取;降维;判别分析;内核技巧;激光雷达

软件：

UCI-毫升;KPCA加LDA;支持向量机;alr3
PDF格式BibTeX公司 XML格式引用
\textit{N.Kwak}，模式识别45，第5期，2019--2031（2012；Zbl 1233.68190）
全文： 内政部

参考文献：

[1] 杜达，R.O。；哈特，体育。；斯托克·D·G，《模式分类》（2001），威利·Zbl 0968.68140号
[2] Devijver，P.A。；Kittler，J.，《模式识别：统计方法》（1982），普伦蒂斯·霍尔：普伦蒂斯霍尔伦敦·Zbl 0542.68071号
[3] Cherkassky，V。；Mulier，F.，从数据中学习：概念、理论和方法（1998），John Wiley&Sons·Zbl 0960.6202号
[4] （Liu，H.；Motoda，H.，《特征提取、构造和选择：数据挖掘视角》（1998），Springer）·Zbl 0912.00012号
[5] Joliffe，I.T.，主成分分析（1986），Springer-Verlag
[6] 贝尔·A·J。；Sejnowski，T.J.，盲分离和盲反褶积的信息最大化方法，神经计算，7，6，1129-1159（1995）
[7] Fukunaga，K.，《统计模式识别导论》（1990），学术出版社·Zbl 0711.62052号
[8] 特克，M。；Pentland，A.，使用特征脸的人脸识别，（IEEE计算机视觉和模式识别会议论文集（1991）），586-591
[9] Belhumeur，P.N。；赫斯帕尼亚，J.P。；Kriegman，D.J.，《特征脸与渔夫脸：使用类特定线性投影的识别》，IEEE模式分析与机器智能学报，19，7，711-720（1997）
[10] 多纳托，G。；Bartlett，M.S。；哈格，J.C。；埃克曼，P。；Sejnowski，T.J.，面部动作分类，IEEE模式分析和机器智能汇刊，21，10，974-989（1999）
[11] 王，X。；Tang，X.，子空间人脸识别的统一框架，IEEE模式分析和机器智能汇刊，26，9，40-51（2004）
[12] 徐，D。；Yan，S。；陶，D。；Lin，S。；Zhang，H.J.，人类步态识别和基于内容的图像检索的边缘fisher分析及其变体，IEEE图像处理汇刊，16，11，2811-2812（2007）
[13] 冈田，T。；Tomita，S.，判别分析的最佳正交系统，模式识别，18，2139-144（1985）
[14] Loog，M。；Duin，R.P.W.，通过LDA的异方差扩展进行线性降维：切尔诺夫准则，IEEE模式分析和机器智能汇刊，26，6，732-739（2004）
[15] 李，M。；袁伯忠，2d-LDA:图像矩阵的统计线性判别分析，《模式识别字母》，2005年第26期，第5527-532页
[16] 北卡罗来纳州夸克。；Choi，C.-H.，基于ICA的二进制分类问题特征提取，IEEE知识与数据工程汇刊，15，6，1374-1388（2003）
[17] Weisberg，S.，应用线性回归（1985），John Wiley:John Wiley New York，p.324（第3章）·Zbl 0646.62058号
[18] Loog，M.，医学图像处理中的监督降维和上下文模式识别（2004），Ponsen&Looijen:Ponsen和Looijen Wageningen，荷兰（第3章）
[19] Li，K.C.，用于降维的切片逆回归（含讨论），美国统计协会杂志，86316-342（1991）·兹比尔07426/2044
[20] Li，K.C.，《数据可视化和降维的主要黑森方向：Stein引理的另一个应用》，美国统计协会杂志，871025-1039（1992）·Zbl 0765.62003年
[21] 拉斯穆森，C.E。；Williams，C.K.I.，《机器学习的高斯过程》（2006），麻省理工学院出版社·兹比尔1177.68165
[22] Kwak，北卡罗来纳州。；Lee，J.-W.，基于子空间方法的回归问题特征提取，神经计算，731740-1751年6月（2010）
[23] 北卡罗来纳州夸克。；Kim，C。；Kim，H.，基于ICA的回归问题降维，神经计算，71，8月，2596-2603（2008）
[24] Tenembaum，J.B。；德席尔瓦，V。；Langford，J.C.，《非线性降维的全球几何框架》，《科学》，290年12月，2319-2323（2000）
[25] Roweis，S.T。；Saul，L.K.，局部线性嵌入的非线性降维，《科学》，290，12月，2323-2326（2000）
[26] 贝尔金，M。；Niyogi，P.，用于降维和数据表示的拉普拉斯特征映射，神经计算，15，6，1373-1396（2003）·Zbl 1085.68119号
[27] L.Cayton，流形学习算法，技术报告，加州大学圣地亚哥分校，2005年。；L.Cayton，流形学习算法，技术报告，加州大学圣地亚哥分校，2005年。
[28] 何，X。；Niyogi，P.，《位置保持投影》（Thrun，S.；Saul，L.；Schölkopf，B.，《神经信息处理系统的进展》，第16卷（2004年），麻省理工学院出版社：麻省理学院出版社剑桥，MA）
[29] H.Abdi，《计量与统计百科全书》，千橡园出版社，2007年，第598-605页。；H.Abdi，《计量与统计百科全书》，千橡树，2007年，第598-605页。
[30] Schölkopf，B。；Smola，A.J.，《使用内核学习：支持向量机、正则化、优化和超越》（2002），麻省理工学院出版社
[31] Schölkopf，B。；Somla，A.J。；Müller，K.R.，作为核特征值问题的非线性分量分析，神经计算，10，5，1299-1319（1998）
[32] 米卡，S。；Ratsch，G。；J·韦斯顿。；Schölkopf，B。；Müller，K.R.，Fisher鉴别核分析，（1999年IEEE信号处理学会信号处理神经网络研讨会论文集，第九卷（1999）），41-48
[33] Baudat，G。；Anouar，R.，使用核方法的广义判别分析，神经计算，12，10，2385-2404（2000）
[34] 罗斯帕尔，R。；Girolma，M。；Trejo，L.J.，非线性回归中特征提取和去噪的核PCA，神经计算与应用，10，231-243（2001）·Zbl 0989.68112号
[35] Jain，P。；库利斯，B。；Dhillon，I.，核函数的归纳正则化学习，（第24届神经信息处理系统年会论文集，2010年12月）
[36] Yan，S。；徐，D。；张，B。；杨琼。；Lin，S.，图嵌入与扩展：降维的一般框架，IEEE模式分析与机器智能学报，29，1，40-51（2007）
[37] 文森特，P。；Bengio，Y.，《内核匹配追求》，机器学习，48169-191（2002）
[38] 杨，J。；Frangi，A.F。；Yang，J.-Y。；张，D。；Jin，Z.，KPCA plus LDA:用于特征提取和识别的完整核fisher判别框架，IEEE模式分析和机器智能汇刊，27，2，230-244（2005）
[39] Narayada，E.A.，《关于估计回归的概率论及其应用》，第9期，第141-142页（1964年）
[40] S.Canu，Y.Grandvalet，V.Guigue，A.Rakotomamonjy，SVM和内核方法Matlab工具箱，Perception Systemes et Information，INSA de Rouen，法国鲁昂，2005年。；S.Canu，Y.Grandvalet，V.Guigue，A.Rakotomamonjy，SVM和内核方法Matlab工具箱，Perception Systemes et Information，INSA de Rouen，法国鲁昂，2005年。
[41] D.J.Newman，S.Hettich，C.L.Blake，C.J.Merz，UCI机器学习数据库库，1998网址：http://www.ics.uci.edu/～mlearn/MLRepository.html \（\rangle\）；D.J.Newman，S.Hettich，C.L.Blake，C.J.Merz，UCI机器学习数据库库，1998网址：http://www.ics.uci.edu/～mlearn/MLRepository.html \（\rangle\）
[42] 韦尔奇，B.L.，《生物统计学》，34，1-2，28-35（1947）·Zbl 0029.40802号
[43] Bertin Mahieux，T。；艾利斯，D.P.W。；惠特曼，B。；Lamere，P.，The million song dataset，（第十二届国际音乐信息检索学会会议论文集（ISMIR 2011）（2011））
[44] M.Meurens，橙汁数据http://www.dice.ucl.ac.be/mlg/DataBases/ORANGE_JUICE网站/\（范围）；M.Meurens，橙汁数据http://www.dice.ucl.ac.be/mlg/DataBases/ORANGE_JUICE网站/\（范围）
[45] Vijayakumar，S。；D'Souza，A。；Schaal，S.，高维增量在线学习，神经计算，17，12，2602-2634（2005）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。