吉尔斯·布兰查德;奥利维·博斯克;劳伦·兹瓦尔德 核主成分分析的统计性质。 （英语） Zbl 1470.62077号 机器。学习。 66，编号2-3，259-294（2007）. 摘要：本文的主要目的是证明核主成分分析中关于重构误差的不等式。关于之前关于这个主题的工作，我们的贡献有两方面：（1）我们给出了明确考虑该算法中经验居中步骤的边界，以及（2）我们表明“本地化”方法可以获得更准确的边界。特别是，我们显示了朝向最小重建误差的更快收敛速度；更确切地说，我们证明了收敛速度通常可以比\（n^｛-1/2｝\）更快。我们还得到了误差的一个新的相对界。我们给出了类似贡献的第二个目标是获得核Gram矩阵最大或最小特征值的部分和对相应核算子特征值的收敛界。这些数量与KPCA程序自然相关；此外，这些结果还可以应用于其他各种内核算法的研究。结果是在一个泛函分析框架中给出的，该框架适用于严格处理无限维再生核Hilbert空间。 引用于20文件 MSC公司： 62H25个 因子分析和主成分；对应分析 46 E22型 具有再生核的希尔伯特空间（=（适当的）函数希尔伯特空间，包括de Branges-Rovnyak和其他结构空间） 关键词：核主成分分析;快速收敛速度;核谱估计;协方差算子;核积分算子 PDF格式BibTeX公司 XML格式引用 \textit{G.Blanchard}等人，马赫。学习。66，编号2--3，259--294（2007；Zbl 1470.62077） 全文： DOI程序 参考文献： [1] 安德森·T·W（1963）。主成分分析的渐近理论。《数理统计年鉴》，34122-148·Zbl 0202.49504号 ·doi:10.1214/aoms/1177704248 [2] Aronszajn，N.（1950）。再生核理论。美国数学学会学报，68337-404·Zbl 0037.20701号 ·doi:10.1090/S0002-9947-1950-0051437-7 [3] 巴赫，F.和乔丹，M.（2002）。核独立成分分析。机器学习研究杂志，3，1–48·Zbl 1088.68689号 ·doi:10.1162/153244303768966085 [4] Bartlett，P.、Bousquet，O.和Mendelson，S.（2005）。局部Rademacher复杂性。《统计年鉴》，33（4），1497-1537·Zbl 1083.62034号 ·doi:10.1214/009053605000000282 [5] Bartlett，P.、Jordan，M.和McAuliffe，J.（2003）。凸性、分类和风险边界。加州大学伯克利分校统计部技术报告，发表于《美国国家统计局期刊》·Zbl 1118.62330号 [6] Baxendale，P.（1976年）。函数空间上的高斯测度。《美国数学杂志》，98191–952·Zbl 0384.28011号 ·doi:10.2307/2374035 [7] Besse，P.（1979年）。描述过程的练习曲；近似、插值。图卢兹大学博士论文。 [8] Besse，P.（1991）。近似样条分析了变量阿尔埃托伊尔-希尔伯蒂安的组合原理。图卢兹科学学院年鉴（数学），12（5），329-349·Zbl 0756.41016号 [9] Bousquet，O.（2002）。集中不等式和经验过程理论应用于学习算法的分析。Ecole Polytechnology博士论文·Zbl 1001.60021号 [10] Braun，M.（2005）。核矩阵的谱特性及其与机器学习中核方法的关系。波恩大学弗里德里希·威廉姆斯博士论文，网址：http://hss.ulb.uni-bonn.de/dis_online/math_nat_fak/2005/braun_mikio。 [11] Dauxois，J.和Pousse，A.（1976年）。Les分析了概率与统计计算中的因子：essai d’etude synthétique。图卢兹大学博士论文·Zbl 0326.62039号 [12] de la Peña，V.H.，&Giné，E.（1999）脱钩：从依赖到独立。斯普林格·Zbl 0918.60021号 [13] Dunford，N.和Schwartz，J.T.（1963年）。线性算子第二部分：谱理论，希尔伯特空间中的自伴算子。纯数学和应用数学第七名。纽约：John Wiley&Sons·Zbl 0128.34803号 [14] 霍夫丁（1963）。有界随机变量和的概率不等式。美国统计协会杂志，58，13-30·Zbl 0127.10602号 ·doi:10.2307/2282952 [15] Koltchinskii，V.（2004）。风险最小化中的局部rademacher复杂性和oracle不等式。新墨西哥大学数学和统计系技术报告·Zbl 1118.62065号 [16] Koltchinskii，V.和Giné，E.（2000）。积分算子谱的随机矩阵近似。伯努利，6（1），113-167·兹比尔0949.60078 [17] 马萨特，P.（2000）。集中度不等式在统计学中的一些应用。图卢兹科学院年鉴，第九卷，245–303页·Zbl 0986.62002号 [18] Maurer，A.（2004）Hilbert-Schmidt算子的集中和特征学习的应用。手稿。 [19] McDiarmid，C.（1989）。关于有界差分法。组合学调查（第148-188页）。剑桥大学出版社·Zbl 0712.05012号 [20] Mendelson，S.和Pajor，A.（2005年）。随机向量的椭球近似。P.Auer，&R.Meir，（编辑），《第18届计算机科学学习理论年会论文集》（COLT 05），第3559卷（第429-433页）。斯普林格·Zbl 1137.68558号 [21] Ramsay，J.O.和Dalzell，C.J.（1991）。一些用于功能数据分析的工具。英国皇家统计学会杂志，B辑，53（3），539-572·Zbl 0800.62314号 [22] B.、Smola，A.J.和Müller，K.-R.（1999）《核主成分分析》。B.Schölkopf、C.J.C.Burges和A.J.Smola（编辑），《核方法的进展——支持向量学习》（第327–352页）。马萨诸塞州剑桥：麻省理工学院出版社。简短版本出现在《神经计算》（Neural Computation），101299-13191998年。 [23] Shawe-Taylor，J.、Williams，C.、Cristianini，N.和Kandola，J.（2002）。Gram矩阵的特征谱及其与算子特征谱的关系。《算法学习理论：第13届国际会议》，ALT 2002计算机科学讲稿，第2533卷（第23-40页）。斯普林格·弗拉格·Zbl 1024.68060号 [24] Shawe-Taylor，J.、Williams，C.、Cristianini，N.和Kandola，J.（2005）。关于Gram矩阵的特征谱和核PCA的推广误差。IEEE信息理论汇刊51，（7），2510–2522·Zbl 1310.15076号 ·doi:10.1109/TIT.2005.850052 [25] Williams，C.K.I.和Seeger，M.（2000）。输入密度分布对基于核分类器的影响。在P.Langley编辑的《第17届机器学习国际会议论文集》（第1159–1166页）中，加利福尼亚州旧金山：Morgan Kaufmann。 [26] Williamson，R.C.、Smola，A.J.和Schölkopf，B.（2001）。正则化网络和支持向量机通过紧算子熵数的泛化性能。IEEE信息理论汇刊，47（6），2516–2532·Zbl 1008.62507号 ·doi:10.1109/18.945262 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。