×
刘方辉;石磊;黄晓林;杨杰;约翰·苏肯斯（Johan A.K.Suykens）。

再生核Kreĭn空间中正则化最小二乘的分析。 （英语） Zbl 07432832号

机器。学习。 110，第6期，1145-1173（2021）.
摘要：本文研究再生核Kreĭn空间（RKKS）中具有不定核的正则最小二乘的渐近性质。通过将有界超球约束引入到此类非凸正则化风险最小化问题中，我们从理论上证明了该问题具有全局最优解，且在球上具有闭合形式，这使得在RKKS中进行近似分析是可行的。对于由不定内积引起的原正则化子，我们改进了传统的误差分解技术，基于矩阵摄动理论证明了引入假设误差的收敛性结果，并推导了RKKS中此类正则化回归问题的学习速率。在某些条件下，RKKS中导出的学习速率与再生核希尔伯特空间（RKHS）中的学习速率相同。据我们所知，这是在RKKS中首次对正则化学习算法进行近似分析。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

近似分析;正则化最小二乘;不定核;矩阵摄动理论
PDF格式BibTeX公司 XML格式引用
\textit{F.Liu}等人，马赫。学习。110，编号6，1145--1173（2021；Zbl 07432832）
全文： 内政部 arXiv公司 链接

参考文献：

[1] 阿达奇，S。；Nakatsukasa，Y.，具有一个约束的非凸QCQP的基于特征值的算法和分析，数学规划，1，1-38（2017）·doi:10.22152/programming-journal.org/2017/1/1
[2] Alabdulmoxin，I。；西塞，M。；高，X。；Zhang，X.，具有不确定相似性的大边际分类，机器学习，103，2，215-237（2016）·兹比尔1357.68157 ·doi:10.1007/s10994-015-5542-8
[3] Ando，T.，krein空间中的投影，线性代数及其应用，431，12，2346-2358（2009）·Zbl 1188.47002号 ·doi:10.1016/j.laa.2009.03.008
[4] 巴赫，F.（2013）。低阶核矩阵近似的尖锐分析。学习理论会议记录（第185-209页）。
[5] Bognár，J.，《不确定内积空间》（1974），柏林：施普林格出版社，柏林·Zbl 0277.47024号 ·doi:10.1007/978-3-642-65567-8
[6] Boughorbel，S.、Tarel，J.P.和Boujemaa，N.（2005年）。基于SVM的图像识别的条件正定核函数。IEEE多媒体和博览会国际会议记录（第113-116页）。
[7] 陈，D。；吴琼。；Ying，Y。；周德，支持向量机软边界分类器：错误分析，机器学习研究杂志，5，3，1143-1175（2004）·Zbl 1222.68167号
[8] Cho，H.、DeMeo，B.、Peng，J.和Berger，B.（2019年）。双曲空间中的大边缘分类。《人工智能和统计国际会议论文集》（第1832-1840页）。PMLR。
[9] Chu，KWE，Bauer-Fike定理的推广，数值数学，49，6，685-691（1986）·Zbl 0579.15006号 ·doi:10.1007/BF01389736
[10] Cucker，F.和Zhou，D.（2007年）。学习理论：近似理论观点（第24卷）。剑桥大学出版社·Zbl 1274.41001号
[11] Dhillon，I.S.、Guan，Y.和Kulis，B.（2004）。核k-means：谱聚类和归一化切割。《ACM SIGKDD知识发现和数据挖掘国际会议论文集》（第551-556页）。ACM公司。
[12] Farooq先生。；Steinwart，I.，基于核的期望回归的学习率，机器学习，108，2，203-227（2019）·Zbl 1480.62067号 ·doi:10.1007/s10994-018-5762-9
[13] 甘德，W。；Golub，生长激素；Matt，UV，约束特征值问题，线性代数及其应用，114-115815-839（1988）·兹伯利0666.15006
[14] 高，C。；马，Z。；任，Z。；Zhou，HH，稀疏正则相关分析中的Minimax估计，《统计学年鉴》，43，52168-2197（2015）·Zbl 1327.62340号 ·doi:10.1214/15-AOS1332
[15] 郭，ZC；Shi，L.，基于系数的正则化回归的最优率，应用和计算调和分析，47，3，662-701（2019）·Zbl 1467.62062号 ·doi:10.1016/j.aca.2017.11.005
[16] Hoffman，A.J.和Wielandt，H.W.（2003）。正规矩阵谱的变化。摘自艾伦·J·霍夫曼的论文选集：评论（第118-120页）。世界科学。
[17] 黄，X。；日本苏肯斯；王，S。；霍内格尔，J。；Maier，A.，用截断距离核进行分类，IEEE神经网络和学习系统汇刊，29，5，2025-2030（2018）·doi:10.10109/TNNLS.2017.268610
[18] Jun，K.S.、Cutkosky，A.和Orabona，F.（2019年）。核截断随机岭回归：最佳速率和低噪声加速。《神经信息处理系统进展学报》（第15358-15367页）。
[19] Langer，H.，Zur spektraltheoriej-selbstad jungierter operatoren，《数学年鉴》，146，1，60-85（1962）·Zbl 0119.3203号 ·doi:10.1007/BF01396668
[20] 林，SB；郭，X。；周，DX，用正则化最小二乘法进行分布式学习，《机器学习研究杂志》，18，1，3202-3232（2017）·Zbl 1435.68273号
[21] Liu，F.、Huang，X.、Chen，Y.和Suykens，J.A.K.（2021）。通过广义测度再生核Kreĭn空间的快速学习。《人工智能和统计国际会议论文集》（第388-396页）。
[22] 刘，F。；黄，X。；龚，C。；杨，J。；Li，L.，学习数据自适应非参数核，机器学习研究杂志，21，208，1-39（2020）·Zbl 1529.68260号
[23] Liu，X.、Zhu，E.和Liu，J.（2020年）。SimpleMKKM：简单的多内核k-means。arXiv预打印arXiv:2005.04975。
[24] 卢斯利，G。；卡努，S。；Cheng，SO，Learning SVM in Kreĭn spaces，IEEE Transactions on Pattern Analysis and Machine Intelligence，38，6，1204-1216（2016）·doi:10.1109/TPAMI.2015.2477830
[25] Oglic，D.和Gärtner，T.（2018年）。学习再生核Kreĭn空间。机器学习国际会议论文集（第3859-3867页）。
[26] Oglic，D.和Gärtner，T.（2019年）。再生核Kreĭn空间中的可伸缩学习。机器学习国际会议论文集（第4912-4921页）。
[27] Ong，C.S.、Mary，X.和Smola，A.J.（2004）。用非积极内核学习。机器学习国际会议论文集（第81-89页）。
[28] 昂，CS；AJ斯莫拉；Williamson，RC，使用超内核学习内核，机器学习研究杂志，61043-1071（2005）·兹比尔1222.68277
[29] Pȩkalska，E。；Haasdonk，B.，正定和不定核的核判别分析，IEEE模式分析和机器智能汇刊，31，6，1017-1032（2009）·doi:10.1109/TPAMI.2008.290
[30] Pennington，J.，Yu，F.X.X.和Kumar，S.（2015）。多项式核的球面随机特征。《神经信息处理系统进展学报》（第1846-1854页）。
[31] Rudi，A.和Rosasco，L.（2017年）。具有随机特征的学习的泛化性质。在《神经信息处理系统进展论文集》（第3215-3225页）中。
[32] Saha，A.和Palaniappan，B.（2020年）。在再生核Kreĭn空间中用算子值核学习。《神经信息处理系统进展学报》（第1-11页）。
[33] Sala，F.、De Sa，C.、Gu，A.和Re，C.（2018年）。双曲线嵌入的表示权衡。机器学习国际会议论文集（第4460-4469页）。
[34] Schaback，R.（1999）。径向基函数的本征希尔伯特空间。I.《近似理论的新发展》（第255-282页）。斯普林格·Zbl 0944.46017号
[35] Schleif，FM；Tino，P.，《不确定邻近学习：综述》，《神经计算》，第27、10、2039-1996页（2015年）·Zbl 1472.68155号 ·doi:10.1162/NECO_a_00770
[36] Schölkopf，B.和Smola，A.J.（2003）。使用内核学习：支持向量机、正则化、优化及其他。麻省理工学院出版社·Zbl 1019.68094号
[37] Shang，R。；Meng，Y。；刘，C。；Jiao，L。；埃斯法哈尼，AMG；Stolkin，R.，基于核fisher判别分析和回归学习的无监督特征选择，机器学习，108，4，659-686（2019）·Zbl 1482.68204号 ·doi:10.1007/s10994-018-5765-6
[38] 史，L。；黄，X。；Feng，Y。；Suykens，JAK，基于系数的稀疏核回归\（\ell_q\）-正则化，机器学习研究杂志，20，161，1-44（2019）·Zbl 1446.62119号
[39] 史，L。；黄，X。；田，Z。；Suykens，JAK，带（ell_1）正则化和高斯核的分位数回归，计算数学进展，40，2，517-551（2014）·Zbl 1302.62151号 ·doi:10.1007/s10444-013-9317-0
[40] Smola，A.J.，Ovari，Z.L和Williamson，R.C.（2001年）。使用点产品内核进行规则化。《神经信息处理系统进展学报》（第308-314页）。
[41] Steinwart，I.和Andreas，C.（2008）。支持向量机。斯普林格·Zbl 1203.68171号
[42] Steinwart，I.、Hush，D.R.和Scovel，C.（2009年）。正则化最小二乘回归的最佳速率。学习理论会议记录（第1-10页）。
[43] 斯坦瓦特，I。；Scovel，C.，《使用高斯核的支持向量机的快速率》，《统计年鉴》，35，2，575-607（2007）·兹比尔1127.68091 ·doi:10.1214/009053606000001226
[44] Stewart，G.W.和Sun，J.（1990年）。矩阵摄动理论。哈科特·布雷斯·乔瓦诺伊奇（Harcourt Brace Jovanoich）·Zbl 0706.65013号
[45] Suykens，J.A.K.、Van Gestel，T、De Brabanter，J.、De Moor，B.和Vandewalle，J.（2002）。最小二乘支持向量机。世界科学·兹比尔1017.93004
[46] Terada，Y.和Yamamoto，M.（2019年）。内核规范化切割：理论回顾。机器学习国际会议论文集（第6206-6214页）。
[47] 王，C。；周，DX，无界抽样最小二乘正则回归的最优学习率，复杂性杂志，27，1，55-67（2011）·Zbl 1217.65024号 ·doi:10.1016/j.jco.2010.10.002
[48] Wendland，H.（2004）。分散数据近似（第17卷）。剑桥大学出版社·Zbl 1185.65022号
[49] 吴琼。；Ying，Y。；周德，最小平方正则回归的学习率，计算数学基础，6，2，171-192（2006）·Zbl 1100.68100号 ·doi:10.1007/s10208-004-0155-9
[50] 夏，Y。；王，S。；Sheu，RL，等式S-引理及其应用，数学规划，156，1-2，513-547（2016）·Zbl 1333.90086号 ·doi:10.1007/s10107-015-0907-0
[51] Ying，Y.、Campbell，C.和Girolma，M.（2009年）。不确定核支持向量机的分析。《神经信息处理系统进展学报》（第2205-2213页）。
[52] 朱，J。；Hastie，T.，《核逻辑回归与输入向量机》，《计算与图形统计杂志》，14，1，185-205（2002）·doi:10.1198/106186005X25619
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。