×

具有不定核和系数正则化的最小二乘回归。 (英语) Zbl 1225.65015号

设\(y_i,x_i)_{i=1}^m\)是i.i.d.观测值,其中\(y_ i\in\mathbb R\),\(x_i\inX\),\(x\)是一些紧度量空间。作者考虑了回归函数(f_rho(x)=E(y_i|x_i)的估计(f_z),其中(f_z=f_{alpha^z}),
\[\R^m}{1\over m}\,\sum_{i=1}^m(y_i-f\alpha(x_i))^2+\lambda m\sum_{i=1}^m\alpha_i^2中的alpha^z=\arg\min_{\alpha\,\]
\(K:X\乘以X\到\mathbb R\)是连续有界函数(核),\(\lambda\)是正则化参数。
在(lambda=lambda(m)to 0),(lambda ^{3/2}\sqrt{m}\to\infty)的假设下,证明了(f_z)的一致性,并且真回归函数在适当的再生核Hilbert空间中属于(f_alpha)的闭包。
为了分析收敛速度,作者假设形式为^{-r}f_\rho(x_i)\|^2<\infty\)用于某些\(r>0\),其中\(L f(x)=E \ tilde K。例如,如果\(r>1\),那么选择\(\lambda=m^{1/5}\),他们得到\(\|f_z-f_\rho\|_{L^2}=O(m^{-1/5})\)。
给出了(X=[0,1]\)和高斯核(K\)的模拟结果。

MSC公司:

65C60个 统计中的计算问题(MSC2010)
62J02型 一般非线性回归
46 E22型 具有再生核的希尔伯特空间(=(适当的)函数希尔伯特空间,包括de Branges-Rovnyak和其他结构空间)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Aronszajn,N.,《再生核理论》,译。阿默尔。数学。Soc.,68,337-404(1950)·Zbl 0037.20701号
[2] 鲍尔,F。;Pereverzev,S。;Rosasco,L.,《学习理论中的正则化算法》,J.Complexity,23,52-72(2007)·Zbl 1109.68088号
[3] 坎农,A。;Ettinger,J.M。;Hush,D。;Scovel,C.,《数据依赖假设类的机器学习》,J.Mach。学习。第2335-358号决议(2002年)·Zbl 1007.68156号
[4] Cucker,F。;Smale,S.,《学习的数学基础》,布尔。阿默尔。数学。Soc.,39,1-49(2001)·Zbl 0983.68162号
[5] Cucker,F。;Smale,S.,《学习理论中正则化参数的最佳选择:关于偏差方差问题》,Found。计算。数学。,2, 413-428 (2002) ·Zbl 1057.68085号
[6] Evgeniou,T。;庞蒂尔,M。;Poggio,T.,正则化网络和支持向量机,高级计算。数学。,13,1-50(2000年)·Zbl 0939.68098号
[7] 柳叶刀,G.R.G。;北卡罗来纳州克里斯蒂亚尼尼。;Bartlett,P。;El Ghaoui,L。;Jordan,M.I.,《用半定规划学习核矩阵》,J.Mach。学习。Res.,5,27-72(2004),(电子版)·Zbl 1222.68241号
[8] Liu,C.,用于人脸识别的基于Gabor的核PCA与分数幂多项式模型,IEEE Trans。模式分析。机器。智力。,26, 572-581 (2004)
[9] Lo Gerfo,L。;Rosasco,L。;奥多内,F。;De Vito,E。;Verri,A.,监督学习的谱算法,神经计算。,1873-1897年(2008年)·Zbl 1147.68643号
[10] 卢斯,R。;d'Aspremont,A.,不定核支持向量机分类,数学。程序。计算。,1, 97-118 (2009) ·Zbl 1191.68511号
[11] 米切利,C.A。;Pontil,M.,通过正则化学习核函数,J.Mach。学习。第6号决议,1099-1125(2005),(电子版)·Zbl 1222.68265号
[12] Poggio,T。;Smale,S.,《学习的数学:处理数据》,通知Amer。数学。《社会学杂志》,50,537-544(2003)·Zbl 1083.68100号
[13] Saigo,H。;垂直,J。;Ueda,N。;Akutsu,T.,使用字符串对齐内核进行蛋白质同源性检测,生物信息学,20,1682-1689(2004)
[14] 肖尔科夫,B。;Smola,A.,《使用内核学习:支持向量机、正则化、优化及超越》(2002),麻省理工学院出版社
[15] 斯梅尔,S。;Zhou,D.-X.,Shannon采样和基于点值的函数重建,Bull。阿默尔。数学。Soc.(N.S.),41,279-305(2004),(电子版)·Zbl 1107.94007号
[16] 斯梅尔,S。;周大新,香农抽样。二、。与学习理论的联系,应用。计算。哈蒙。分析。,19, 285-302 (2005) ·Zbl 1107.94008号
[17] 斯梅尔,S。;周,D.X.,通过积分算子及其近似值进行学习理论估计,Constr。约26153-172(2007)·Zbl 1127.68088号
[18] Sun,H。;Wu,Q.,带相依样本的正则化最小二乘回归,高级计算。数学。,32, 2, 175-189 (2010) ·Zbl 1191.68535号
[19] Sun,H。;Wu,Q.,正则化最小二乘回归积分算子的应用,数学。计算。建模,49,276-285(2009)·Zbl 1165.45310号
[20] Sun,S。;Wu,Q.,关于积分算子在学习理论中的应用的注记,应用。计算。哈蒙。分析。,26, 416-421 (2009) ·Zbl 1165.68059号
[21] Vapnik,V.,《统计学习理论》(1998),威利出版社:威利纽约·Zbl 0935.62007号
[22] 吴琼。;Ying,Y。;周大新,最小二乘正则回归学习率,发现。计算。数学。,6, 171-192 (2006) ·兹比尔1100.68100
[23] 吴琼。;Ying,Y。;Zhou,D.-X.,多核正则分类器,J.Complexity,23,108-134(2007)·Zbl 1171.65043号
[24] 吴琼。;Zhou,D.-X.,SVM软边界分类器:线性规划与二次规划,神经计算。,17, 1160-1187 (2005) ·Zbl 1108.90324号
[25] 吴琼。;周德兴,用样本依赖假设空间学习,计算。数学。申请。,56, 2896-2907 (2008) ·Zbl 1165.68388号
[26] Q.W.Xiao,D.X.Zhou,利用数据依赖空间和(ell_1)的非对称核学习;Q.W.Xiao,D.X.Zhou,利用数据依赖空间和(ell_1)的非对称核学习·Zbl 1221.68204号
[27] Xu,Y。;Zhang,H.,《可精炼内核》,J.Mach。学习。第8号决议,2083-2120(2007年)·Zbl 1222.68337号
[28] Xu,Y。;张,H.,再生核的精炼,J.Mach。学习。决议,10,107-140(2009年)·Zbl 1235.68211号
[29] Zhang,T.,核方法的Leave-on-out界限,神经计算。,15, 1397-1437 (2003) ·Zbl 1085.68144号
[30] Zhang,T.,使用有效数据维度的核回归学习界,神经计算。,17, 2077-2098 (2005) ·Zbl 1080.68044号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。