×

基于核的稳健回归支持向量机的收敛速度。 (英语) Zbl 1408.41015号

小结:众所周知,为了缓解异常值导致的性能恶化,提出了鲁棒支持向量回归,该回归本质上是一个与非凸损失函数相关的凸优化问题。通常的凸分析方法无法完成对其性能的理论分析。对于含有两个同伦参数的稳健SV回归算法,利用拟凸分析理论发展了一种非凸方法,并给出了误差估计。给出了显式收敛速度,并定量显示了异常值对性能的影响程度。

MSC公司:

41A30型 其他特殊函数类的近似
第46页第22页 具有再生核的希尔伯特空间(=(适当的)函数希尔伯特空间,包括de Branges-Rovnyak和其他结构空间)
68问题32 计算学习理论
90立方厘米25 凸面编程
PDF格式BibTeX公司 XML格式引用
全文: DOI程序

参考文献:

[1] Aronszajn,N.,再生内核理论,Trans。阿默尔。数学。Soc.68(1950)337-404·Zbl 0037.20701号
[2] Cambini,A.和Martein,L.,《广义凸性与优化:理论与应用》(Springer-verlag,柏林,2009)·Zbl 1157.49001号
[3] Cao,Y.和Chen,D.R.,拉普拉斯正则最小二乘回归的推广误差,科学。中国,《数学》55(9)(2012)1859-1868·兹比尔1258.62049
[4] Chen,H.,基于相依样本的震级储备正则化排序学习率,国际小波多分辨率。《Inf.Proces》14(1)(2016)12·Zbl 1333.68227号
[5] Chen,H.,Zhou,Y.C.,Tang,Y.Y.,Li,L.Q.和Pan,Z.B.,半监督贪婪算法的收敛速度,神经网络44(2013)44-50·Zbl 1296.68123号
[6] Chen,H.,Li,L.Q.和Peng,J.T.,基于高密度回归估计的半监督学习,神经网络23(2010)812-818·Zbl 1396.68089号
[7] Chen,D.R.,Wu,Q.和Ying,Y.M.,支持向量机软边界分类器:误差分析,J.Mach。学习。第5号决议(2004)1143-1175·Zbl 1222.68167号
[8] Chen,F.,Zou,B.和Chen,N.,负关联序列最小二乘正则回归的一致性,国际小波多分辨率。Inf.过程16(2)(2018)1850019·Zbl 1442.68193号
[9] Chen,H.和Wu,J.T.,系数约束下独立测量的核方法,国际小波多分辨率。《信息处理》12(1)(2014)1450006·Zbl 1311.62067号
[10] Christman,A.和Steinwart,I.,基于核的分位数回归的一致性,应用。斯托克。模型总线。Ind.24(2008)171-183·Zbl 1197.62034号
[11] Chu,X.R.和Sun,H.W.,《无界采样回归学习的半监督系数正则化》,《国际计算杂志》。数学90(7)(2013)1321-1333·Zbl 1333.68228号
[12] Chu,X.R.和Sun,H.W.,无界相依抽样正则最小二乘回归,文章摘要。申请。2013年分析(2013)7,http://dx.doi.org/10.1155/2013/139318。 ·Zbl 1273.62208号
[13] Cucker,F.和Smale,S.,《学习理论的数学基础》,布尔。阿默尔。数学。Soc.39(2001)1-49·Zbl 0983.68162号
[14] Davies,P.L.,《稳健线性回归方面》,《统计年鉴》21(1993)1843-1899·兹比尔0797.62026
[15] De Vito,E.、Rosasco,L.和Toigo,A.,《带分离内核的学习集》,应用。计算。哈蒙。分析37(2014)185-217·Zbl 1345.94022号
[16] Freund,Y.,一种更稳健的提升算法,Ann.Statist。(2009),arXiv:0905.2138[start.ML],网址:http://arxiv.org/abs/0905.2138。
[17] Hampel,F.R.、Ronchetti,E.M.、Rousseeuw,P.J.和Stahel,W.A.,《稳健统计:基于影响函数的方法》(John Wiley Sons,纽约,1986年)·Zbl 0593.62027号
[18] Huber,P.和Ronchetti,E.,《稳健统计》,第二版。(威利,纽约,2009年)·Zbl 1276.62022号
[19] Li,M.和Sun,H.W.,基于系数相关正则化的分位数回归学习的渐近分析,国际小波多分辨率。《信息流程》13(4)(2015)1550018·Zbl 1341.68162号
[20] Lv,S.G.和Feng,Y.L.,无界采样学习理论的积分算子方法,复数分析。操作。理论。6(2012)533-548·Zbl 1285.68143号
[21] Masnadi-Shiraze,H.和Vasconcelos,N.,《关于分类损失函数的设计:理论、对异常值的鲁棒性和savegeboost,高级神经信息处理》。系统22(2009)1049-1056。
[22] Micchelli,C.A.,Xu,Y.S.和Zhang,H.Z.,《通用内核》,J.Mach。学习。第7号决议(2006)2651-2667·Zbl 1222.68266号
[23] Rousseuw,P.J.和Bassett,G.W.,《补救:大数据集的稳健平均方法》,J.Amer。《统计协会》85(1990)97-104·Zbl 0702.62030号
[24] Sheng,B.H.和Ye,P.X.,基于再生核Banach空间的正则回归学习率,文摘。申请。2013年分析(2013)10,http://dx。doi.org/10.1155/2013/694181·兹比尔1470.68174
[25] Sheng,B.H.和Zhu,H.C.,带二次损失的半监督回归的收敛速度,应用。数学。计算321(2018)11-24·Zbl 1426.62140号
[26] Sheng,B.H.和Xiang,D.H.,《带最小平方损失的半监督拉普拉斯正则回归的性能》,《国际小波多分辨率》。信息流程15(02)(2017)1750016·Zbl 1360.41008号
[27] Sheng,B.H.,Xiang,D.H.和Ye,P.X.,半监督梯度学习的收敛速度,国际小波多分辨率。《信息流程》13(4)(2015)1550021。https://doi.org/10.1142/S0219691315500216 ·兹比尔1341.68169
[28] Smale,S.和Zhou,D.X.,《学习理论中近似误差的估计》,Anal。应用1(1)(2003)1-25·Zbl 1079.68089号
[29] Steinwart,I.和Christman,A.,《支持向量机》(Springer,纽约,2008)·Zbl 1203.68171号
[30] Steinwart,I.和Christmann,A.,《利用弹球损失估算条件分位数》,伯努利.17(2011)211-225·兹比尔1284.62235
[31] Steinwart,I.、Hush,D.和Scovel,C.,正则化最小二乘回归的最佳速率,见Proc。第22届年度Conf.学习理论,编辑Dasgupta,S.和Klivans,A.(蒙特利尔,2009),第79-93页。
[32] Suzumura,S.、Ogawa,K.、Sugiyama,M.、Karasuyama,M和Takeuchi,I.,稳健SV分类和回归的同伦延拓方法,马赫。Learn.106(2017)1009-1038·Zbl 1455.68186号
[33] Vapnik,V.N.,《统计学习理论》(Wiley Inter-Science,纽约,1998年)·Zbl 0935.62007号
[34] Wang,C.和Zhou,D.X.,无界抽样最小二乘正则回归的最佳学习率,《复杂性杂志》27(2011)55-67·Zbl 1217.65024号
[35] Wu,Q.,Ying,Y.M.和Zhou,D.X.,多核正则化分类器,《复杂性杂志》23(2007)108-134·Zbl 1171.65043号
[36] Wu,Y.和刘,Y.,鲁棒截断铰链损失支持向量机,J.Amer。《统计协会》102(2007)974-983·Zbl 1469.62293号
[37] Xiang,D.H.,变高斯条件分位数,高级计算。数学38(2013)723-735·Zbl 1358.62044号
[38] 项德华,关于条件分位数的一个新的比较定理,应用。数学。Lett.25(2012)58-62·Zbl 1358.62043号
[39] Xu,L.,Crammer,K.和Schuurmans,D.,通过凸离群消融进行鲁棒截断铰链损失支持向量机训练,见Proc。第21届国家会议文物。智力。(马萨诸塞州波士顿,美国,2006年),第536-542页。
[40] Yu,Y.L.,Yang,M.,Xu,L.,White,M.和Schuurmans,D.,《松弛剪裁:稳健回归和分类的全局训练方法》,高级神经信息处理。系统23(2010)2532-2540。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。