×
陈，洪;郭长英;熊惠娟;王英杰

具有斜坡损失的稀疏添加剂机器。 （英语） Zbl 07362271号

分析。申请。，新加坡。 19，第3期，509-528（2021）.
摘要：稀疏加性机器（SAM）由于其表示的灵活性和可解释性，在高维分类中受到了越来越多的关注。然而，现有的大多数方法都是在带有铰链损失的Tikhonov正则化方案下建立的，容易受到离群值的影响。为了避免这个问题，我们提出了一种带有斜坡损失的稀疏加法机器（称为ramp-SAM）来同时处理分类和变量选择。通过详细的误差分解和构造性假设误差分析，建立了斜坡SAM的误分类误差界。为了解决非光滑和非凸的ramp-SAM问题，提出了一种具有收敛性保证的近似块坐标下降法。在模拟和基准数据集上验证了我们模型的经验有效性。

MSC公司：

68T05型 人工智能中的学习和自适应系统
62J02型 一般非线性回归

关键词：

稀疏加法机;斜坡损失;误分类错误;变量选择;近区块坐标下降法

软件：

UCI-毫升
PDF格式BibTeX公司 XML格式引用
\textit{H.Chen}等人，Ana。申请。，辛加普。19，编号3，509-528（2021；兹bl 07362271）
全文： 内政部

参考文献：

[1] Aronszajn，N.，《再生核理论》，译。阿默尔。数学。Soc.68（3）（1950）337-404·兹比尔0037.20701
[2] Bartlett，P.L.和Mendelson，S.，Rademacher和高斯复杂性：风险边界和结构结果，J.Mach。学习。决议3（2002）463-482·兹比尔1084.68549
[3] Bradley，P.S.和Mangasarian，O.L.，《通过凹最小化和支持向量机进行特征选择》，载于《机器学习国际会议》（ICML），旧金山，（1998），第82-90页。
[4] Brooks，J.，《带斜坡损失和硬边损失的支持向量机》，Operat。第59（2）号决议（2011）467-479·Zbl 1228.90057号
[5] Chen，D.R.，Wu，Q.，Ying，Y.和Zhou，D.X.，支持向量机软边界分类器：错误分析，J.Mach。学习。第5号决议（2004）1143-1175·Zbl 1222.68167号
[6] Chen，H.，Pan，Z.，Li，L.和Tang，Y.Y.，基于系数的正则化密度检测算法的误差分析，神经计算，25（4）（2013）1107-1121·Zbl 1269.62037号
[7] Chen，H.、Wang，X.、Deng，C.和Huang，H.，Group sparse additive machine，摘自《神经信息处理系统（NIPS）进展》（Curran Associates，Inc.，2017），第198-208页。
[8] Christmann，A.和Hable，R.，为可加模型使用可加核的支持向量机的一致性，计算。《统计数据分析》56（2012）854-873·Zbl 1243.62051号
[9] Christmann，A.和Zhou，D.X.，加性模型中基于核的分位数回归估计的风险学习率，Ana。申请14（3）（2016）449-477·Zbl 1338.62077号
[10] Clarke，F.H.，《优化和非光滑分析》（工业和应用数学学会，1990年）·Zbl 0696.49002号
[11] Collobert，R.、Sinz，F.、Weston，J.和Bottou，L.，《可扩展性的交易凸性》，摘自Proc。第23届国际米兰。机器学习会议（美国匹兹堡，2006），第201-208页。
[12] Cucker，F.和Zhou，D.X.，《学习理论：近似理论观点》（剑桥大学出版社，2007年）·Zbl 1274.41001号
[13] D.Dua和C.Graff，UCI机器学习库（2017），http://archive.ics.uci.edu/ml。
[14] Feng，Y.，Lv，S.G.，Hang，H.和Suykens，J.A.K.，核化弹性网正则化：广义界和稀疏恢复，神经计算，28（3）（2016）525-562·Zbl 1474.62124号
[15] Guo，Z.C.，Xiang，D.H.，Guo，X.和Zhou，D.X.，稀疏近似的阈值谱算法，Anal。申请15（3）（2017）433-455·Zbl 1409.68232号
[16] Györfi，L.、Kohler，M.、Krzyżak，A.和Walk，H.，《非参数回归的无分布理论》（Springer-Verlag，纽约，2002）·Zbl 1021.62024号
[17] Hastie，T.J.和Tibshirani，R.J.，《广义加法模型》（Chapman和Hall，伦敦，1990年）·Zbl 0747.62061号
[18] Huang，X.，Shi，L.和Suykens，J.A.K.，斜坡损失线性规划支持向量机，J.Mach。学习。第15号决议（2014）2185-2211·Zbl 1318.68144号
[19] Huang，X.，Shi，L.和Suykens，J.A.K.，带弹球损失的支持向量机分类器，IEEE Trans。模式分析。马赫。《情报》36（5）（2014）948-997。
[20] Huang，X.，Shi，L.和Suykens，J.A.K.，带弹球损失的支持向量机的序列最小优化，神经计算149（3）（2015）1596-1603。
[21] Kandasamy，K.和Yu，Y.，通过SALSA的高维非参数回归中的加性近似，见机器学习国际会议（ICML），第48卷，美国纽约，（2016），第69-78页。
[22] Lv，S.，Lin，H.，Lian，H.和Huang，J.，再生核hilbert空间中稀疏可加分位数回归的Oracle不等式，Ann.Statist.46（2）（2018）781-813·Zbl 1459.62053号
[23] Nesterov，Y.，非光滑函数的平滑最小化。数学编程，数学。方案103（2005）127-152·Zbl 1079.90102号
[24] Ravikumar，P.、Liu，H.、Lafferty，J.和Wasserman，L.，《SpAM:稀疏加性模型》，《皇家统计杂志》。Soc.序列号。B71（2009）1009-1030·Zbl 1411.62107号
[25] Shi，L.，Feng，Y.L.和Zhou，D.X.，使用（ell_1）正则化和数据依赖假设空间进行学习的浓度估计，应用。计算。哈蒙。分析31（2）（2011）286-302·Zbl 1221.68201号
[26] Steinwart，I.和Christmann，A.，《支持向量机》（Springer Science and Business Media，2008）·Zbl 1203.68171号
[27] Steinwart，I.和Christmann，A.，稳健截断铰链损失支持向量机，Bernoulli17（1）（2011）211-225·Zbl 1284.62235号
[28] Stone，C.J.，《非参数回归的最优全局收敛率》，《Ann.Statist.10》（1982）1040-1053·Zbl 0511.62048号
[29] Stone，C.J.，《加性回归和其他非参数模型》，《统计年鉴》13（2）（1985）689-705·Zbl 0605.62065号
[30] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.Royal Statist。Soc.序列号。B（方法学），58（1）（1996）267-288·Zbl 0850.62538号
[31] Vapnik，V.，《统计学习理论》（John Wiley and Sons，1998）·Zbl 0935.62007号
[32] Wright，S.J.，坐标下降算法，数学。计划151（2015）3-34·Zbl 1317.49038号
[33] Wu，Y.和刘，Y.，鲁棒截断铰链损失支持向量机，J.Amer。统计师。协会102（1）（2007）974-983·Zbl 1469.62293号
[34] Wu，Q.和Zhou，D.X.，《Svm软边界分类器：线性规划与二次规划》，《神经计算》17（2005）1160-1187·Zbl 1108.90324号
[35] Wu，Q.和Zhou，D.X.，用样本依赖假设空间学习，计算。数学。申请56（11）（2008）2896-2907·Zbl 1165.68388号
[36] Xi，X.，Huang，X.、Suykens，J.A.K.和Wang，S.，斜坡损失线性规划支持向量机的坐标下降算法，神经过程。Lett.43（2016）887-903。
[37] Yuan，M.和Zhou，D.X.，高维可加模型中的最小最大最优估计率，《统计年鉴》44（6）（2016）2564-2593·Zbl 1360.62200号
[38] Zeng，J.，Lau，T.T.-K，Lin，S.和Yao，Y.，深度学习中块坐标下降的全局收敛，国际机器学习会议（ICML）（加利福尼亚州长滩，2019），第7313-7323页。
[39] Zhang，T.，基于凸风险最小化的分类方法的统计行为和一致性，《统计年鉴》32（2004）56-85·Zbl 1105.62323号
[40] Zhao，T.和Liu，H.，稀疏添加剂机，在Proc。第15届国际会议论文。智力。《统计》（AISTATS）（2012年），第1435-1443页。
[41] Zhu，J.，Rosset，S.，Hastie，T.和Tibshirani，R.，1-范数支持向量机，《神经信息处理系统进展》（加拿大不列颠哥伦比亚省惠斯勒，2003），第49-56页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。