×

使用有偏目标的稳健回归。 (英语) Zbl 1460.62105号

摘要:对于非参数设置下的回归任务,设计学习者最小化的目标函数是一项关键任务。在本文中,我们提出了一种构造和最小化鲁棒损失的原则性方法,即使在小样本情况下,鲁棒损失也能抵抗错误观测。现有提案通常利用对真实风险的非常有力的估计,但在这样做时需要实际中无法获得的先验信息。当我们放弃对风险的直接近似时,这使我们能够在偏差方面以可容忍的价格获得实质性的稳定性收益,同时避免了现有程序的计算问题。我们分析了存在性和收敛性条件,提供了实用的计算例程,并从经验上证明了该方法在没有先验知识假设的情况下,在宽数据类上实现了卓越的鲁棒性。

MSC公司:

62J02型 一般非线性回归
62G08号 非参数回归和分位数回归
62G35型 非参数稳健性
62克32 极值统计;尾部推断
62D10号 缺少数据
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Abramowitz,M.和Stegun,I.A.(1964年)。数学函数手册,包括公式、图表和数学表,国家标准局应用数学系列(第55卷)。美国国家标准局·Zbl 0171.38503号
[2] Alon,N.、Ben-David,S.、Cesa-Bianchi,N.和Haussler,D.(1997年)。尺度敏感维度、一致收敛性和可学习性。美国医学会杂志,44(4),615-631·Zbl 0891.68086号 ·数字对象标识代码:10.1145/263867.263927
[3] Ash,R.B.和Doléans-Dade,C.A.(2000)。概率与测度理论(第二版)。纽约:学术出版社·兹比尔0944.60004
[4] Audibert,J.Y.和Catoni,O.(2011)。稳健线性最小二乘回归。《统计年鉴》,39(5),2766-2794·Zbl 1231.62126号 ·doi:10.1214/11-AOS918
[5] Bartlett,P.L.、Long,P.M.和Williamson,R.C.(1996)。脂肪沉淀和实值函数的可学习性。《计算机与系统科学杂志》,52(3),434-452·Zbl 0858.68076号 ·doi:10.1006/jcss.1996.0033
[6] Bartlett,P.L.和Mendelson,S.(2006年)。经验最小化。概率论及相关领域,135(3),311-334·Zbl 1142.62348号 ·doi:10.1007/s00440-005-0462-3
[7] Bartlett,P.L.、Mendelson,S.和Neeman,J.(2012)\[\ell_1\]1-正则化线性回归:持久性和预言不等式。概率论及相关领域,154(1-2),193-224·Zbl 1395.62207号 ·doi:10.1007/s00440-011-0367-2
[8] Breiman,L.(1968年)。概率。马萨诸塞州雷丁:Addison-Wesley·Zbl 0174.48801号
[9] Breiman,L.(1996)。装袋预测器。机器学习,24(2),123-140·Zbl 0858.68080号
[10] Brent,R.P.(1973)。无导数最小化算法。新泽西州恩格尔伍德克利夫斯:普伦蒂斯·霍尔·Zbl 0245.65032号
[11] Brownlees,C.、Joly,E.和Lugosi,G.(2015)。重大损失的经验风险最小化。《统计年鉴》,43(6),2507-2536·Zbl 1326.62066号 ·doi:10.1214/15-AOS1350
[12] Catoni,O.(2009)。重尾实际随机变量平均值的高置信度估计。arXiv预打印arXiv:0909.5366。
[13] Catoni,O.(2012)。挑战经验均值和经验方差:偏差研究。《亨利·庞加莱研究所年鉴》,概率与统计,48(4),1148-1185·Zbl 1282.62070号 ·doi:10.1214/11-AIHP454
[14] Cucker,F.和Smale,S.(2002年)。关于学习的数学基础。美国数学学会公报(新系列),39(1),1-49·Zbl 0983.68162号 ·doi:10.1090/S0273-0979-01-00923-5
[15] Dellacherie,C.和Meyer,P.A.(1978年)。概率和潜力,《北韩数学研究》(第29卷)。阿姆斯特丹:荷兰北部·Zbl 0494.60001号
[16] Devroye,L.、Lerasle,M.、Lugosi,G.和Oliveira,R.I.(2015)。亚高斯平均估计量。arXiv预印arXiv:1509.05845·Zbl 1360.62115号
[17] Dudley,R.M.(1978)。经验测度的中心极限定理。概率年鉴,6(6),899-929·Zbl 0404.60016号 ·doi:10.1214/aop/1176995384
[18] Dudley,R.M.(2014)。统一中心极限定理(第二版)。马萨诸塞州剑桥:剑桥大学出版社·Zbl 1317.60030号
[19] Freund,Y.和Schapire,R.E.(1997)。在线学习的决策理论推广及其在助推中的应用。计算机与系统科学杂志,55(1),119-139·兹伯利0880.68103 ·doi:10.1006/jcss.1997.1504
[20] Geman,D.和Reynolds,G.(1992年)。受限恢复和不连续恢复。IEEE模式分析和机器智能汇刊,14(3),367-383·doi:10.1109/34.120331
[21] Geman,S.和Geman,D.(1984)。随机松弛、吉布斯分布和图像的贝叶斯恢复。IEEE模式分析和机器智能汇刊,6721-741·Zbl 0573.62030号 ·doi:10.1109/TPAMI.1984.4767596
[22] Hampel,F.R.、Ronchetti,E.M.、Rousseeuw,P.J.和Stahel,W.A.(1986年)。稳健统计:基于影响函数的方法。纽约:Wiley·Zbl 0593.62027号
[23] Hsu,D.和Sabato,S.(2014)。具有广义中位数的重尾回归。第31届机器学习国际会议论文集(ICML2014)(第37-45页)·Zbl 1142.62348号
[24] Hsu,D.和Sabato,S.(2016年)。重尾损失最小化和参数估计。机器学习研究杂志,17(18),1-40·Zbl 1360.62380号
[25] Hsu,D.、Kakade,S.M.和Zhang,T.(2014)。岭回归的随机设计分析。计算数学基础,14(3),569-600·Zbl 1298.62120号 ·doi:10.1007/s10208-014-9192-1
[26] Huber,P.J.(1964年)。位置参数的稳健估计。《数理统计年鉴》,35(1),73-101·Zbl 0136.39805号 ·doi:10.1214/aoms/1177703732
[27] Huber,P.J.(1981)。稳健统计(第1版)。纽约:Wiley·兹比尔0536.62025 ·doi:10.1002/0471725250
[28] Huber,P.J.和Ronchetti,E.M.(2009年)。稳健统计(第二版)。纽约:Wiley·Zbl 1276.62022号 ·doi:10.1002/9780470434697
[29] Kearns,M.J.和Schapire,R.E.(1994年)。概率概念的高效无分布学习。《计算机与系统科学杂志》,48464-497·Zbl 0822.68093号 ·doi:10.1016/S0022-0000(05)80062-5
[30] Koenker,R.和Bassett,G.(1978年)。回归分位数。《计量经济学》,46(1),33-50·Zbl 0373.62038号 ·doi:10.2307/1913643
[31] Lerasle,M.和Oliveira,R.I.(2011年)。稳健的经验平均估值器。arXiv预打印arXiv:1112.3914。
[32] Lugosi,G.和Mendelson,S.(2016年)。通过中位数比赛将风险降至最低。arXiv预打印arXiv:1608.00757·Zbl 1436.62312号
[33] Minsker,S.(2015)。Banach空间中的几何中值和稳健估计。伯努利,21(4),2308-2335·Zbl 1348.60041号 ·doi:10.3150/14-BEJ645
[34] Pollard,D.(1981)。经验过程的极限定理。Zeitschrift für Wahrscheinlichkeits theorye und verwandte Gebiete,57(2),181-195·Zbl 0443.60020号 ·doi:10.1007/BF00535488
[35] Pollard,D.(1984)。随机过程的收敛性。柏林:斯普林格·Zbl 0544.60045号 ·doi:10.1007/978-1-4612-5254-2
[36] R核心团队。(2016). R: 用于统计计算的语言和环境。维也纳:R统计计算基金会。https://www.R-project.org网站/ ·Zbl 1395.62207号
[37] Rousseeuw,P.和Yohai,V.(1984年)。利用S-估计量进行稳健回归。在稳健和非线性时间序列分析中,《统计学讲义》(第26卷,第256-272页)。柏林:斯普林格·Zbl 0567.62027号
[38] Salibian-Barrera,M.和Yohai,V.J.(2006)。S-回归估计的快速算法。计算与图形统计杂志,15(2),1-14·doi:10.11198/106186006X113629
[39] Shalev-Shwartz,S.、Shamir,O.、Srebro,N.和Sridharan,K.(2010年)。可学习性、稳定性和一致收敛性。机器学习研究杂志,112635-2670·Zbl 1242.68247号
[40] Srebro,N.、Sridharan,K.和Tewari,A.(2010年)。流畅、低噪音、高速率。J.D.Lafferty、C.K.I.Williams、J.Shawe-Taylor、R.S.Zemel和A.Culotta(编辑),《神经信息处理系统的进展》(第23卷,第2199-2207页)·Zbl 0858.68080号
[41] Steele,J.M.(1975)。组合熵和一致极限定律,博士论文。斯坦福大学。
[42] Takeuchi,I.、Le,Q.V.、Sears,T.D.和Smola,A.J.(2006)。非参数分位数估计。机器学习研究杂志,71231-1264·Zbl 1222.68316号
[43] Tibshirani,R.(1996)。通过套索回归收缩和选择。英国皇家统计学会杂志,B辑(方法学),58(1),267-288·Zbl 0850.62538号
[44] Vapnik,V.N.和Chervonenkis,A.Y.(1971)。关于事件相对频率与其概率的一致收敛性。概率论及其应用,16(2),264-280·Zbl 0247.60005号 ·数字对象标识代码:10.1137/1116025
[45] Vardi,Y.和Zhang,C.H.(2000)。多元\[L_1\]L1中点和相关数据深度。《美国国家科学院院刊》,97(4),1423-1426·Zbl 1054.62067号 ·doi:10.1073/pnas.97.4.1423
[46] Yu,Y.,Aslan,Ø.和Schuurmans,D.(2012年)。稳健回归的多项式形式。神经信息处理系统进展,25,2483-2491·Zbl 1283.91060号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。