×
潘晓鸥;孙强;周文欣

迭代重加权\（\ell_1\）惩罚稳健回归。 （英语） Zbl 1472.62116号

电子。J.统计。 15，第1号，3287-3348（2021）.
摘要：本文研究了具有非凸正则化的高维稳健回归的优化误差、统计收敛速度和重尾误差的影响之间的权衡。当线性模型中的加性误差只有有界二阶矩时，我们证明了在弱beta-min条件下，迭代重加权（ell_1）惩罚的自适应Huber回归估计满足指数偏差界和oracle性质，包括oracle收敛速度和变量选择一致性。计算上，我们需要多达\（\mathcal{O}（\logs+\log\logd）\）次的迭代才能得到这样的预言估计量，其中\（s）和\（d）分别表示稀疏性和环境维。还考虑了对一类鲁棒损失函数的扩展。数值研究为我们的方法和理论提供了有力的支持。

引用于6文件

理学硕士：

62J07型 岭回归；收缩估计器（拉索）
62A01型 统计学基础和哲学主题
62G32型 极值统计；尾部推断
62G35型 非参数稳健性

关键词：

自适应Huber回归;凸松弛;重尾噪声;非凸正则化;优化误差;oracle属性;预言率

软件：

格尔姆奈特
PDF格式BibTeX公司 XML格式引用
\textit{X.Pan}等人，《电子》。J.Stat.15，No.1，3287--3348（2021；Zbl 1472.62116）
全文： 内政部 arXiv公司

参考文献：

[1] Alquier，P.、Cottet，V.和Lecué，G.（2019年）。具有Lipschitz损失函数的正则化过程的估计界和尖锐预言不等式。安。统计师。47 2117-2144. ·Zbl 1466.62289号
[2] Bellec，P.C.、Lecué，G.和Tsybakov，A.B.（2018年）。斜率符合拉索：改进了预言界和优化。安。统计师。46 3603-3642. ·Zbl 1405.62056号
[3] Belloni，A.和Chernozhukov。V.和Wang，L.（2011）。方形套索：通过圆锥曲线编程对稀疏信号进行枢轴恢复。生物特征98 791-806. ·Zbl 1228.62083号
[4] Bertsimas，D.、Pauphilet，J.和Van Parys，B.（2020年）。稀疏回归：可扩展算法和经验性能。统计师。科学。35 555-578. ·Zbl 07307186号
[5] Bogdan，M.、van den Berg，E.、Sabatti，C.、Su，W.和Candés，E.J.（2015）。SLOPE—通过凸优化进行自适应变量选择。附录申请。斯达。9 1103-1140. ·Zbl 1454.62212号
[6] Boucheron，S.、Lugosi，G.和Massart，P.（2013）。集中不等式：独立性的非渐近理论。牛津大学出版社，牛津·Zbl 1279.60005号
[7] Bousquet，O.（2003）。使用熵方法的次可加函数的集中不等式。随机不等式及其应用。概率论进展56 213-247. Birkhäuser，巴塞尔·Zbl 1037.60015号
[8] Bühlmann，P.和van de Geer，S.（2011）。高维数据统计：方法、理论与应用海德堡施普林格·Zbl 1273.62015年
[9] Catoni，O.（2012）。挑战经验均值和经验方差：偏差研究。亨利·彭加雷·普罗巴布（Henri PoincaréProbab）安·Inst。斯达。48 1148-1185. ·Zbl 1282.62070号 ·doi:10.1214/11-AIHP454
[10] Catoni，O.和Giulini，I.（2017年）。矩阵、向量和线性最小二乘回归的无量纲PAC-Bayesian界。arXiv预印本arXiv:1712.02747。
[11] Chen，X.和Zhou，W.-X.（2020）。通过乘数引导进行稳健推理。安。统计师。48 1665-1691. ·Zbl 1458.62075号
[12] Chinot，G.、Lecué，G.和Lerasle，M.（2020a）。具有Lipschitz和凸损失函数的稳健统计学习。普罗巴伯。理论关联。领域45 866-896. ·Zbl 1436.62178号
[13] Chinot，G.、Lecué，G.和Lerasle，M.（2020b）。针对Lipschitz和凸损失的稳健高维学习。J.马赫。学习。物件。21(233): 1-47. ·Zbl 07307489号
[14] Fan，J.和Li，R.（2001）。通过非冲突惩罚似然及其oracle属性进行变量选择。J.Amer。统计师。协会。96 1348-1360. ·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[15] Fan，J.、Li，Q.和Wang，Y.（2017）。在缺乏对称性和轻尾假设的情况下估计高维平均回归。J.R.统计社会服务。B.统计方法。79 247-265. ·Zbl 1414.62178号 ·doi:10.1111/rssb.12166
[16] Fan，J.、Liu，H.、Sun，Q.和Zhang，T.（2018）。稀疏学习的I-LAMM：同时控制算法复杂性和统计误差。安。统计师。46 814-841. ·Zbl 1392.62215号
[17] Friedman，J.、Hastie，T.和Tibshirani，R.（2010）。广义线性模型通过坐标下降的正则化路径。J.统计软件。33 1-22.
[18] Gaíffas，S.和Lecué，G.（2011年）。压缩感知和矩阵补全的加权算法。arXiv预印本arXiv:1107.1638·Zbl 1365.62137号
[19] Hastie，T.、Tibshirani，R.和Tibshirani，R.（2020）。最佳子集，向前逐步还是拉索？基于广泛比较的分析和建议。统计师。科学。35 579-592. ·Zbl 07307187号
[20] Hastie，T.、Tibshirani，R.和Wainwright，M.（2015）。稀疏的统计学习：套索与推广CRC出版社，博卡拉顿·Zbl 1319.68003号
[21] Huber，P.J.（1964年）。位置参数的稳健估计。安。数学。统计师。35 73-101. ·Zbl 0136.39805号
[22] Jerrum，M.R.、Valiant，L.G.和Vazirani，V.V.（1986年）。从均匀分布中随机生成组合结构。西奥。计算。科学。43 169-188. ·Zbl 0597.68056号
[23] Lahiri，S.N.（2021年）。高维LASSO变量选择一致性的充要条件。安。统计师。49 820-844. ·Zbl 1469.62307号
[24] Lambert-Lacroix，S.和Zwald，L.（2011年）。通过Huber准则和自适应套索惩罚进行稳健回归。电子。J.统计。5 1015-1053. ·兹比尔1274.62467
[25] Lange，K.、Hunter，D.R.和Yang，I.（2000年）。使用替代目标函数优化传输。J.计算。图表。斯达。9 1-20.
[26] Lecué，G.和Lerasle，M.（2018年）。学习MOM的原则：Le Cam的方法。斯托恰斯特。过程。申请。129 4385-4410. ·兹比尔1435.62175
[27] Lecué，G.和Lerasle，M.（2020年）。中位数鲁棒机器学习：理论与实践。安。统计师。48 906-931. ·Zbl 1487.62034号
[28] Lecué，G.和Mendelson，S.（2018年）。规则化和小球方法I：稀疏回收。安。统计师。46 611-641. ·Zbl 1403.60085号
[29] Ledoux，M.和Talagrand，M.（1991）。Banach空间中的概率：等高线和过程柏林斯普林格·弗拉格·Zbl 0748.60004号
[30] Loh，P.（2017）。高维稳健估计量的统计一致性和渐近正态性。安。统计师。45 866-896. ·Zbl 1371.62023号
[31] Loh，P.-L.和Wainwright，M.J.（2015）。非凸正则（M）-估计：局部最优的统计和算法理论。J.马赫。学习。物件。16 559-616. ·Zbl 1360.62276号
[32] Loh，P.-L.和Wainwright，M.J.（2017）。支持无非相干恢复：非凸正则化的一个例子。安。统计师。45 2455-2482. ·Zbl 1385.62008号
[33] Lugosi，G.和Mendelson，S.（2019a）。规则化、稀疏恢复和中位数比赛。伯努利25 2075-2106. ·Zbl 1467.62131号
[34] Lugosi，G.和Mendelson，S.（2019b）。重尾分布下的均值估计和回归：一项调查。已找到。计算。数学。19 1145-1190. ·Zbl 1431.62123号
[35] Lugosi，G.和Mendelson，S.（2020年）。通过中位数比赛将风险降至最低。《欧洲数学杂志》。Soc公司。22 925-965. ·Zbl 1436.62312号
[36] Mei，S.、Bai，Y.和Montanari，A.（2018年）。非凸损失的经验风险前景。安。统计师。46 2747-2774. ·Zbl 1409.62117号
[37] Meinshausen，N.和Bühlmann，P.（2006）。高维图和用套索选择变量。安。统计师。34 1436-1462. ·Zbl 1113.62082号 ·doi:10.1214/0090536000000281
[38] Minsker，S.（2015年）。Banach空间中的几何中值和稳健估计。伯努利21 2308-2335. ·Zbl 1348.60041号
[39] Ndaoud，M.（2019年）。极小极大估计和极小极大支持稀疏条件下的恢复。在程序。机器。学习。物件。98 647-668.
[40] Nemirovsky，A.S.和Yudin，D.B.（1983年）。优化中的问题复杂性和方法效率。纽约威利·Zbl 0501.90062号
[41] Shen，X.、Pan，W.和Zhu，Y.（2012）。基于似然的选择和尖锐参数估计。J.Amer。统计师。协会。107 223-232. ·Zbl 1261.62020年
[42] Spokoiny，V.（2012）。参数估计。有限样本理论。安。统计师。40 2877-2909. ·Zbl 1296.62051号
[43] Sun，T.和Zhang，C.-H.（2012）。缩放稀疏线性回归。生物特征99 879-898. ·Zbl 1452.62515号
[44] Sun，Q.，Zhou，W.-X.和Fan，J.（2020）。自适应Huber回归。J.Amer。统计师。协会。115 254-265. ·Zbl 1437.62250号
[45] Theodossiou，P.（1998年）。财务数据和偏态广义（t）分布。管理。科学。44 1650-1661. ·Zbl 1001.91051号
[46] Tibshirani，R.（1996）。通过套索回归收缩和选择。J.R.统计社会服务。B.统计方法。58 267-288. ·Zbl 0850.62538号
[47] Vershynin，R.（2018）。高维概率剑桥大学出版社，剑桥·Zbl 1430.60005号
[48] Wainwright，M.J.（2009）。使用\[{\ell_1}\]约束二次规划（Lasso）恢复高维和噪声稀疏性的锐化阈值。IEEE传输。Inf.理论55 2183-2202. ·兹比尔1367.62220
[49] Wainwright，M.J.（2019年）。高维统计剑桥大学出版社，剑桥·Zbl 1457.62011年
[50] Wang，L.，Zheng，C.，Zhou，W.和Zhou、W.-X.（2021）。无调谐Huber回归的新原理。中国统计局，以显示·Zbl 1524.62136号
[51] Yuan，M.和Lin，Y.（2006）。分组变量回归中的模型选择和估计。J.R.统计社会服务。B.统计方法。68 49-67. ·Zbl 1141.62030号
[52] Zhang，C.-H.（2010年a）。极小极大凹惩罚下的几乎无偏变量选择。安。统计师。38 894-942. ·Zbl 1183.62120号
[53] Zhang，C.-H.和Zhang、T.（2012）。高维稀疏估计问题的凹正则化的一般理论。统计师。科学。27 576-593. ·Zbl 1331.62353号 ·doi:10.1214/12-STS399
[54] Zhang，T.（2010年b）。稀疏正则化的多级凸松弛分析。J.马赫。学习。物件。11 1081-1107. ·Zbl 1242.68262号
[55] Zhao，P.和Yu，B.（2006年）。关于拉索模型选择的一致性。J.马赫。学习。物件。7 2541-2563. ·Zbl 1222.62008年
[56] 邹华（2006）。自适应套索及其oracle属性。J.Amer。统计师。协会。101 1418-1429. ·兹比尔1171.62326 ·doi:10.1198/016214500000735
[57] Zou，H.和Hastie，T.（2005年）。通过弹性网进行规则化和变量选择。J.R.统计社会服务。B.统计方法。67 301-320. ·兹比尔1069.62054 ·文件编号：10.1111/j.1467-9868.2005.005.x
[58] 邹浩和李若明（2008）。非凹陷惩罚似然模型中的一步稀疏估计。安。统计师。36 1509-1533. ·Zbl 1142.62027号 ·doi:10.1214/09053607000000802
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。