×
笨蛋，本杰明；萨拉·范德格尔

平方根正则化的夏普不等式。 （英语） Zbl 1441.62188号

J.马赫。学习。物件。 18（2017-2018），论文编号67，29 p.（2017）.
摘要：我们研究了一组用于高维线性回归模型的正则化方法。这些惩罚估计量以残差平方和的平方根作为损失函数，以任何弱可分解范数作为惩罚函数。之所以选择这种拟合测度，是因为它的性质是估计器不依赖于噪声的未知标准偏差。另一方面，广义弱可分解范数惩罚对于处理不同的底层稀疏结构非常有用。我们可以选择不同的稀疏性诱导范数，这取决于我们想要如何解释未知参数向量\（\β\）。结构化稀疏性规范，定义见[C.A.米切利等，“结构化稀疏性的惩罚函数族”，载于：《神经信息处理系统进展学报》23，NIPS'10。纽约州Red Hook:Curran Associates。12 p.（2010）]，是弱可分解范数的特例，因此我们还包括平方根LASSO[A.贝洛尼等人，《生物统计学》98，第4期，791–806（2011；Zbl 1228.62083号)]，LASSO组的平方根[F.丁腈橡胶等，IEEE Trans。Inf.Theory 60，No.2，1313–1325（2014；Zbl 1364.94113号)]以及一种称为平方根SLOPE的新方法（以类似于[M.博格丹等人，Ann.Appl。Stat.9，No.3，1103–1140（2015；Zbl 1454.62212号)]). 对于此集合我们的结果在Karush-Kuhn-Tucker条件下提供了尖锐的预言不等式。我们讨论了估计量的一些例子。基于仿真，我们说明了平方根斜率的一些优点。

引用于8文件

MSC公司：

62J07型 岭回归；收缩估计器（拉索）
62J05型 线性回归；混合模型
60埃15 不平等；随机排序

关键词：

平方根拉索；结构稀疏性；卡鲁什·库恩·塔克；尖锐oracale不等式；弱分解性

引文：

Zbl 1228.62083号；Zbl 1364.94113号；Zbl 1454.62212号

软件：

玻璃制品；闪耀
PDF格式BibTeX公司 XML格式引用
\textit{B.Stucky}和\textit{S.Van de Geer}，J.Mach。学习。第18号决议，第67号论文，29页（2017年；Zbl 1441.62188）
全文： arXiv公司 链接

参考文献：

[1] F.R.巴赫、R.杰纳顿、J.迈拉尔和G.奥博金斯基。具有稀疏诱导惩罚的优化。机器学习的基础和趋势，4（1）：1-1062012.R·Zbl 06064248号
[2] H.H.Bauschke和P.L.Combettes。Hilbert空间中的凸分析和单调算子理论。CMS数学书籍/Ouvrages de Math’matiques de la SMC。施普林格，纽约，2011年。由H´edy Attouch作前言·Zbl 1218.47001号
[3] A.Belloni、V.Chernozhukov和L.Wang。方形套索：通过圆锥曲线编程实现稀疏信号的关键恢复。《生物特征》，98（4）：791-8062011·Zbl 1228.62083号
[4] A.Belloni、V.Chernozhukov和L.Wang。在非参数回归中通过平方根拉索进行枢轴估计。《统计年鉴》，42（2）：757-7882014·Zbl 1321.62030号
[5] P.J.Bickel、Y.Ritov和A.B.Tsybakov。同时分析套索和Dantzig选择器。《统计年鉴》，37（4）：1705-17322009年·兹比尔1173.62022
[6] M.Bogdan、E.van den Berg、C.Sabatti、W.Su和E.J.Cand’es。SLOPE——通过凸优化进行自适应变量选择。应用统计年鉴，9（3）：1103–11402015。统一资源定位地址http://statweb.stanford.edu/坎德斯/排序1/·Zbl 1454.62212号
[7] S.Boucheron、M.Ledoux、G.Lugosi和P.Massart。集中不等式：独立性的非共鸣理论。牛津大学出版社，2013年。是978-0-19953525-5·Zbl 1279.60005号
[8] F.Bunea、A.B.Tsybakov和M.H.Wegkamp。通过l1惩罚最小二乘进行聚集和稀疏。《学习理论》，《计算机课堂讲稿》第4005卷。科学。，第379-391页。施普林格，柏林，2006年·Zbl 1143.62319号
[9] F.Bunea、A.B.Tsybakov和M.H.Wegkamp。高斯回归的聚合。《统计年鉴》，35（4）：1674-16972007·Zbl 1209.62065号
[10] F.Bunea、J.Lederer和Y.She。方圆套索组：理论性质和快速算法。IEEE信息理论汇刊，60（2）：1313-13252014·Zbl 1364.94113号
[11] P.B–uhlmann和S.van de Geer。高维数据统计：方法、理论和应用。斯普林格出版公司，2011年第1版。ISBN 3642201911，9783642201912·兹比尔1273.62015
[12] O.Klopp。具有一般采样分布的噪声低秩矩阵补全。伯努利，20（1）：282-3032014·Zbl 1400.62115号
[13] V.科尔钦斯基。Oracle在经验风险最小化和稀疏恢复问题中的不等式，数学讲义2033卷。施普林格，海德堡，2011年。2008年在圣弗洛尔举行的第38届概率暑期学校的讲座，“圣弗洛尔概率学院”。【圣弗洛尔概率暑期学校】·Zbl 1223.91002号
[14] V.Koltchinskii、K.Lounici和A.B.Tsybakov。噪声低秩矩阵补全的核形式惩罚和最优速率。安.统计师。，39（5）：2011年第2302-2329页。28 ·Zbl 1231.62097号
[15] B.Laurent和P.Massart。通过模型选择对二次函数进行自适应估计。《统计年鉴》，28（5）：第1302-1338页，2000年·Zbl 1105.62328号
[16] X.Li、T.Zhao、L.Wang、X.Yuan和H.Liu。flare：拉索回归家族，2014年。统一资源定位地址https://CRAN.R-project.org/package=flare。R包版本1.5.0。
[17] A.Maurer和M.Pontil。结构化稀疏性和泛化。机器学习研究杂志，13（1）：671-6902012·Zbl 1283.62086号
[18] C.A.Michelli、J.Morales和M.Pontil。结构稀疏性的惩罚函数族。J.D.Lafferty、C.K.I.Williams、J.Shawe-Taylor、R.S.Zemel和A.Culotta，编辑，《神经信息处理系统进展》23，第1612-1623页。Curran Associates，Inc.，2010年。
[19] C.A.Michelli、J.Morales和M.Pontil。结构化稀疏性的正则化器。计算数学进展，38（3）：455-4892013·Zbl 1297.62153号
[20] A.B.欧文。套索回归和岭回归的稳健组合。在《预测与发现》（Prediction and discovery）一书中，康特姆（Contemp）第443卷。数学。，第59-71页。阿默尔。数学。Soc.，普罗维登斯，RI，2007年·Zbl 1134.62047号
[21] N.Simon、J.Friedman、T.Hastie和R.Tibshirani。稀疏的套索。《计算与图形统计杂志》，2013年。
[22] W.Su和E.Cand’es。SLOPE对未知稀疏性和渐近极小值具有自适应性。安.统计师。，44(3):1038-1068, 2016. ·Zbl 1338.62032号
[23] T.Sun和C.Zhang。缩放稀疏线性回归。《生物统计学》，99（4）：879-8982012·兹比尔1452.62515
[24] R.Tibshirani。通过套索回归收缩和选择。英国皇家统计学会杂志。B系列方法学，58（1）：267-2881996·Zbl 0850.62538号
[25] S.van de Geer。确定性套索。联合材料管理程序，2007年。
[26] S.van de Geer。弱可分解正则化惩罚和结构化稀疏性。扫描。J.Stat.，41（1）：72-862014年·Zbl 1349.62325号
[27] S.范德吉尔。稀疏度下的估算和测试。“Ecole d”“Ete de Saint-Flour XLV学校。斯普林格（即将亮相），2016年·Zbl 1362.62006年
[28] S.van de Geer和J.Lederer。拉索、相关设计和改进的预言不等式。9:303-316, 2013. ·Zbl 1327.62426号
[29] X.Zeng和M.A.T.Figueiredo。减少加权排序l1正则化。IEEE信号处理快报，21（10）：1240-12442014年6月。
[30] X.Zeng和M.A.T.Figueiredo。有序加权l1范数：原子公式和条件梯度算法。2015年7月，在SPARS自适应稀疏结构表示信号处理研讨会上。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。