×
克莉丝汀·德·莫尔;埃内斯托·德·维托;洛伦佐·罗萨斯科

学习理论中的弹性网络正则化。 （英语） 兹比尔1319.62087

J.复杂性 201-230年第2期第25页（2009年）.
摘要：在统计学习理论的框架内，我们详细分析了由H.邹和T.哈斯蒂[J.R.Stat.Soc.，Ser.B，Stat.Methodol.67，No.2，301–320（2005；Zbl 1069.62054号)]用于选择相关变量组。为了研究该方案的统计特性，特别是其一致性特性，我们建立了一个合适的数学框架。我们的设置是随机设计回归，其中我们允许响应变量为向量值，并考虑元素（特征）的线性组合的预测函数在无限维字典中。在回归函数允许字典上的稀疏表示的假设下，我们证明了回归函数存在一个特定的“弹性网表示”，因此，如果数据数量增加，弹性网估计量是一致的，不仅用于预测，也适用于变量/功能选择。我们的结果包括有限样本界和选择正则化参数的自适应方案。此外，利用凸分析工具，我们推导了一种用于计算弹性网络解的迭代阈值算法，该算法不同于上述编辑工作中最初提出的优化过程。

引用于2评论
引用于48文件

MSC公司：

62G08号 非参数回归和分位数回归
62J05型 线性回归；混合模型
68T05年 人工智能中的学习和自适应系统
65C60个 统计中的计算问题（MSC2010）

关键词：

稀疏回归估计;学习;规则化;稀疏;弹性网

引文：

Zbl 1069.62054号

软件：

PDCO公司
PDF格式BibTeX公司 XML格式引用
\textit{C.De Mol}等人，《复杂性杂志》25，第2期，201-230（2009；Zbl 1319.62087）
全文： DOI程序 arXiv公司 链接

参考文献：

[1] 坎迪斯，E。；Tao，T.，Dantzig选择器：当（p）远大于（n）时的统计估计，Ann.Statist。，35, 6, 2313-2351 (2007) ·Zbl 1139.62019号
[2] A.Destrero，C.De Mol，F.Odone，A.Verri，《人脸检测特征选择的规范化方法》，载于：ACCV07，2007年，第II页：881-890；A.Destrero，C.De Mol，F.Odone，A.Verri，《人脸检测特征选择的规范化方法》，载于：ACCV07，2007年，第II页：881-890
[3] Destrero，A。；莫西，S。；De Mol，C。；Verri，A。；Odone，F.，高维数据的特征选择，计算。管理。科学。，6, 1, 25-40 (2009) ·Zbl 1168.62301号
[4] Destrero，A。；De Mol，C。；奥多内，F。；Verri，A.，《学习人脸特征的稀疏增强方法》，IEEE Trans。图像处理。，18, 1, 188-201 (2009) ·Zbl 1371.68230号
[5] C.De Mol，S.Mosci，M.Traskine，A.Verri，从微阵列数据中选择相关基因嵌套组的正则化方法，J.Comp。生物学（正在出版中）。预打印可从以下网址获得：http://arxiv.org/abs/0809.1777; C.De Mol，S.Mosci，M.Traskine，A.Verri，从微阵列数据中选择相关基因嵌套组的正则化方法，J.Comp。生物学（出版中）。预打印可从以下网址获得：http://arxiv.org/abs/0809.1777
[6] A.Barla，S.Mosci，L.Rosasco，A.Verri，具有显著性评估的稳健变量选择方法，收录于：ESANN 2008年，2008年。预打印可从以下网址获得：http://www.disi.unige.it/person/MosciS/PAPERS/esann.pdf; A.Barla，S.Mosci，L.Rosasco，A.Verri，具有显著性评估的稳健变量选择方法，收录于：ESANN 2008年，2008年。预打印可从以下网址获得：http://www.disi.unige.it/person/MosciS/PAPERS/esann.pdf
[7] Tibshirani，R.，《通过套索进行回归选择和收缩》，J.R.Stat.Soc.Ser。B、 58、267-288（1996）·Zbl 0850.62538号
[8] 陈S.S。；Donoho，D.L。；桑德斯，M.A.，《基追踪原子分解》，SIAM J.Sci。计算。，20, 1, 33-61 (1998) ·Zbl 0919.94002号
[9] Fu，W.，《惩罚回归：桥梁与套索》，J.Compute。图表。统计人员。，7, 3, 397-416 (1998)
[10] Koltchinskii，V.，《惩罚经验风险最小化中的稀疏性》，《亨利·庞加莱研究所年鉴》，Probab。统计人员。，45, 1, 7-57 (2009) ·Zbl 1168.62044号
[11] K.奈特。；Fu，W.，套索型估计量的渐近性，Ann.Statist。，28, 5, 1356-1378 (2000) ·Zbl 1105.62357号
[12] 布尼亚，F。；Tsybakov，A。；Wegkamp，M.，《通过l1惩罚最小二乘法的聚集和稀疏性》（Proc.19th Annual Conference on Compute.Learning Theory（2006），Springer），379-391·Zbl 1143.62319号
[13] 路易斯·J·M。；van de Geer，S.，带软阈值惩罚的自适应估计，统计。Neerlandica，56，4，454-479（2002）·Zbl 1090.62534号
[14] Tarigan，B。；van de Geer，S.A.，具有（l_1）复杂性正则化的支持向量机类型分类器，伯努利，12，6，1045-1076（2006）·Zbl 1118.62067号
[15] Greenshtein，E.，最佳子集选择，高维统计学习的持久性和\（l_1\）约束下的优化，Ann.Statist。，342367-2386（2006年）·Zbl 1106.62022号
[16] van de Geer，S.A.，《高维广义线性模型和套索》，Ann.Statist。，36, 2, 614-645 (2008) ·Zbl 1138.62323号
[17] 赵，P。；Yu，B.，关于Lasso，J.Mach的模型选择一致性。学习。第72541-2563号决议（2006年）·Zbl 1222.62008年
[18] 埃夫隆，B。；哈斯蒂，T。；约翰斯通，I。；Tibshirani，R.，最小角回归，Ann.Statist。，32, 407-499 (2004) ·Zbl 1091.62054号
[19] Daubechies，I。；Defrise，M。；De Mol，C.，具有稀疏约束的线性反问题的迭代阈值算法，Comm.Pure Appl。数学。，57, 11, 1413-1457 (2004) ·Zbl 1077.65055号
[20] 邹，H。；Hastie，T.，《通过弹性网进行正则化和变量选择》，J.R.Stat.Soc.Ser。B、 67、2、301-320（2005）·Zbl 1069.62054号
[21] Owen，A.，套索和岭回归的稳健混合，（当代数学，第443卷（2007），美国数学学会：美国数学学会普罗维登斯，罗德岛），59-72·Zbl 1134.62047号
[22] 袁，M。；Lin，Y.，《分组变量回归中的模型选择和估计》，J.R.Stat.Soc.Ser。B、 B系列68、49-67（2006）·Zbl 1141.62030号
[23] 福纳西尔，M。；Rauhut，H.，具有联合稀疏性约束的向量值数据恢复算法，SIAM J.Numer。分析。，46, 2, 577-613 (2008) ·Zbl 1211.65066号
[24] Wahba，G.，观测数据的样条模型，（CBMS-NSF应用数学区域会议系列，第59卷（1990），SIAM:SIAM Philadelphia，PA）·Zbl 0813.62001号
[25] Barron，A。；科恩，A。；Dahmen，W。；DeVore，R.，贪婪算法的自适应逼近和学习，Ann.Statist。，36, 1, 64-94 (2008) ·Zbl 1138.62019号
[26] Bauer，F。；Pereverzev，S.，《没有平滑度和误差行为初步知识的正则化》，《欧洲应用杂志》。数学。，16, 303-317 (2005) ·Zbl 1093.65054号
[27] 米切利，C.A。；Pontil，M.，关于学习向量值函数，神经计算。，17, 1, 177-204 (2005) ·Zbl 1092.93045号
[28] L.Baldassarre，A.Barla，B.Gianesin，M.Marinelli，《铁过载估算的向量值回归》，载于：《2008年国际比较项目评审会议论文集》，佛罗里达州坦帕，美国；L.Baldassarre，A.Barla，B.Gianesin，M.Marinelli，《铁过载估算的向量值回归》，载于：《2008年国际比较项目审查会议记录》，佛罗里达州坦帕，美国
[29] 米切利，C.A。；庞蒂尔，M。；Evgeniou，T.，《使用内核方法学习多个任务》，J.Mach。学习。第6615-637号决议（2005年）·Zbl 1222.68197号
[30] Argyriou，A。；Evgeniou，T。；Pontil，M.，多任务特征学习，（Schölkopf，B.；Platt，J.；Hoffman，T.，《神经信息处理系统进展》，第19卷（2007年），麻省理工学院出版社：麻省理工学院出版社，马萨诸塞州剑桥），41-48
[31] Caponnetto，A。；米切利，C.A。；庞蒂尔，M。；Ying，Y.，通用多任务内核，J.Mach。学习。第9号决议，1615-1646（2008）·Zbl 1225.68155号
[32] 阿马托，美国。；安东尼亚迪斯，A。；Pensky，M.，非等间距设计回归的小波核惩罚估计，Statist。计算。，16, 1, 37-55 (2006)
[33] 卡梅利，C。；De Vito，E。；Toigo，A.，可积函数的向量值再生核Hilbert空间和Mercer定理，Ana。申请。（新加坡），4，4，377-408（2006）·Zbl 1116.46019号
[34] 范德法特，A.W。；Wellner，J.A.，（弱收敛与经验过程。弱收敛与实证过程，统计学中的Springer级数（1996），Springer-Verlag:Springer-Verlag纽约）·Zbl 0862.60002号
[35] 埃克兰，I。；Turnbull，T.（无限维优化与凸性，无限维优化和凸性，芝加哥数学讲座（1983），芝加哥大学出版社：芝加哥大学出版社，芝加哥）·Zbl 0565.49003号
[36] Pinelis，I.，Banach空间鞅分布的最佳界，Ann.Probab。，22, 4, 1679-1706 (1994) ·Zbl 0836.60015号
[37] Pinelis，I.，更正：“Banach空间中鞅分布的最佳界”，Ann.Probab。。Ann.Probab。，Ann.Probab。，27、4、2119-1706（1999）、MR1331198（96b:60010）
[38] Yurinsky，V.，（和和和高斯向量。和和高斯矢量，数学讲义，第1617卷（1995），Springer-Verlag:Springer-Verlag Berlin）·Zbl 0846.60003号
[39] 松果，I.F。；Sakhanenko，A.I.，关于大偏差概率不等式的注释，理论概率论。申请。，30, 1, 143-148 (1985) ·Zbl 0583.60023号
[40] Lepskii，O.，关于高斯白噪声中的自适应估计问题，理论概率。申请。，35, 454-466 (1990) ·Zbl 0745.62083号
[41] 肖克，E。；Pereverzev，S.V.，关于不适定问题正则化中参数的自适应选择，SIAM J.Numer。分析。，43, 2060-2076 (2005) ·Zbl 1103.65058号
[42] E.De Vito，S.Pereverzev，L.Rosasco，《通过平衡原理进行自适应学习》，BCL论文-275/CSAIL和技术报告-TR-2008-062，麻省理工学院，2008年。预打印可从以下网址获得：http://dspace.mit.edu/bitstream/handle/1721.1/42896/mit-CSAIL-TR-2008-062.pdf; E.De Vito，S.Pereverzev，L.Rosasco，《通过平衡原理进行自适应学习》，BCL论文-275/CSAIL和技术报告-TR-2008-062，麻省理工学院，2008年。预印本可在：http://dspace.mit.edu/bitstream/handle/1721.1/42896/mit-CSAIL-TR-2008-062.pdf
[43] 斯梅尔，S。；周，D.-X.，通过积分算子及其近似值进行学习理论估计，Constr。约262153-172（2007年）·Zbl 1127.68088号
[44] Bauer，F。；Pereverzev，S。；Rosasco，L.，《学习理论中的正则化算法》，J.Complexity，23，1，52-72（2007）·Zbl 1109.68088号
[45] Caponetto，A。；De Vito，E.，正则最小二乘算法的最优速率，Found。计算。数学。，7, 3, 331-368 (2007) ·Zbl 1129.68058号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。