×

基于广义Lasso路径的自适应多惩罚正则化。 (英文) Zbl 1434.68408号

摘要:对于许多算法来说,参数调整仍然是一项具有挑战性的任务,在多参数设置中会变得乏味。多效正则化就是这样的一个例子,它成功地用于解决非混合型的待定稀疏回归问题。我们提出了一种新的算法框架,用于多属性正则化中的自适应参数选择,重点是正确的支持恢复。通过扩展正则化路径的思想,我们提供了一种有效的方法来构造包含结构相似解的区域,即在参数范围内具有相同稀疏性和符号模式的解。结合模型选择标准,以数据自适应的方式选择正则化参数。我们算法的另一个优点是,它提供了在参数范围内解稳定性的概述。我们对我们的方法进行了数值分析,并将其与压缩感知问题的最新算法进行了比较,以证明所提算法的鲁棒性和威力。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62J07型 山脊回归;收缩估计器(拉索)
94甲12 信号理论(表征、重建、滤波等)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Zhang,T.,《利用贪婪最小二乘回归进行特征选择的一致性》,J.Mach。学习。研究,10,555-568(2009)·Zbl 1235.6206号
[2] Tropp,J.,《贪婪很好:稀疏近似的算法结果》,IEEE Trans。通知。理论,502231-2242(2004)·Zbl 1288.94019号
[3] Wainwright,M.J.,使用l1-约束二次规划(lasso)恢复高维和噪声稀疏性的夏普阈值,IEEE Trans。通知。理论,55,5,2183-2202(2009)·Zbl 1367.62220号
[4] 沈,J。;Li,P.,《关于通过硬阈值追踪实现支持恢复的迭代复杂性》,(Precup,D.;Teh,Y.W.,《第34届机器学习国际会议论文集》,《Proc.Mach.Learn.Res.》,第70卷(2017),PMLR,国际会议中心:PMLR,澳大利亚悉尼国际会议中心),3115-3124
[5] Osher,S。;阮,F。;熊,J。;姚,Y。;Yin,W.,通过差异包裹体进行稀疏恢复,应用。计算。哈蒙。分析。,41, 2, 436-469 (2016) ·Zbl 1360.94090号
[6] Bouchot,J.-L。;福卡特,S。;Hitchzenko,P.,《硬阈值追踪算法:迭代次数》,应用。计算。哈蒙。分析。,41, 2, 412-435 (2016) ·兹比尔1346.65012
[7] 阿里亚斯·卡斯特罗,E。;Eldar,Y.,压缩传感中的噪声折叠,IEEE信号处理。莱特。,478-481 (2011)
[8] Aeron,A.公司。;Saligrama,V。;Zhao,M.,压缩感知的信息理论界,IEEE Trans。通知。理论,56,10,5111-5130(2010)·兹比尔1366.94179
[9] 阿蒂娜,M。;Fornasier,M。;Peter,S.,《压缩传感中的阻尼噪声折叠和增强支持恢复》,IEEE Trans。信号处理。,63, 5990-6002 (2015) ·Zbl 1394.94457号
[10] Naumova,V。;Peter,S.,通过交替迭代阈值和最佳参数选择最小化多效函数,逆问题。,30,第125003条pp.(2014)·Zbl 1310.65059号
[11] Grasmair,M。;Naumova,V.,通过多效正则化解决混合问题中最优支持恢复的条件,逆问题。,第32、10条,第104007页(2016年)·Zbl 1358.94010号
[12] Meyer,Y.,《图像处理和非线性发展方程中的振荡模式:第十五届院长杰奎琳·刘易斯纪念讲座》。,第22卷(2001),美国数学学会:美国数学学会普罗维登斯,RI·Zbl 0987.35003号
[13] 多诺霍博士。;霍,X.,《测不准原理和理想原子分解》,IEEE Trans。通知。理论,47,7,2845-2862(2001)·Zbl 1019.94503号
[14] 多诺霍博士。;Stark,P.,《不确定性原理和信号恢复》,SIAM J.Appl。数学。,49, 3, 906-931 (1989) ·Zbl 0689.42001
[15] Daubechies,I。;Defrise,M。;De Mol,C.,《Sparsite-enforcing regularisation and ISTA reviewed》,《逆向问题》。,32,第104001条pp.(2016)·Zbl 1402.65048号
[16] Huber,P.J.,位置参数的稳健估计,Ann.Math。Stat.,35,1,73-101(1964)·Zbl 0136.39805号
[17] O.扎多罗日尼。;Benecke,G。;Mandt,S。;Scheffer,T。;Kloft,M.,线性预测模型的Huber-norm正则化,(Frasconi,P.;Landwehr,N.;Manco,G.;Vreeken,J.,《数据库中的机器学习和知识发现:欧洲会议论文集》,第一部分。数据库中的机器学习和知识发现:欧洲会议,论文集,第一部分,ECML PKDD 2016,意大利Riva del Garda,2016年9月19日至23日(2016),Springer International Publishing:Springer国际出版商会,714-730
[18] 邹,H。;Hastie,T.,《通过弹性网进行正则化和变量选择》,J.R.Stat.Soc.Ser。《美国统计年鉴》。,67, 2, 301-320 (2005) ·兹比尔1069.62054
[19] Tibshirani,R.J.,套索问题和独特性,电子。J.Stat.,71456-1490(2013)·Zbl 1337.62173号
[20] Grasmair,M。;谢泽尔,O。;Haltmeier,M.,l1正则化线性收敛的充要条件,Comm.Pure Appl。数学。,64, 2, 161-182 (2011) ·Zbl 1217.65095号
[21] Rosset,S。;Zhu,J.,分段线性正则化解路径,Ann.Statist。,35, 3, 1012-1030 (2007) ·Zbl 1194.62094号
[22] 贾,J。;Rohe,K.,《对套索进行符号一致性预处理》,《电子》。J.Stat.,9,1,1150-1172(2015)·Zbl 1321.62083号
[23] 埃夫隆,B。;哈斯蒂,T。;约翰斯通,I。;Tibshirani,R.,最小角回归,Ann.Statist。,32, 2, 407-499 (2004) ·Zbl 1091.62054号
[24] Gray,R.M.,Toeplitz和循环矩阵:综述,Found。流行趋势。Inf.理论,2,3,155-239(2006)·Zbl 1115.15021号
[25] Tropp,J.A。;Gilbert,A.C.,通过正交匹配追踪从随机测量中恢复信号,IEEE Trans。通知。理论,53,12,4655-4666(2007)·Zbl 1288.94022号
[26] Blumensath,T。;Davies,M.E.,压缩感知的迭代硬阈值,应用。计算。哈蒙。分析。,27, 3, 265-274 (2009) ·Zbl 1174.94008号
[27] 福卡特,S。;Rauhut,H.,《压缩传感数学导论》(2013),Springer:Springer New York·Zbl 1315.94002号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。