×
刘洪成;姚、陶;李润泽;叶银玉

折叠凹惩罚稀疏线性回归：稀疏性、统计性能和局部解的算法理论。 （英语） Zbl 1386.90116号

数学。程序。 166，第1-2（A）号，207-240（2017）.
摘要：本文涉及折叠凹惩罚稀疏线性回归（FCPSLR），一类流行的稀疏恢复方法。虽然FCPSLR在全局求解时会产生理想的恢复性能，但计算全局解决方案是NP完成的。尽管对局部极小值问题或基于FCPSLR的特定学习算法进行了一些现有的统计性能分析，但已知可接受完全多项式时间近似方案（FPTAS）的局部解是否足以确保统计性能，仍然是一个悬而未决的问题，以及这种统计性能是否可以在计算程序的具体设计上不相关。为了解决这些问题，本文给出了以下三个方面的结果：（1）在某些条件下，任何局部解（驻点）都是一个稀疏估计量。（2） 也许更重要的是，任何满足有效子空间二阶必要条件\（（（\text{S}^3\text{ONC}））弱于二阶KKT条件，在以高概率逼近真参数时产生有界误差。此外，如果最小信号强度足够，\（\text{S}^3\text{ONC}\）解决方案可能会恢复oracle解决方案。该结果还表明，在求解FCPSLR的非凸规划公式时，提高统计性能的目标与最小化次优间隙的优化准则是一致的。（3） 我们将（2）应用于FCPSLR的特殊情况极小极大凹罚并在限制特征值条件下，任何具有比Lasso解决方案更好的目标值的\（\text{S}^3\text{ONC}\）解决方案都需要强大的oracle属性。此外，这样的解决方案会生成模型误差（ME）可与给定足够样本大小的最佳指数时间稀疏估计量相比较，而最坏情况下的ME一般可与拉索近似。此外，为了保证\（\text{S}^3\text{ONC}\）承认FPTAS。

引用于16文件

MSC公司：

90C26型 非凸规划，全局优化
90 C90 数学规划的应用
62J05型 线性回归；混合模型
62J07型 岭回归；收缩估计器（拉索）
65年第68季度 算法和问题复杂性分析

关键词：

稀疏恢复;非凸规划;NP-完整性;折叠凹罚;套索
PDF格式BibTeX公司 XML格式引用
\textit{H.Liu}等人，数学。程序。166，编号1--2（A），207--240（2017；Zbl 1386.90116）
全文： 内政部 链接

参考文献：

[1] Adamczak，R.，Litvak，A.，Pajor，A.，Tomczak-Jaegermann，N.：对数压缩系综中经验协方差矩阵收敛性的定量估计。美国数学杂志。Soc.234535-561（2010年）·Zbl 1206.60006号
[2] Bertsimas，D.，Mazumder，R.：通过现代优化的最小分位数回归。Ann.Stat.42，2494-2525（2014年）·Zbl 1302.62154号 ·doi:10.1214/14-AOS1223
[3] Bian，W.，Chen，X.：非Lipschitz约束优化问题的最优性条件和复杂性。http://www.polyu.edu.hk/ama/staff/xjchen/OCT26 (2014) ·Zbl 1195.62035号
[4] Bian，W.，Chen，X.，Ye，Y.：非Lipschitz和非凸最小化内点算法的复杂性分析。数学。程序。A 149301-327（2015）·Zbl 1318.90075号 ·doi:10.1007/s10107-014-0753-5
[5] Bickel，P.J.、Ritov，Y.、Tsybakov，A.B.：Lasso和Dantzig选择器的同时分析。Ann.Stat.37，1705-1732（2009年）·Zbl 1173.62022号 ·doi:10.1214/08-AOS620
[6] Candés，E.，Tao，T.：线性编程解码。IEEE传输。信息理论。51(12), 4203-4215 (2005) ·兹比尔1264.94121 ·doi:10.1109/TIT.2005.858979
[7] Cartis，C.，Gould，N.I.M.，Toint，P.I.：无约束优化的自适应立方正则化方法。第一部分：动机、收敛性和数值结果。数学。掠夺。A 127、245-295（2011）·Zbl 1229.90192号 ·doi:10.1007/s10107-009-0286-5
[8] Chen，X.，Ge，D.，Wang，Z.，Ye，Y.：无约束L\[22\]-L\[_｛\mathbf｛p｝｝\]p最小化的复杂性。数学。掠夺。A.143、371-383（2014）·Zbl 1285.90039号 ·doi:10.1007/s10107-012-0613-0
[9] Chen，X.，Xu，F.，Ye，Y.：L\[_22\]-L\[mathbf{p}\]p极小化解中非零项的下限理论。SIAM J.科学。计算。32(5), 2832-2852 (2010) ·Zbl 1242.90174号 ·数字对象标识代码：10.1137/090761471
[10] Fan，J.，Li，R.：通过非冲突惩罚似然及其预言属性进行变量选择。《美国统计协会期刊》96，1348-1360（2001）·Zbl 1073.62547号 ·doi:10.19198/0162114501753382273
[11] Fan，J.，Lv，J.：具有NP维度的非凹惩罚似然。IEEE传输。《信息论》57，5467-5484（2011）·Zbl 1365.62277号 ·doi:10.1109/TIT.2011.2158486
[12] Fan，J.、Lv，J.和Qi，L.：经济学中的稀疏高维模型。每年。经济评论。3, 291-317 (2011) ·doi:10.1146/anurev-economics-061109-080451
[13] Fan，J.，Xue，L.，Zou，H.：折叠凹惩罚估计的强预言最优性。Ann.Stat.42（3），819-849（2014）·Zbl 1305.62252号 ·doi:10.1214/13-AOS1198
[14] Ge，D.，Wang，Z.，Ye，Y.，Yin，H.：带凹罚函数的正则化Lq最小化问题的强NP-hardeness结果。arxiv:1501.00622v1（2015）·Zbl 1302.62066号
[15] Hunter，D.，Li，R.：使用MM算法的变量选择。Ann.Stat.331617-1642（2005）·Zbl 1078.62028号 ·doi:10.1214/009053605000000200
[16] Hsu，D.，Kakade，S.M.，Zhang，T.：岭回归的随机设计分析。arXiv:1106.2363v2。(2014) ·Zbl 1298.62120号
[17] Hsu，D.，Kakade，S.M.，Zhang，T.：二次型次高斯随机向量的尾部不等式。电子。Commun公司。普罗巴伯。17(52), 1-6 (2012) ·Zbl 1309.60017号
[18] 霍，X.，陈，J.：惩罚似然估计的复杂性。J.统计计算。模拟。80(7), 747-759 (2010) ·Zbl 1195.62035号 ·网址：10.1080/00949650902773544
[19] Liu，H.，Yao，T.，Li，R.：折凹惩罚非凸学习的全局解。Ann.Stat.44（2），629-659（2016）·Zbl 1337.62163号 ·doi:10.1214/15-AOS1380
[20] Liu，H.，Yao，T.，Li，R.，Ye，Y.：折叠凹惩罚稀疏线性回归的电子伴侣：局部解的稀疏性、统计性能和算法理论（2017）·Zbl 1386.90116号
[21] Loh，P.-L.，Wainwright，M.J.：非凸正则M-估计量：局部最优的统计和算法理论。J.马赫。学习。第16号决议，559-616（2015年）·Zbl 1360.62276号
[22] Negahban，S.N.，Ravikumar，P.，Wainwright，M.J.，Yu，B.：具有可分解正则化子的M估计量高维分析的统一框架。统计科学。27（4），538-557（2012）·兹比尔1331.62350 ·doi:10.1214/12-STS400
[23] 于内斯特罗夫。，Polyak，B.T.：牛顿方法的立方正则化及其全局性能。数学。程序。108(1), 177-205 (2006) ·Zbl 1142.90500 ·doi:10.1007/s10107-006-0706-8
[24] Raskutti，G.，Wainwright，M.，Yu，B.：相关高斯设计的受限零空间和特征值特性。J.马赫。学习。第11号决议，2241-2259（2010年）·Zbl 1242.62071号
[25] Rudelson，M.，Zhou，S.：各向异性随机测量的重建。IEEE传输。《信息论》59（6），3434-3447（2013）·Zbl 1364.94158号 ·doi:10.1109/TIT.2013.2243201
[26] Raskutti，G.，Wainwright，M.J.，Yu，B.：高维线性回归在[\ell_q\]Уq平衡上的最小估计率。IEEE传输。《信息论》57（10），6976-6994（2011）·Zbl 1365.62276号 ·doi:10.1109/TIT.2011.2165799
[27] Tibshirani，R.：通过拉索进行回归收缩和选择。J.R.Stat.Soc.B 58（1），267-288（1996）·Zbl 0850.62538号
[28] van de Geer，S.A.，Bühlmann，P.：关于用于证明Lasso预言结果的条件。电子。J.Stat.3，1360-1392（2009年）·Zbl 1327.62425号 ·doi:10.1214/09-EJS506
[29] Vavasis，S.A.：二次规划在NP.Inf.过程中。莱特。36, 73-77 (1990) ·Zbl 0719.90052号 ·doi:10.1016/0020-0190（90）90100-C
[30] Vershynin，R.：样本协方差矩阵与实际协方差矩阵的接近程度。arXiv:1004.3484v2（2010）·Zbl 1365.62208号
[31] Wang，L.，Kim，Y.，Li，R.：校准超高维非凸惩罚回归。Ann.Stat.41（5），2505-2536（2013）·Zbl 1281.62106号 ·doi:10.1214/13-AOS1159
[32] Wang，Z.，Liu，H.，Zhang，T.：稀疏非凸学习问题的最优计算和统计收敛率。Ann.Stat.42（6），2164-2201（2014）·Zbl 1302.62066号 ·doi:10.1214/14-AOS1238
[33] Ye，Y.：关于非凸二次规划的仿射缩放算法。数学。程序。56, 285-300 (1992) ·Zbl 0767.90065号 ·doi:10.1007/BF01580903
[34] Ye，Y.：关于二次规划的KKT点逼近的复杂性。数学。程序。195-211年（1998年）·Zbl 0894.90117号 ·doi:10.1007/BF01581726
[35] Zhang，C.：极小极大凹罚下的几乎无偏变量选择。Ann.Stat.28，894-942（2010年）·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
[36] Zhang，Y.，Wainwright，M.J.，Jordan，M.I.：稀疏线性回归多项式时间算法性能的下限。JMLR：工作。确认程序。35, 1-18 (2014)
[37] 张，C.，张，T.：高维稀疏估计问题的凹正则化的一般理论。统计科学。27(4), 576-593 (2012) ·Zbl 1331.62353号 ·doi:10.1214/12-STS399
[38] Zhou，S.：次高斯随机矩阵的限制特征值条件。arXiv:0912.4045v2（2009）·Zbl 1142.62027号
[39] Zou，H.，Li，R.：非凹陷惩罚似然模型中的一步稀疏估计。Ann.Stat.361509-1533（2008）·Zbl 1142.62027号 ·doi:10.1214/09053607000000802
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。