×
黄汉文

依赖性下的LASSO风险和相变。 （英语） Zbl 07633944号

电子。J.统计。 16，第2号，6512-6552（2022）.
摘要：我们考虑了从有噪声观测值中恢复a（k）稀疏信号（β_0）的问题。最流行的方法之一是（l_1）正则化最小二乘法，也称为LASSO。在随机设计的情况下，我们分析了LASSO的均方误差，在随机设计中，每行（mathbf{X}）是用广义（Sigma）从分布（N（0，Sigma。我们首先推导了在（n，p到infty）的极限下，（mathbf{w}\neq0）的LASSO的渐近风险，其中（n/p到delta）在[0，infty中）。然后我们检验了LASSO在无噪声情况下精确重建（beta_0）的（n，p}和k）的条件。相位边界（delta_c=delta（epsilon）\)精确地建立在由\（0\leq\delta，\epsilon\leq1）定义的相空间中，其中\（\epsilen=k/p\）。在这个边界之上，LASSO以很高的概率完美地恢复了\（\beta_0\）。在该边界以下，LASSO很可能无法恢复\（\beta_0\）。虽然（\beta_0）的非零元素的值对相变曲线没有任何影响，但我们的分析表明，（\delta_c）确实依赖于一般（\Sigma\neq\mathbf）的非零值的符号模式{我}_{p\乘以p}\）。这与之前在i.i.d.情况下得出的相变结果形成了鲜明对比，其中\（\Sigma=\mathbf{我}_{p\times p}\），其中\（\delta_c\）完全由\（\varepsilon\）决定，与\（\beta_0\）的分布无关。我们的形式主义的基础是最近开发的一种高效算法，称为近似消息传递（AMP）算法。我们用\（\Sigma\neq\mathbf将AMP的状态演化从i.i.d.情况推广到一般情况{我}_{p\乘以p}\）。大量的计算实验证实，我们的理论预测与中等尺寸系统的模拟结果是一致的。

MSC公司：

2012年12月62日 参数估计量的渐近性质

关键词：

渐近风险;拉索;均方误差;相变;状态演化
PDF格式BibTeX公司 XML格式引用
\textit{H.Huang}，电子。J.Stat.16，No.2，6512--6552（2022；Zbl 07633944）
全文： 内政部 arXiv公司 链接

参考文献：

[1] Baddeley，A.（1977年）。运动流形上的积分和几何概率。应用概率的进展9(3), 588-603. ·兹比尔0377.60013
[2] Barbier，J.、F.Krzakala、N.Macris、L.Miolane和L.Zdeborová（2019年）。高维广义线性模型中的最佳误差和相变。美国国家科学院院刊116(12), 5451-5460. ·Zbl 1416.62421号
[3] Barbier，J.和N.Macris（2019年8月）。自适应插值方法：贝叶斯推理中证明副本公式的简单方案。概率论及相关领域174(3), 1133-1185. ·Zbl 1478.60253号
[4] Bayati，M.、M.Lelarge和A.Montanari（2015年4月）。多面体相变和消息传递算法的普遍性。附录申请。普罗巴伯。25(2), 753-822. ·Zbl 1322.60207号
[5] Bayati，M.和A.Montanari（2011年2月）。消息在密集图形上传递的动力学，以及压缩感知的应用。IEEE信息理论汇刊57(2), 764-785. ·Zbl 1366.94079号
[6] Bayati，M.和A.Montanari（2012年）。高斯矩阵的套索风险。IEEE传输。信息论58(4), 1997-2017. ·兹比尔1365.62196
[7] Berthier，R.、A.Montanari和P.-M.Nguyen（2019年1月）。具有不可分离函数的近似消息传递的状态演化。信息与推理：IMA 00期刊, 1-47.
[8] Blanchard，J.D.、C.Cartis和J.Tanner（2011年）。压缩感知：受限等距特性有多尖锐？SIAM审查53(1), 105-125. ·Zbl 1214.41008号
[9] Celentano，M.、A.Montanari和Y.Wei（2020年）。具有通用高斯设计的套索，用于假设检验。
[10] Donoho，D.和J.Tanner（2009年）。观察到高维几何中相变的普遍性，对现代数据分析和信号处理具有启示。伦敦皇家学会哲学汇刊A：数学、物理和工程科学367(1906), 4273-4293. ·Zbl 1185.94029号
[11] Donoho，D.L.、I.Johnstone和A.Montanari（2013年6月）。通过连接到极大极小去噪，精确预测压缩传感中的相变。IEEE传输。信息理论。59(6), 3396-3433. ·兹比尔1364.94092
[12] Donoho，D.L.、A.Maleki和A.Montanari（2009年）。压缩感知的消息传递算法。国家科学院院刊106(45), 18914-18919.
[13] Donoho，D.L.、A.Maleki和A.Montanari（2011年10月）。压缩感知中的噪声敏感性相变。IEEE信息理论汇刊57(10), 6920-6941. ·Zbl 1365.94094号
[14] Donoho，D.L.和J.Tanner（2005年）。线性规划求解欠定线性方程组的稀疏非负解。美国国家科学院院刊102(27), 9446-9451. ·Zbl 1135.90368号
[15] Edelman，A.（1988）。随机矩阵的特征值和条件数。SIAM矩阵分析与应用杂志9(4), 543-560. ·Zbl 0678.15019号
[16] Guo，D.，D.Baron和S.Shamai（2009年9月）。最佳噪声压缩传感的单字母特征。在2009年第47届Allerton通信、控制和计算年会（Allerton）第52-59页。
[17] Javanmard，A.和A.Montanari（2013年）。一般近似消息传递算法的状态演化，以及空间耦合应用。信息和推理：IMA杂志2(2), 115-144. ·Zbl 1335.94015号
[18] Javanmard，A.和A.Montanari（2014年10月）。高斯随机设计模型下高维回归的假设检验：渐近理论。IEEE信息理论汇刊60(10), 6522-6554. ·Zbl 1360.62074号
[19] Kabashima，Y.、T.Wadayama和T.Tanaka（2009年）。基于Lp-范数最小化的压缩感知的典型重构极限。统计力学理论与实验杂志，L09003。
[20] Krzakala，F.、M.Mézard、F.Sausset、Y.F.Sun和L.Zdeborová（2012年5月）。压缩传感中基于统计物理的重建。物理学。修订版X 2, 021005.
[21] Maleki，A.、L.Anitori、Z.Yang和R.G.Baraniuk（2013年7月）。通过复杂近似消息传递（camp）对复杂套索进行渐近分析。IEEE信息理论汇刊59(7), 4290-4308. ·Zbl 1364.62188号
[22] Mezard，M.和A.Montanari（2009年）。信息、物理和计算.美国纽约州纽约市：牛津大学出版社·Zbl 1163.94001号
[23] Rangan，S.（2011年7月）。随机线性混合估计的广义近似消息传递。在2011年IEEE信息理论会议录国际研讨会第2168-2172页。
[24] Rangan，S.、V.Goyal和A.K.Fletcher（2009年）。通过复制方法和压缩感知对地图估计进行渐近分析。在Y.Bengio、D.Schuurmans、J.D.Lafferty、C.K.I.Williams和A.Culotta（编辑）中，神经信息处理系统的进展22第1545-1553页。Curran Associates公司。
[25] Reeves，G.和H.D.Pfister（2016）。高斯矩阵压缩感知的复制对称预测是准确的。在2016年IEEE信息理论国际研讨会（ISIT），第665-669页。
[26] Vershynin，R.（2011）。介绍随机矩阵的非渐近分析·Zbl 1235.60009号
[27] Wainwright，M.J.（2009年5月）。使用\[{\ell_1}\]约束二次规划（lasso）恢复高维和噪声稀疏性的锐化阈值。IEEE信息理论汇刊55(5), 2183-2202. ·Zbl 1367.62220号
[28] Weng，H.、A.Maleki和L.Zheng（2018，12）。通过正则化技术的高阶分析克服相变的局限性。Ann.Statist公司。46（6A），3099-3129·Zbl 1411.62194号
[29] Whittaker，E.T.和G.N.Watson（1996年）。现代分析课程（第4版）。剑桥数学图书馆。剑桥大学出版社。
[30] Zheng，L.、A.Maleki、H.Weng、X.Wang和T.Long（2017年11月）。最小化是否优于最小化？IEEE信息理论汇刊63(11), 6896-6935. ·Zbl 1390.94511号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。