黄、健;焦玉玲;金、邦蒂;刘，金;吕锡良;杨，肯 一种用于非凸稀疏恢复的统一原对偶主动集算法。 （英语） Zbl 07368234号 统计科学。 36，第2期，215-238（2021）. 摘要：在本文中，我们考虑基于惩罚最小二乘公式恢复稀疏信号的问题。针对一类非凸稀疏提升惩罚，包括（ell^0）、桥、平滑剪裁绝对偏差、capped（ell^1）和minimax凹惩罚，我们提出了一种新的原对偶活动集类型算法。首先，我们建立了相关优化问题的全局极小值的存在性。然后我们利用相关的阈值算子导出了全局极小值问题的一个新的必要最优性条件。最优系统的解是协调极小化子，在次要条件下，它们也是局部极小化元。引入对偶变量后，可以同时使用原始变量和对偶变量来确定活动集。此外，这种关系有助于活动集类型的迭代算法，该算法在每一步都需要首先更新活动集上的原始变量，然后显式更新对偶变量。当结合正则化参数的连续策略时，证明了原始-对偶活动集方法在一定的正则性条件下全局收敛于潜在的回归目标。利用模拟数据和实际数据进行的大量数值实验表明，与现有的稀疏恢复方法相比，该方法在计算效率和恢复精度方面具有优越的性能。 引用于13文件 MSC公司： 62至XX 统计 关键词：一致性;延续;无争议罚款;原对偶活动集算法;稀疏 软件：PLINK公司;PDCO公司;CoSaMP公司;稀疏的 PDF格式BibTeX公司 XML格式引用 \textit{J.Huang}等人，《统计科学》。36，第2号，215--238（2021；Zbl 07368234） 全文： 内政部 参考文献： [1] Akaike，H.（1974年）。统计模型识别的新视角。IEEE传输。自动化。控制AC-19 716-723·兹伯利0314.62039 ·doi:10.1109/tac.1974.1100705 [2] Bertsimas，D.、King，A.和Mazumder，R.（2016）。通过现代优化透镜选择最佳子集。安。统计师。44 813-852. ·兹比尔1335.62115 ·doi:10.1214/15-AOS1388 [3] Blumensath，T.和Davies，M.E.（2008年）。稀疏近似的迭代阈值。J.傅里叶分析。申请。14 629-654. ·Zbl 1175.94060号 ·doi:10.1007/s00041-008-9035-z [4] Bredies，K.、Lorenz，D.A.和Reiterer，S.（2015）。通过迭代阈值最小化非光滑、非凸泛函。J.优化。理论应用。165 78-112. ·Zbl 1321.49048号 ·doi:10.1007/s10957-014-0614-7 [5] Breheny，P.和Huang，J.（2011年）。非凸惩罚回归的坐标下降算法及其在生物特征选择中的应用。附录申请。斯达。5 232-253. ·Zbl 1220.62095号 ·doi:10.1214/10-AOAS388 [6] Breiman，L.（1996）。模型选择中不稳定性和稳定性的启发。安。统计师。24 2350-2383. ·Zbl 0867.62055号 ·doi:10.1214/aos/1032181158 [7] Candès，E.J.、Romberg，J.和Tao，T.（2006）。鲁棒不确定性原理：从高度不完整的频率信息中精确重建信号。IEEE传输。Inf.理论52 489-509. ·Zbl 1231.94017号 ·doi:10.1109/TIT.2005.862083 [8] Candes，E.J.和Tao，T.（2005）。通过线性规划进行解码。IEEE传输。Inf.理论51 4203-4215. ·Zbl 1264.94121号 ·doi:10.1109/TIT.2005.858979 [9] Chartrand，R.和Staneva，V.（2008年）。受限等距特性和非凸压缩传感。反向探测。24 035020，第14页·Zbl 1143.94004号 ·doi:10.1088/0266-5611/24/3/035020 [10] Chartrand，R.和Yin，W.（2008年）。压缩传感的迭代重加权算法。程序中。ICASSP 2008 3869-3872。 [11] Chen，S.S.、Donoho，D.L.和Saunders，M.A.（1998年）。通过基追踪进行原子分解。SIAM J.科学。计算。20 33-61. ·Zbl 0919.94002号 ·doi:10.1137/S1064827596304010 [12] Chen，X.（2012）。非光滑、非凸最小化的平滑方法。数学。程序。134 71-99. ·Zbl 1266.90145号 ·doi:10.1007/s10107-012-0569-0 [13] Chen，X.、Nashed，Z.和Qi，L.（2000）。不可微算子方程的光滑方法和半光滑方法。SIAM J.数字。分析。38 1200-1216. ·Zbl 0979.65046号 ·doi:10.1137/S0036142999356719 [14] Chen，X.，Niu，L.和Yuan，Y.（2013）。非Lipschitz优化的最优性条件和光滑信赖域牛顿法。SIAM J.Optim公司。23 1528-1552. ·Zbl 1291.90238号 ·doi:10.1137/120871390 [15] Chen，Y.、Ge，D.、Wang，M.、Wang、Z.、Ye，Y.和Yin，H.（2017）。凹罚函数稀疏优化的强NP-hardness。在会议记录34第届国际机器学习大会70 740-747. [16] Combettes，P.L.和Wajs，V.R.（2005）。通过近端前向背向分裂恢复信号。多尺度模型。模拟。4 1168-1200. ·Zbl 1179.94031号 ·数字对象标识代码：10.1137/050626090 [17] Donoho，D.L.（2006）。压缩传感。IEEE传输。Inf.理论52 1289-1306. ·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582 [18] Fan，J.和Li，R.（2001）。通过非冲突惩罚似然及其oracle属性进行变量选择。J.Amer。统计师。协会。96 1348-1360. ·Zbl 1073.62547号 ·doi:10.1198/016214501753382273 [19] Fan，J.和Peng，H.（2004）。具有发散参数数的非凹陷惩罚似然。安。统计师。32 928-961. ·Zbl 1092.62031号 ·doi:10.1214/009053604000000256 [20] Fan，J.、Xue，L.和Zou，H.（2014）。折凹惩罚估计的强预言最优性。安。统计师。42 819-849. ·Zbl 1305.62252号 ·doi:10.1214/13-AOS1198 [21] Fan，Q.，Jiao，Y.和Lu，X.（2014）。一种用于压缩传感的具有连续性的原始-对偶主动集算法。IEEE传输。信号处理。62 6276-6285. ·Zbl 1394.94175号 ·doi:10.1109/TSP.2014.2362880 [22] Feng，L.和Zhang，C.-H.（2019）。排序凹惩罚回归。安。统计师。47 3069-3098. ·Zbl 1435.62262号 ·doi:10.1214/18-AOS1759 [23] Foucart，S.和Lai，M.-J.（2009年）。通过\[0\textless q\le1\]的\[{l_q}\]-最小化得到欠定线性系统的最稀疏解。申请。计算。哈蒙。分析。26 395-407. ·Zbl 1171.90014号 ·doi:10.1016/j.acha.2008.09.001 [24] Frank，I.E.和Friedman，J.H.（1993年）。一些化学计量学回归工具的统计视图。技术计量学35 109-135. ·Zbl 0775.62288号 [25] 傅文杰（1998）。惩罚回归：桥梁与套索。J.计算。图表。统计师。7 397-416. ·数字对象标识代码：10.2307/1390712 [26] Gasso，G.、Rakotomamonjy，A.和Canu，S.（2009年）。使用特定的非凸惩罚和DC编程恢复稀疏信号。IEEE传输。信号处理。57 4686-4698·Zbl 1391.90489号 ·doi:10.1109/TSP.2009.2026004 [27] Gelfand，I.M.和Fomin，S.V.（1963年）。变分法.理查德·西尔弗曼（Richard A.Silverman）翻译和编辑的英语修订版Prentice-Hall，Inc.，新泽西州恩格尔伍德克利夫斯。 [28] 龚，P.，张，C.，卢，Z.，黄，J.和叶，J.（2013）。非凸正则优化问题的通用迭代收缩和阈值算法。在程序.30第次国际会议机。学习37-45. [29] Griesse，R.和Lorenz，D.A.（2008年）。具有稀疏约束的Tikhonov泛函的半光滑牛顿方法。反向探测。24 035007, 19. ·Zbl 1152.49030号 ·doi:10.1088/0266-5611/24/3/035007 [30] Han，Z.（2015）。凸二次优化的主-对偶主动集方法及其应用，宾夕法尼亚州利海大学博士论文，网址：网址：http://coral.ie.lehigh.edu/pubs/files/Zheng_Han.pdf。 [31] Hintermüller，M.、Ito，K.和Kunisch，K.（2002年）。作为半光滑牛顿方法的原对偶主动集策略。SIAM J.Optim公司。13 865-888 (2003). ·Zbl 1080.90074 ·doi:10.1137/S1052623401383558 [32] Hintermüller，M.和Wu，T.（2014）。具有凹稀疏提升先验的变分模型的超线性收敛（R）正则牛顿格式。计算。最佳方案。申请。57 1-25. ·Zbl 1286.90116号 ·doi:10.1007/s10589-013-9583-2 [33] Huang，J.、Horowitz，J.L.和Ma，S.（2008）。稀疏高维回归模型中桥估计的渐近性质。安。统计师。36 587-613. ·Zbl 1133.62048号 ·doi:10.1214/0090536007000000875 [34] Huang，J.，Jiao，Y.，Liu，Y.和Lu，X.（2018）。惩罚回归的构造性方法。J.马赫。学习。物件。19第10、37号论文·Zbl 1444.62091号 [35] Huang，J.，Jiao，Y.，Lu，X.，Shi，Y.and Yang，Q.（2018）。SNAP：用于路径优化的半光滑牛顿算法，具有最佳局部收敛速度和oracle特性。预印本。可在arXiv:11810.03814上获得。 [36] Huang，J.，Jiao，Y.，Lu，X.和Zhu，L.（2018）。使用普通和正则化最小二乘从1位压缩采样进行稳健解码。SIAM J.科学。计算。40 A2062-A2086·Zbl 1395.49033号 ·doi:10.1137/17M1154102 [37] Huang，S.和Zhu，J.（2011）。使用OMP及其变体恢复稀疏信号：基于RIP的收敛分析。反向探测。27 035003, 14. ·Zbl 1220.94017号 ·doi:10.1088/0266-5611/27/3/035003 [38] Ito，K.和Jin，B.（2015）。反问题:蒂霍诺夫理论与算法.应用数学系列22.新泽西州哈肯萨克市世界科学公司。 [39] Ito，K.和Kunisch，K.（2008年）。变分问题的拉格朗日乘子方法及其应用.设计与控制进展15.宾夕法尼亚州费城SIAM·Zbl 1156.49002号 ·doi:10.1137/1.9780898718614 [40] Ito，K.和Kunisch，K.（2014年）。基于拉格朗日乘子理论的稀疏优化变分方法。反向探测。30 015001, 23. ·Zbl 1292.65070号 ·doi:10.1088/0266-5611/30/1/015001 [41] Jiao，Y.、Jin，B.和Lu，X.（2015）。带延拓算法的原对偶活动集用于\[{\ell^0}\]-正则优化问题。申请。计算。哈蒙。分析。39 400-426. ·Zbl 1329.49042号 ·doi:10.1016/j.acha.2014.10.001 [42] Jost，J.和Li-Jost，X.（1998年）。变分法.剑桥高等数学研究64.剑桥大学出版社，剑桥。 [43] Kingsbury，N.（2001）。用于信号平移不变分析和滤波的复小波。申请。计算。哈蒙。分析。10 234-253. ·Zbl 0990.94005号 ·doi:10.1006/acha.2000.343 [44] K.奈特和W.傅（2000）。套索型估计量的渐近性。安。统计师。28 1356-1378. ·Zbl 1105.62357号 ·doi:10.1214/aos/1015957397 [45] Kummer，B.（1988年）。不可微函数的牛顿方法。在数学优化研究进展.数学。物件。45 114-125. 柏林阿卡德米·弗拉格·Zbl 0662.65050号 [46] Lai，M.-J.和Wang，J.（2011）。欠定线性系统稀疏解的无约束极小化。SIAM J.Optim公司。21 82-101. ·Zbl 1220.65051号 ·数字对象标识代码：10.1137/090775397 [47] Lai，M.-J.、Xu，Y.和Yin，W.（2013）。改进的迭代重加权最小二乘法用于无约束平滑\[{\ell_q}\]最小化。SIAM J.数字。分析。51 927-957. ·Zbl 1268.49038号 ·数字对象标识代码：10.1137/10840364 [48] Li，X.，Sun，D.和Toh，K.-C.（2018年）。一种求解套索问题的高效半光滑牛顿增广拉格朗日方法。SIAM J.Optim公司。28 433-458·Zbl 1392.65062号 ·doi:10.1137/16M1097572 [49] Liu，H.、Yao，T.和Li，R.（2016）。折凹全局解惩罚了非凸学习。安。统计师。44 629-659. ·Zbl 1337.62163号 ·doi:10.1214/15-AOS1380 [50] Loh，P.-L.和Wainwright，M.J.（2015）。非凸正则（M）-估计：局部最优的统计和算法理论。J.马赫。学习。物件。16 559-616. ·兹比尔1360.62276 [51] 鲁政（2014）。正则化无约束非线性规划的迭代重加权极小化方法。数学。程序。147 277-307. ·Zbl 1308.90170号 ·doi:10.1007/s10107-013-0722-4 [52] Mazumder，R.、Friedman，J.H.和Hastie，T.（2011年）。备用网络：协调下降与非凸惩罚。J.Amer。统计师。协会。106 1125-1138. ·Zbl 1229.62091号 ·doi:10.1198/jasa.2011.tm09738 [53] Meinshausen，N.和Bühlmann，P.（2006）。高维图和用套索选择变量。安。统计师。34 1436-1462. ·Zbl 1113.62082号 ·doi:10.1214/09053606000000281 [54] Mo，Q.和Shen，Y.（2012）。关于正交匹配追踪中限制等距性的一点注记。IEEE传输。Inf.理论58 3654-3656. ·Zbl 1365.94182号 ·doi:10.1109/TIT.2012.2185923 [55] Needell，D.和Tropp，J.A.（2009年）。CoSaMP：从不完整和不准确的样本中迭代恢复信号。申请。计算。哈蒙。分析。26 301-321. ·Zbl 1163.94003号 ·doi:10.1016/j.acha.2008.07.002 [56] Nikolova，M.（2013）。用\[{\ell_0}\]-范数正则化的最小二乘极小元的描述。全局极小值的唯一性。SIAM J.成像科学。6 904-937. ·Zbl 1281.65092号 ·数字对象标识码：10.1137/1085476X [57] Purcell，S.、Neale，B.、Todd-Brown，K.、Thomas，L.、Ferreira，M.A.、Bender，D.、Maller，J.、Sklar，P.、De Bakker，P.I.等人（2007年）。PLINK：用于全基因组关联和基于人群的连锁分析的工具集。Am.J.Hum.遗传学。81 559-575. [58] Sabatti，C.、Hartikainen，A.-L.、Pouta，A.、Ripatti，S.、Brodsky，J.、Jones，C.G.、Zaitlen，N.A.、Varilo，T.、Kaakinen，M.等人（2009年）。创始人群体出生队列代谢特征的全基因组关联分析。自然遗传学。41 35-46. [59] She，Y.（2009）。用于模型选择和收缩的基于阈值的迭代选择过程。电子。J.统计。3 384-415. ·Zbl 1326.62158号 ·doi:10.1214/08-EJS348 [60] 孙强（2012）。通过\[{\ell^q}\]-最小化恢复最稀疏的信号。申请。计算。哈蒙。分析。32 329-341·Zbl 1266.94017号 ·doi:10.1016/j.acha.2011.07.001 [61] Tibshirani，R.（1996）。通过套索回归收缩和选择。J.罗伊。统计师。Soc.序列号。B类58 267-288. ·Zbl 0850.62538号 [62] Tropp，J.A.和Gilbert，A.C.（2007年）。通过正交匹配追踪从随机测量中恢复信号。IEEE传输。Inf.理论53 4655-4666. ·Zbl 1288.94022号 ·doi:10.1109/TIT.2007.909108 [63] Tropp，J.A.和Wright，S.J.（2010年）。线性反问题稀疏解的计算方法。程序。电气与电子工程师协会98 948-958. [64] 曾平（2001）。不可微极小化的块坐标下降方法的收敛性。J.优化。理论应用。109 475-494. ·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105 [65] Wang，J.，Wang，L.J.，Zhong，Y.，Gu，P.，Shao，J.Q.，Jiang，S.S.和龚，J.B.（2013）。中国人群CETP基因多态性与冠状动脉粥样硬化风险。脂质健康疾病。12 176. [66] Wang，L.、Kim，Y.和Li，R.（2013）。校准超高维非凸惩罚回归。安。统计师。41 2505-2536. ·Zbl 1281.62106号 ·doi:10.1214/13-AOS1159 [67] Wang，Z.、Liu，H.和Zhang，T.（2014）。稀疏非凸学习问题的最佳计算和统计收敛速度。安。统计师。42 2164-2201. ·Zbl 1302.62066号 ·doi:10.1214/14-AOS1238 [68] Willer，C.J.、Sanna，S.、Jackson，A.U.、Scuteri，A.、Bonnycastle，L.L.、Clarke，R.、Heath，S.C.、Timpson，N.J.、Najjar，S.等人（2008年）。新发现的影响血脂浓度和冠心病风险的基因座。自然遗传学。40 161-169. [69] Zemunik，T.、Boban，M.、Lauc，G.、Jankovic，S.、Rotim，K.、Vatavuk，Z.、Bencic，G.，Dogas，Z.，Boraska，V.等人（2009年）。克罗地亚科库拉岛生化性状的全基因组关联研究。克罗地亚。医学杂志。50 23-33. [70] Zhang，C.-H.（2010）。极小极大凹罚下的近似无偏变量选择。安。统计师。38 894-942. ·Zbl 1183.62120号 ·doi:10.1214/09-AOS729 [71] Zhang，C.-H.和Huang，J.（2008）。高维线性回归中LASSO选择的稀疏性和偏差。安。统计师。36 1567-1594. ·Zbl 1142.62044号 ·doi:10.1214/07-AOS520 [72] Zhang，C.-H.和Zhang、T.（2012）。高维稀疏估计问题的凹正则化的一般理论。统计师。科学。27 576-593. ·Zbl 1331.62353号 ·doi:10.1214/12-STS399 [73] 张涛（2010）。稀疏正则化的多级凸松弛分析。J.马赫。学习。物件。11 1081-1107. ·Zbl 1242.68262号 [74] Zhao，P.和Yu，B.（2006）。关于拉索模型选择的一致性。J.马赫。学习。物件。7 2541-2563. ·Zbl 1222.62008年 [75] Zhao，Y.-B.和Li，D.（2012）。欠定线性系统稀疏解的重加权\[{\ell_1}\]-最小化。SIAM J.Optim公司。22 1065-1088. ·Zbl 1261.65042号 ·doi:10.1137/110847445 [76] 邹浩和李若明（2008）。非凹陷惩罚似然模型中的一步稀疏估计。安。统计师。36 1509-1533 ·兹比尔1142.62027 ·doi:10.1214/0090536007000000802 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。