塔尔·阿米尔;罗恩·巴斯里;波阿斯·纳德勒 修剪后的拉索：稀疏恢复保证，并通过广义软最小惩罚进行实际优化。 （英文） Zbl 1476.62155号 SIAM J.数学。数据科学。 3，第3号，900-929（2021）. 摘要：我们提出了一种新的解决稀疏近似或最佳子集选择问题的方法，即找到一个最小化（ell_2）残差（VertA）的（k）-稀疏向量（{x}）{x}-{y} \r垂直2\）。我们考虑一种正则化方法，通过这种方法，这个残差会受到非凸的惩罚修剪过的套索，定义为\（{x}）的\（ell1）-范数，不包括其\（k）最大震级项。我们证明了修剪拉索具有几个吸引人的理论性质，特别是在成功优化惩罚目标的前提下，导出了稀疏恢复保证。接下来，我们从经验上表明，直接优化这个目标可能非常具有挑战性。相反，我们建议为修剪过的套索找一个替代品，称为广义软min该惩罚在经典拉索和修剪拉索之间平滑插值，同时考虑所有可能的（k）稀疏模式。广义软最小罚涉及到（二进制{d}{k}）项的求和，但我们推导了一个多项式时间算法来计算它。这反过来又为原始稀疏近似问题提供了一个实用的方法。通过仿真，我们展示了其相对于当前技术水平的竞争性能。 MSC公司： 62J07型 岭回归；收缩估计器（拉索） 62R40型 拓扑数据分析 90立方厘米26 非凸规划，全局优化 关键词：最佳子集选择;稀疏恢复;修剪拉索;不可分割的罚款 软件：CoSaMP公司;格尔姆奈特;L0学习;YALMIP公司;PDCO公司;莫塞克 PDF格式BibTeX公司 XML格式引用 \textit{T.Amir}等人，SIAM J.数学。数据科学。3，编号3，900--929（2021；Zbl 1476.62155） 全文： 内政部 arXiv公司 参考文献： [1] Z.Allen-Zhu、R.Gelashvili和I.Razenshteyn，一般p-范数的受限等距性质，IEEE Trans。通知。《理论》，62（2016），第5839-5854页·Zbl 1359.94053号 [2] M.ApS，MATLAB手册的MOSEK优化工具箱。2019年第9.1.13版，http://docs.mosek.com/9.1/toolbox/index.html。 [3] T.Arthanari和Y.Dodge，《统计学中的数学规划》，John Wiley and Sons出版社，纽约，1981年·Zbl 0549.6202号 [4] M.S.Asif和J.Romberg，重加权范数最小化的快速准确算法，IEEE Trans。信号处理。，61（2013），第5905-5916页·Zbl 1394.94052号 [5] E.Balder，关于次微分学。荷兰运筹学数学网络（LNMB），讲稿：“凸分析与优化”，2010年9月。 [6] A.Beck和M.Teboulle，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2（2009），第183-202页，https://doi.org/10.1137/080716542。 ·Zbl 1175.94009号 [7] R.Berinde、A.C.Gilbert、P.Indyk、H.Karloff和M.J.Strauss，《结合几何和组合：稀疏信号恢复的统一方法》，载于《通信、控制和计算》，第46届Allerton年会，IEEE，2008年，第798-805页。 [8] L.Berrada、A.Zisserman和M.P.Kumar，深度top-k分类的平滑损失函数，《学习表征国际会议论文集》，2018年。 [9] D.P.Bertsekas，凸分析与优化，雅典娜科学，马萨诸塞州贝尔蒙特，2003年·Zbl 1140.90001号 [10] D.Bertsimas、M.S.Copenhaver和R.Mazumder，《修剪过的套索：稀疏性和健壮性》，预印本，https://arxiv.org/abs/1708.04227, 2017. [11] D.Bertsimas、A.King和R.Mazumder，《通过现代优化透镜进行最佳子集选择》，Ann.Statist。，44（2016），第813-852页·Zbl 1335.62115号 [12] D.Bertsimas和R.Shioda，基数约束二次优化算法，计算。最佳方案。申请。，43（2009），第1-22页·Zbl 1178.90262号 [13] D.Bertsimas和B.Van Parys，《稀疏高维回归：精确可伸缩算法和相变》，《统计年鉴》。，48（2020年），第300-323页·Zbl 1444.62094号 [14] D.Bienstock，混合整数二次规划问题族的计算研究，数学。《程序设计》，74（1996），第121-140页·Zbl 0855.90090号 [15] J.D.Blanchard、C.Cartis和J.Tanner，《压缩感知：受限等距特性有多尖锐？》？，SIAM Rev.，53（2011），第105-125页，https://doi.org/10.1137/090748160。 ·Zbl 1214.41008号 [16] T.Blumensath和M.E.Davies，稀疏近似的迭代阈值，J.Fourier Ana。申请。，14（2008年），第629-654页·Zbl 1175.94060号 [17] M.Bogdan、E.Van Den Berg、C.Sabatti、W.Su和E.J.Candès，通过凸优化进行斜率自适应变量选择，Ann.Appl。《统计》第9卷（2015年），第1103-1140页·Zbl 1454.62212号 [18] S.Boyd和L.Vandenberghe，《凸优化》，剑桥大学出版社，英国剑桥，2004年·Zbl 1058.90049号 [19] J.Bridle，与统计模式识别相关的反向传播网络的概率评分，《计算神经网络会议论文集》，犹他州雪鸟，1989年。 [20] J.Brodie、I.Daubechies、C.De Mol、D.Giannone和I.Loris，《稀疏和稳定的Markowitz投资组合》，Proc。国家。阿卡德。科学。美国，106（2009），第12267-12272页·Zbl 1203.91271号 [21] A.M.Bruckstein、D.L.Donoho和M.Elad，《从方程组的稀疏解到信号和图像的稀疏建模》，SIAM Rev.，51（2009），第34-81页，https://doi.org/10.1137/060657704。 ·Zbl 1178.68619号 [22] P.Buéhlmann、P.Ru¨timann、S.van de Geer和C.-H.Zhang，回归中的相关变量：聚类和稀疏估计，J.Stat.Plan。《推断》，143（2013），第1835-1858页·Zbl 1278.62103号 [23] E.J.Candès，《受限等距特性及其对压缩传感的影响》，C.R.Math。阿卡德。科学。巴黎，346（2008），第589-592页·Zbl 1153.94002号 [24] E.J.Candès和J.K.Romberg，定量稳健不确定性原理和最佳稀疏分解，Found。计算。数学。，6（2006年），第227-254页·Zbl 1102.94020号 [25] E.J.Candès、J.K.Romberg和T.Tao，《鲁棒不确定性原理：从高度不完整的频率信息精确重建信号》，IEEE Trans。通知。《理论》，52（2006），第489-509页·Zbl 1231.94017号 [26] E.J.CandeÉs、J.K.Romberg和T.Tao，从不完整和不准确的测量中恢复稳定信号，Comm.Pure Appl。数学。，59（2006），第1207-1223页·邮编1098.94009 [27] E.J.Candès和T.Tao，线性编程解码，IEEE Trans。通知。《理论》，51（2005），第4203-4215页·Zbl 1264.94121号 [28] E.J.Candès、M.B.Wakin和s.P.Boyd，通过重加权最小化增强稀疏性，J.Fourier Anal。申请。，14（2008），第877-905页·Zbl 1176.94014号 [29] R.Chartrand，通过非凸最小化精确重建稀疏信号，IEEE信号处理。莱特。，14（2007），第707-710页。 [30] R.Chartrand和V.Staneva，受限等距特性和非凸压缩传感，反问题，24（2008），035020·Zbl 1143.94004号 [31] R.Chartrand和W.Yin，压缩传感的迭代重加权算法，2008年5月，第3869-3872页，https://doi.org/10.109/ICASSP.2008.4518498。 [32] S.S.Chen、D.L.Donoho和M.A.Saunders，《基追踪的原子分解》，SIAM Rev.，43（2001），第129-159页，https://doi.org/10.1137/S003614450037906X。 ·Zbl 0979.94010号 [33] A.Cohen、W.Dahmen和R.DeVore，压缩传感和最佳项近似，J.Amer。数学。Soc.，22（2009），第211-231页·Zbl 1206.94008号 [34] W.Dai和O.Milenkovic，压缩传感信号重构的子空间追踪，IEEE Trans。通知。《理论》，55（2009），第2230-2249页·Zbl 1367.94082号 [35] I.Daubechies、R.DeVore、M.Fornasier和C.S.Gu¨ntu¨rk，稀疏恢复的迭代重加权最小二乘最小化，Comm.Pure Appl。数学。，63（2010），第1-38页·Zbl 1202.65046号 [36] M.E.Davies和R.Gribonval，限制等距常数，其中\（\ell_p\）-稀疏恢复可能会因\（0<p\leq 1\）而失败，IEEE Trans。通知。《理论》，55（2009），第2203-2214页·Zbl 1367.94083号 [37] G.Davis、S.Mallat和M.Avellaneda，自适应贪婪近似，Constr。约，13（1997），第57-98页·Zbl 0885.41006号 [38] G.M.Davis、S.G.Mallat和Z.Zhang，自适应时频分解，Opt。《工程》，33（1994），第2183-2192页。 [39] S.Dirksen、G.Lecueí和H.Rauhut，关于受限等距特性和稀疏恢复条件之间的差距，IEEE Trans。通知。《理论》，64（2018），第5478-5487页·Zbl 1401.94031号 [40] M.Elad，《稀疏和冗余表示：从理论到信号和图像处理应用》，Springer，纽约，2010年·Zbl 1211.94001号 [41] Y.C.Eldar和G.Kutyniok，《压缩传感：理论与应用》，剑桥大学出版社，英国剑桥，2012年。 [42] J.Fan和R.Li，通过非冲突惩罚似然选择变量及其预言性质，J.Amer。统计师。协会，96（2001），第1348-1360页·Zbl 1073.62547号 [43] J.Fan、J.Lv和L.Qi，《经济学中的稀疏高维模型》，年。经济评论。，3（2011年），第291-317页。 [44] M.A.Figueiredo、J.M.Bioucas-Dias和R.D.Nowak，基于小波的图像恢复的优化最小化算法，IEEE Trans。图像处理。，16（2007），第2980-2991页。 [45] M.A.Figueiredo和R.D.Nowak，基于小波的图像反褶积的边界优化方法，《IEEE图像处理国际会议论文集》，2005年第2卷，第782-785页。 [46] S.Foucart和M.-J.Lai，通过（0<q\leq 1）的（ell_q）-最小化得到欠定线性系统的最稀疏解，应用。计算。哈蒙。分析。，26（2009），第395-407页·Zbl 1171.90014号 [47] S.Foucart和H.Rauhut，《压缩传感的数学导论》，Springer Science&Business Media，纽约，2013年·Zbl 1315.94002号 [48] J.Friedman、T.Hastie和R.Tibshirani，通过坐标下降法实现广义线性模型的正则化路径，J.Stat.Softw。，33（2010年），第1-22页。 [49] G.M.Furnival和R.W.Wilson，《跨越式回归》，《技术计量学》，16（1974），第499-511页·Zbl 0294.62079号 [50] J.-y.Gotoh、A.Takeda和K.Tono，稀疏优化问题的DC公式和算法，数学。程序。，169（2018），第141-176页·Zbl 06869181号 [51] G.Hamerly和C.Elkan，《寻找更好聚类的k-means算法的替代方法》，载《第十一届ACM信息和知识管理国际会议论文集》，2002年，第600-607页。 [52] T.Hastie、R.Tibshirani和M.Wainwright，《稀疏的统计学习：拉索和泛化》，查普曼和霍尔/CRC，佛罗里达州博卡拉顿，2015年·兹比尔1319.68003 [53] H.Hazimeh和R.Mazumder，《快速最佳子集选择：坐标下降和局部组合优化算法》，Oper。《决议》，68（2020），第1517-1537页·Zbl 1457.90153号 [54] X.Huang、Y.Liu、L.Shi、S.Van Huffel和J.A.Suykens，压缩传感的二级最小化，信号处理。，108（2015），第459-475页。 [55] D.R.Hunter和K.Lange，MM算法教程，Amer。统计人员。，58（2004），第30-37页。 [56] D.R.Hunter和R.Li，使用MM算法的变量选择，Ann.Statist。，33（2005年），第1617-1642页·Zbl 1078.62028号 [57] D.Kincaid和W.Cheney，《数值分析：科学计算的数学》，第二版，Brooks/Cole Publishing Co.，Pacific Grove，CA，1996年·Zbl 0877.65002号 [58] M.-J.Lai、Y.Xu和W.Yin，无约束光滑（ell_q）最小化的改进迭代加权最小二乘法，SIAM J.Numer。分析。，51（2013），第927-957页，https://doi.org/10.1137/10840364。 ·Zbl 1268.49038号 [59] 刘毅（Y.Liu）和吴毅（Y.Wu），通过10和11惩罚组合选择变量，J.Compute。图表。统计人员。，16（2007年），第782-798页。 [60] J.Lofberg，YALMIP:MATLAB中建模和优化的工具箱，载于《计算机辅助控制系统设计》，2004年IEEE国际研讨会，2004年，第284-289页。 [61] M.Lustig、D.Donoho和J.M.Pauly，《稀疏MRI：压缩传感在快速MR成像中的应用》，Magn。Reson公司。《医学》，58（2007），第1182-1195页。 [62] S.Mallat，《信号处理的小波之旅：稀疏方法》，学术出版社，阿姆斯特丹，2009年·Zbl 1170.94003号 [63] S.G.Mallat和Z.Zhang，用时频字典匹配追踪，IEEE Trans。信号处理。，41（1993年），第3397-3415页·兹比尔0842.94004 [64] R.Mazumder和P.Radchenko，离散Dantzig选择器：通过混合整数线性优化估计稀疏线性模型，IEEE Trans。通知。《理论》，63（2017），第3053-3075页·Zbl 1368.94035号 [65] G.McLachlan和T.Krishnan，《EM算法和扩展》，第二版，John Wiley&Sons，纽约，2008年·Zbl 1165.62019号 [66] A.Miller，《回归中的子集选择》，CRC出版社，佛罗里达州博卡拉顿，2002年·Zbl 1051.62060号 [67] H.Mohimani、M.Babaie-Zadeh和C.Jutten，基于平滑范数的过完备稀疏分解的快速方法，IEEE Trans。信号处理。，57（2009），第289-301页·Zbl 1391.94325号 [68] B.K.Natarajan，线性系统的稀疏近似解，SIAM J.Compute。，24（1995），第227-234页，https://doi.org/10.1137/S0097539792240406。 ·Zbl 0827.68054号 [69] D.Needell和J.A.Tropp，CoSaMP：不完整和不准确样本的迭代信号恢复，Appl。计算。哈蒙。分析。，26（2009），第301-321页·Zbl 1163.94003号 [70] D.Needell和R.Vershynin，通过正则化正交匹配追踪从不完整和不准确测量中恢复信号，IEEE J.Sel。顶部。信号处理。，4（2010年），第310-316页。 [71] J.M.Ortega和W.C.Rheinboldt，多变量非线性方程的迭代解，学术出版社，纽约，伦敦，1970年·Zbl 0241.65046号 [72] Y.C.Pati、R.Rezaiifar和P.S.Krishnaprasad，《正交匹配追踪：递归函数逼近及其在小波分解中的应用》，载于《信号、系统和计算机》，1993年第二十届至第七届Asilomar会议会议记录，IEEE，1993年，第40-44页。 [73] J.Provost和F.Lesage，《压缩传感在光声层析成像中的应用》，IEEE Trans。医学成像，28（2009），第585-594页。 [74] M.Razaviyayn，M.Hong，和Z.-Q.Luo，非光滑优化的块逐次极小化方法的统一收敛性分析，SIAM J.Optim。，23（2013），第1126-1153页，https://doi.org/10.1137/120891009。 ·Zbl 1273.90123号 [75] L.Rebollo-Neira和D.Lowe，优化正交匹配追踪方法，IEEE信号处理。莱特。，9（2002），第137-140页。 [76] I.Selesnick和M.Farshchian，通过不可分离正则化进行稀疏信号近似，IEEE Trans。信号处理。，65（2017年），第2561-2575页·Zbl 1414.94546号 [77] R.Tibshirani，通过Lasso回归收缩和选择，J.R.Stat.Soc.Ser。B统计方法。，58（1996），第267-288页·Zbl 0850.62538号 [78] A.M.Tillmann和M.E.Pfetsch，受限等距特性的计算复杂性，零空间特性，以及压缩感知中的相关概念，IEEE Trans。通知。《理论》，60（2014），第1248-1259页·Zbl 1364.94170号 [79] K.Tono、A.Takeda和J.ya Gotoh，约束稀疏优化的高效DC算法，预印本，https://arxiv.org/abs/1701.08498, 2017. ·Zbl 06869181号 [80] J.A.Tropp，《贪婪是好的：稀疏近似的算法结果》，IEEE Trans。通知。《理论》，50（2004），第2231-2242页·Zbl 1288.94019号 [81] J.A.Tropp和A.C.Gilbert，通过正交匹配追踪从随机测量中恢复信号，IEEE Trans。通知。《理论》，53（2007），第4655-4666页·Zbl 1288.94022号 [82] 王毅，尹文伟，基于迭代支持检测的稀疏信号重构，SIAM J.成像科学。，3（2010年），第462-491页，https://doi.org/10.1137/090772447。 ·Zbl 1206.68340号 [83] R.Ward，带交叉验证的压缩传感，IEEE Trans。通知。《理论》，55（2009），第5773-5782页·Zbl 1367.94107号 [84] L.T.Watson和R.T.Haftka，优化中的现代同伦方法，计算。方法应用。机械。工程，74（1989），第289-305页·Zbl 0693.65046号 [85] D.Wipf和S.Nagarajan，寻找稀疏解的迭代重加权（ell_1）和（ell_2）方法，IEEE J.Sel。顶部。信号处理。，4（2010年），第317-329页。 [86] J.Wright、Y.Ma、J.Mairal、G.Sapiro、T.S.Huang和S.Yan，《计算机视觉和模式识别的稀疏表示》，Proc。IEEE，98（2010），第1031-1044页。 [87] T.T.Wu、Y.F.Chen、T.Hastie、E.Sobel和K.Lange，通过套索惩罚逻辑回归进行全基因组关联分析，生物信息学，25（2009），第714-721页。 [88] W.Yin、S.Osher、D.Goldfarb和J.Darbon，压缩传感应用中最小化的Bregman迭代算法，SIAM J.成像科学。，1（2008），第143-168页，https://doi.org/10.1137/070703983。 ·Zbl 1203.90153号 [89] J.Yun、P.Zheng、E.Yang、A.Lozano和A.Aravkin，《修剪正则化器：统计分析、优化和深度学习应用》，《机器学习国际会议论文集》，2019年，第7242-7251页。 [90] X.Zeng和M.A.Figueiredo，减小加权排序正则化，IEEE信号处理。莱特。，21（2014），第1240-1244页。 [91] B.Zhang、M.Hsu和U.Dayal，《K-Harmonic Means-A Data Clustering Algorithm》，技术报告，Hewlett-Packard公司，加利福尼亚州帕洛阿尔托，1999年·Zbl 0987.68917号 [92] 张春海，极小极大凹罚下的几乎无偏变量选择，安统计学家。，38（2010），第894-942页·Zbl 1183.62120号 [93] Y.Zhang，J.Yang，and W.Yin，YALL（1）：你的L1算法；http://yall1.blogs.rice.edu, 2011. [94] H.Zou和R.Li，非冲突惩罚似然模型中的一步稀疏估计，Ann.Statist。，36（2008），第1509-1533页·Zbl 1142.62027号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。