杨天宝;张丽君;金、荣;朱生火;周志华 一种用于压缩感测的简单的同宗近映射算法。 （英语） Zbl 1493.94008号 机器。学习。 108，第6期，1019-1056（2019）. 小结：在本文中，我们提出了新颖而简单的同伦近端映射算法，用于从信号的（噪声）线性测量值重建稀疏信号或从观测数据学习稀疏线性模型，其中，前一个任务在压缩感知领域是众所周知的，而后一个任务则被称为统计和机器学习中的模型选择。这些算法在每次迭代时都采用一个简单的（ell_1）范数的近似映射，并逐渐减少（ell_1\）范数中的正则化参数。我们证明了在三种不同设置下，用于恢复稀疏信号的所提出的同伦近端映射（HPM）算法的全局线性收敛性（i）无噪测量下的稀疏信号恢复，（ii）有噪声测量下的稀信号恢复，以及（iii）亚高斯噪声测量下的近解析信号恢复。特别地，我们表明，当测量矩阵满足受限等距性质（RIP）时，所提出的算法之一在基于RIP常数的参数的适当设置下线性收敛到噪声水平的最优解。此外，在设置（iii）中，所提出算法的实际变体不依赖RIP常数，并且我们的稀疏信号恢复结果优于先前的结果，因为我们的恢复误差界较小。此外，我们的分析明确表明，更多的观测结果不仅会导致更准确的恢复，而且会加快收敛速度。最后，我们的实证研究为所提出的仿射近映射算法提供了进一步的支持，并验证了理论结果。 MSC公司： 94甲12 信号理论（表征、重建、滤波等） 关键词：压缩传感;稀疏信号恢复;近端定位;线性收敛 软件：PDCO公司;SPGL1型;NESTA公司;CoSaMP公司;FPC_AS公司 PDF格式BibTeX公司 XML格式引用 \textit{T.Yang}等人，马赫。学习。108，第6号，1019--1056（2019；Zbl 1493.94008） 全文： 内政部 参考文献： [1] 阿加瓦尔，A。；内加班，S。；Wainwright，MJ，高维统计恢复梯度方法的快速全局收敛速度，神经信息处理系统进展，23，37-45（2010）·Zbl 1373.62244号 [2] Amster，P.（2014）。巴拿赫不动点定理（第29-51页）。马萨诸塞州波士顿：斯普林格。 [3] 阿西夫，理学硕士；Romberg，JK，使用\[\ell_1\]对流信号进行稀疏恢复Ş1-同伦，IEEE信号处理汇刊，624209-4223（2014）·Zbl 1394.94053号 ·doi:10.1109/TSP.2014.2328981 [4] 贝克尔，S。；Bobin，J。；Candès，EJ，Nesta:一种快速准确的稀疏恢复一阶方法，SIAM成像科学杂志，4，1-39（2011）·Zbl 1209.90265号 ·数字对象标识代码：10.1137/090756855 [5] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM成像科学杂志，2183-202（2009）·Zbl 1175.94009号 ·doi:10.1137/080716542 [6] PJ Bickel；Ritov，Y。；Tsybakov，AB，Lasso和Dantzig选择器的同步分析，《统计年鉴》，371705-1732（2009）·Zbl 1173.62022号 ·doi:10.1214/08-AOS620 [7] Blumensath，T。；Davies，ME，压缩传感的迭代硬阈值，应用和计算谐波分析，27，265-274（2009）·Zbl 1174.94008号 ·doi:10.1016/j.acha.2009.04.002 [8] C.布劳尔。；Lorenz，DA；Tillmann，AM，\[\ell_1\]的一个原对偶同伦论算法Ş1-\[\ell_\infty\]最小化ℓ∞-约束，计算优化与应用，70，443-478（2018）·Zbl 1391.90404号 ·数字对象标识代码：10.1007/s10589-018-9983-4 [9] Bredies，K。；Lorenz，DA，迭代软阈值的线性收敛，傅里叶分析与应用杂志，14813-837（2008）·Zbl 1175.65061号 ·doi:10.1007/s00041-008-9041-1 [10] 蔡，TT；Zhang，A.，多面体的稀疏表示与稀疏信号和低秩矩阵的恢复，IEEE信息理论汇刊，60，122-132（2014）·Zbl 1364.94114号 ·doi:10.1109/TIT.2013.2288639 [11] Candès，E.，《受限等距特性及其对压缩传感的影响》，Comptes rendus de l'Académie des Sciences Serie，I，589-592（2008）·Zbl 1153.94002号 [12] 坎迪斯，EJ；JK隆伯格；Tao，T.，从不完整和不准确的测量中恢复稳定信号，《纯粹数学和应用数学通讯》，591207-1223（2006）·邮编1098.94009 ·doi:10.1002/cpa.20124年 [13] 坎迪斯，EJ；Tao，T.，线性规划解码，IEEE信息理论汇刊，514203-4215（2005）·Zbl 1264.94121号 ·doi:10.1109/TIT.2005.858979 [14] 坎迪斯，E。；Tao，T.，《dantzig选择器：当p远大于n时的统计估计》，《统计年鉴》，35，2313-2351（2007）·Zbl 1139.62019号 ·doi:10.1214/00905360000001523 [15] 坎迪斯，EJ；Wakin，MB，压缩采样简介，IEEE信号处理杂志，25，21-30（2008）·doi:10.1109/MSP.2007.914731 [16] 陈，SS；多诺霍，DL；马萨诸塞州桑德斯，通过基追踪进行原子分解，SIAM科学计算杂志，20，33-61（1998）·Zbl 0919.94002号 ·doi:10.1137/S1064827596304010 [17] 陈，SS；多诺霍，DL；Saunders，MA，通过基追踪进行原子分解，SIAM评论，43229-159（2001）·Zbl 0979.94010号 ·doi:10.1137/S003614450037906X [18] Dasgupta，A.、Kumar，R.和Sarlós，T.（2010年）。稀疏的Johnson-Lindenstraus变换。第42届ACM计算理论研讨会论文集，STOC’10（第341-350页）·Zbl 1293.68140号 [19] Davenport，M.A.、Duarte，M.F.、Eldar，Y.C.和Kutyniok，G.（2012年）。压缩传感简介。压缩传感：理论与应用。剑桥大学出版社 [20] Davis，G。；Mallat，S。；Avellaneda，M.，自适应贪婪近似，构造近似，13，57-98（2004）·兹比尔0885.41006 ·doi:10.1007/BF02678430 [21] Donoho，DL，压缩感知，IEEE信息理论汇刊，521289-1306（2006）·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582 [22] Donoho，D.L.和Tanner，J.（2009）。观察到高维几何中相变的普遍性，对现代数据分析和信号处理具有启示。CoRR abs/0906.2530·Zbl 1185.94029号 [23] 多诺霍，DL；约翰斯通，I。；Montanari，A.，通过与极大极小去噪的连接准确预测压缩传感中的相变，IEEE信息理论汇刊，59，3396-3433（2013）·Zbl 1364.94092号 ·doi:10.1109/TIT.2013.2239356 [24] 多诺霍，DL；Maleki，A。；Montanari，A.，《压缩传感中的噪声敏感性相变》，IEEE信息理论汇刊，576920-6941（2011）·Zbl 1365.94094号 ·doi:10.1109/TIT.2011.2165823 [25] 多诺霍，DL；Tsaig，Y.，解可能稀疏时l1-范数最小化问题的快速求解，IEEE信息理论汇刊，54，4789-4812（2008）·Zbl 1247.94009号 ·doi:10.1109/TIT.2008.929958 [26] 多诺霍，DL；Tsaig，Y。；德罗里，I。；Starck，JL，通过分段正交匹配追踪求解欠定线性方程组的稀疏解，IEEE信息理论汇刊，581094-1121（2012）·Zbl 1365.94069号 ·doi:10.1109/TIT.2011.2173241 [27] 埃夫隆，B。；哈斯蒂，T。；约翰斯通，I。；Tibshirani，R.，最小角回归，《统计年鉴》，32407-499（2004）·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [28] R.埃赫巴利。；Fazel，M.，用近似粒度同伦算法实现可分解范数最小化，计算优化与应用，66，345-381（2017）·Zbl 1392.90105号 ·doi:10.1007/s10589-016-9871-8 [29] Eldar，Y.和Kutyniok，G.（2012年）。压缩传感：理论与应用。剑桥：剑桥大学出版社。 ·doi:10.1017/CBO9780511794308 [30] Foucart，S.，《硬阈值追踪：压缩传感算法》，SIAM数值分析杂志，49，2543-2563（2011）·Zbl 1242.65060号 ·数字对象标识代码：10.1137/100806278 [31] Galambos，J.，Bonferroni不等式，《概率年鉴》，5577-581（1977）·Zbl 0369.60018号 ·doi:10.1214/aop/1176995765 [32] Garg，R.和Khandekar，R.（2009年）。稀疏梯度下降：具有受限等距特性的稀疏恢复迭代算法。第26届国际机器学习年会论文集（第337-344页）。ACM公司。 [33] 黑尔，ET；沃涛，Y。；Zhang，Y.，l1-最小化的定点延拓：方法论和收敛性，SIAM优化杂志，19，1107-1130（2008）·Zbl 1180.65076号 ·数字对象标识代码：10.1137/070698920 [34] DL Hanson；Wright，FT，独立随机变量二次型尾部概率的界，《数理统计年鉴》，421079-1083（1971）·Zbl 0216.22203号 ·doi:10.1214/aoms/1177693335 [35] Johnson，W.和Lindenstrauss，J.（1984）。Lipschitz映射到Hilbert空间的扩张。《现代分析与概率会议》（康涅狄格州纽黑文，1982）（第26卷，第189-206页）·Zbl 0539.46017号 [36] 凯恩，DM；Nelson，J.，Sparser Johnson-Lindenstraus transforms，《美国医学杂志》，61，4:1-4，23（2014）·Zbl 1295.68134号 [37] Kim，S。；Koh，K。；Lustig，M。；博伊德，S。；Gorinevsky，D.，大规模l1-正则最小二乘的内点方法，IEEE信号处理选定主题期刊，1606-617（2008）·doi:10.1109/JSTSP.2007.910971 [38] Koltchinskii，V.（2011）。甲骨文在经验风险最小化和稀疏恢复问题上的不平等：Ecole Détéde Probabilités de Saint-Flour XXXVIII-2008。圣弗洛尔概率学院。纽约：斯普林格·兹比尔1223.91002 ·doi:10.1007/978-3642-22147-7 [39] Kyrillidis，A.T.和Cevher，V.（2012年）。通过碰撞算法进行组合选择和最小绝对收缩。ISIT（第2216-2220页）。 [40] Kyrillidis，AT；Cevher，V.，《硬阈值方法的矩阵配方》，《数学成像与视觉杂志》，48，235-265（2014）·Zbl 1311.90141号 ·doi:10.1007/s10851-013-0434-7 [41] 林，Q。；Xiao，L.，用于稀疏优化的自适应加速近端梯度法及其同伦延拓，计算优化与应用，60，633-674（2015）·Zbl 1341.90102号 ·doi:10.1007/s10589-014-9694-4 [42] Lorenz，DA；佩奇，ME；Tillmann，AM，使用自适应近似投影的不可行点次梯度方法，计算优化与应用，57，271-306（2014）·Zbl 1304.90159号 ·doi:10.1007/s10589-013-9602-3 [43] Lorenz，DA；佩奇，ME；Tillmann，AM，求解基础追求：启发式最优性检查和求解器比较，ACM数学软件汇刊，41，1-29（2014）·Zbl 1371.65055号 ·doi:10.1145/2689662 [44] Maleki，A。；Donoho，DL，《压缩传感的最佳调整迭代重建算法》，《信号处理选定主题杂志》，4，330-341（2010）·doi:10.1109/JSTSP.2009.2039176 [45] Mallat，S。；Zhang，用时频字典匹配追踪，IEEE信号处理汇刊，413397-3415（1993）·Zbl 0842.94004号 ·数字对象标识代码：10.1109/78.258082 [46] 明绍森，N。；Bühlmann，P.，用套索选择高维图和变量，《统计年鉴》，341436-1462（2006）·Zbl 1113.62082号 ·doi:10.1214/09053606000000281 [47] Needell，D。；Tropp，JA，CoSaMP：不完整和不准确样本的迭代信号恢复，ACM通信，53，93-100（2010）·Zbl 1163.94003号 ·数字对象标识代码：10.1145/1859204.1859229 [48] Needell，D。；Vershynin，R.，通过正则化正交匹配追踪实现一致不确定性原理和信号恢复，计算数学基础，9，317-334（2009）·Zbl 1183.68739号 ·doi:10.1007/s10208-008-9031-3 [49] Nelson，J.（2013）。约翰逊·林德斯特劳斯（Johnson-Lindenstraus）指出。技术报告。 [50] Nesterov，Y.（2007）。最小化复合目标函数的梯度方法。卢万天主教大学运营研究和计量经济中心（Core）的核心讨论文件。 [51] 奥斯本，MR；Presnell，B。；图拉赫，BA，《套索及其对偶》，《计算与图形统计杂志》，9，319-337（1999） [52] 奥斯本，MR；Presnell，B。；Turlach，BA，最小二乘问题中变量选择的新方法，IMA数值分析杂志，20389-403（2000）·Zbl 0962.65036号 ·doi:10.1093/imanum/20.3.89 [53] Oymak，S.公司。；Recht，B。；Soltanolkotabi，M.，夏普时间？线性反问题的数据权衡，IEEE信息理论汇刊，64，4129-4158（2018）·Zbl 1395.90205号 ·doi:10.1109/TIT.2017.2773497 [54] Plan，Y.和Vershynin，R.（2011）。线性规划的一位压缩传感。CoRR abs/1109.4299·兹比尔1335.94018 [55] Rao，M.和Ren，Z.（1991）。orlicz空间理论。查普曼和霍尔的纯数学和应用数学。博卡拉顿：CRC出版社·Zbl 0724.46032号 [56] Rockafellar，R.T.（1970）。凸分析。普林斯顿数学系列。新泽西州普林斯顿：普林斯顿大学出版社·Zbl 0193.18401号 [57] Tibshirani，R.，《通过套索进行回归收缩和选择》，《皇家统计学会期刊》（B辑），58267-288（1996）·Zbl 0850.62538号 [58] 蒂尔曼，AM；Pfetsch，ME，受限等距特性的计算复杂性，零空间特性，以及压缩感知中的相关概念，IEEE信息理论汇刊，601248-1259（2014）·Zbl 1364.94170号 ·doi:10.1109/TIT.2013.2290112 [59] Tropp，JA，Greed is good：稀疏近似的算法结果，IEEE Transactions on Information Theory，502231-2242（2006）·Zbl 1288.94019号 ·doi:10.1109/TIT.2004.834793 [60] JA Tropp，Just relax:识别噪声中稀疏信号的凸规划方法，IEEE信息理论汇刊，521030-1051（2006）·Zbl 1288.94025号 ·doi:10.1109/TIT.2005.864420 [61] JA特罗普；AC Gilbert，通过正交匹配追踪从随机测量中恢复信号，IEEE信息理论汇刊，534655-4666（2007）·Zbl 1288.94022号 ·doi:10.1109/TIT.2007.909108 [62] Tseng，P.（2008）。凹凸优化的加速近似梯度法。SIAM优化杂志（已提交）。 [63] 图拉赫，BA；维纳布尔斯，西北部；Wright，SJ，同时变量选择，Technometrics，47349-363（2005）·doi:10.1198/004017005000000139 [64] Geer，SA；Bühlmann，P.，《关于证明套索预言结果的条件》，《电子统计杂志》，31360-1392（2009）·兹比尔1327.62425 ·doi:10.1214/09-EJS506 [65] Berg，E。；议员弗里德兰德（Friedlander），《探索基追踪解决方案的帕累托边界》（Probing the pareto frontient for base pursing solutions），SIAM Journal on Scientific Computing，31890-912（2008）·Zbl 1193.49033号 ·doi:10.1137/080714488 [66] Wainwright，MJ，使用l1-约束二次规划（Lasso）恢复高维和噪声稀疏性的夏普阈值，IEEE信息理论汇刊，55，2183-2202（2009）·兹比尔1367.62220 ·doi:10.1109/TIT.2009.2016018 [67] 温，Z。；尹，W。；Goldfarb博士。；Zhang，Y.，基于收缩、子空间优化和延拓的稀疏重建快速算法，SIAM科学计算杂志，321832-1857（2010）·Zbl 1215.49039号 ·doi:10.1137/090747695 [68] Wright，S.、Nowak，R.和Figueiredo，M.A.T.（2009年）。可分离近似稀疏重建。IEEE信号处理汇刊。https://doi.org/10.109/TSP.2009.2016892。 ·Zbl 1391.94442号 [69] 肖，L。；Zhang，T.，稀疏最小二乘问题的近似粒度同伦方法，SIAM优化杂志，23，1062-1091（2013）·Zbl 1280.65057号 ·doi:10.1137/120869997 [70] Zhang，T.，带l1正则化的最小二乘回归的一些尖锐性能界限，《统计年鉴》，372109-2144（2009）·Zbl 1173.62029号 ·doi:10.1214/08-AOS659 [71] 张，CH；Huang，J.，高维线性回归中套索选择的稀疏性和偏差，《统计年鉴》，36，1567-1594（2008）·兹比尔1142.62044 ·doi:10.1214/07-AOS520 [72] 赵，P。；Yu，B.，关于套索的模型选择一致性，《机器学习研究杂志》，7，2541-2563（2006）·Zbl 1222.62008年 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。