杰弗里·布兰查德。;贾里德·坦纳;魏，柯 CGIHT：用于压缩感知和矩阵完成的共轭梯度迭代硬阈值。 （英文） Zbl 1380.94045号 Inf.推断 4，第4号，289-327（2015）. 摘要：我们介绍了共轭梯度迭代硬阈值（CGIHT）算法家族，用于高效求解压缩感知、行解析近似和矩阵补全中产生的约束欠定线性方程组。CGIHT的设计是为了平衡简单硬阈值算法的低每次迭代复杂度和采用共轭梯度法的快速渐近收敛速度。我们根据传感算子的受限等距常数，在充分条件下，建立了CGIHT变量的可证明恢复保证和噪声稳定性。广泛的经验性能比较为CGIHT建立了显著的计算优势，无论是在问题规模方面，还是在整体计算时间方面，都可以精确地近似计算。 引用于27文件 MSC公司： 94甲12 信号理论（表征、重建、滤波等） 关键词：压缩感知;矩阵完成;行解析近似;多个测量矢量;硬阈值算法;共轭梯度迭代硬阈值;限制等距常数 软件：SPGL1型;ADMiRA公司;CoSaMP公司;TwIST公司;PDCO公司 PDF格式BibTeX公司 XML格式引用 \textit{J.D.Blanchard}等人，Inf.Inference 4，No.4，289--327（2015；Zbl 1380.94045） 全文： 内政部 参考文献： [1] 阿梅伦森，D。；洛茨，M。；McCoy，M.B。；Tropp，J.A.，《生活在边缘：凸优化中相变的几何理论》，Inf.推断：J.IMA，3，294，（2014）·Zbl 1339.90251号 ·doi:10.1093/imaiai/iau005 [2] Bah，B。；Tanner，J.，高斯矩阵的受限等距常数的改进边界，SIAM J.矩阵分析。，312898，（2010年）·Zbl 1208.60026号 ·doi:10.1137/10078884 [3] 贝克，A。；Teboulle，M.，线性逆问题的快速迭代收缩阈值算法，SIAM J.Imaging Sci。，2, 202, (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542 [4] 贝克，A。；Teboulle，M.，用于凸最小化和应用的快速对偶最近点梯度算法，Oper。Res.Lett.公司。，2014年6月42日·Zbl 1408.90232号 ·doi:10.1016/j.orl.2013.10.007 [5] Berg，E.V.D。；Friedlander，M.P.，《探索基础追踪解决方案的帕累托边界》，SIAM J.Sci。计算。，31, 912, (2008) ·Zbl 1193.49033号 ·doi:10.1137/080714488 [6] Bioucas-Dias，J.M。；Figueiredo，M.A.T.，《一种新的TwIST：图像恢复的两步迭代收缩/阈值算法》，IEEE Trans。图像处理。，16, 3004, (2007) ·doi:10.1109/TIP.2007.909319 [7] 布兰查德，J.D。；Cartis，C。；Tanner，J.，《压缩感知：受限等距特性有多尖锐？》？，SIAM版本，53、125（2011）·Zbl 1214.41008号 ·doi:10.1137/090748160 [8] 布兰查德，J.D。；Cartis，C。；Tanner，J。；Thompson，A.，贪婪稀疏近似算法的相变，应用。计算。哈蒙。分析。，30, 203, (2011) ·兹比尔1229.94003 ·doi:10.1016/j.acha.2010.07.001 [9] 布兰查德，J.D。；塞尔马克，M。；Hanle，D。；Jing，Y.，联合稀疏恢复的贪婪算法，IEEE Trans。叹息。程序。，62, 1704, (2014) ·Zbl 1394.94082号 ·doi:10.1109/TSP.2014.2301980 [10] 布兰查德，J.D。；Tanner，J.（2013年a） [11] 布兰查德，J.D。；Tanner，J.，GPU为压缩感知加速贪婪算法，数学。掠夺。计算。，5304（2013年b）·Zbl 1300.65038号 ·doi:10.1007/s12532-013-0056-5 [12] 布兰查德，J.D。；Tanner，J.，压缩感知中贪婪算法的性能比较，数字线性代数。申请书，22，282，（2015）·Zbl 1363.94017号 ·doi:10.1002/nla.v22.2 [13] 布兰查德，J.D。；Tanner，J。；Wei，K.，《共轭梯度迭代硬阈值：压缩感知的观测噪声稳定性》，IEEE Trans。信号处理。，63, 537, (2015) ·Zbl 1394.94083号 ·doi:10.1109/TSP.2014.2379665 [14] Blumensath，T.，加速迭代硬阈值，信号处理。，92, 756, (2012) ·doi:10.1016/j.sigpro.2011.09.017 [15] Blumensath，T。；Davies，M.E.，压缩感知的迭代硬阈值，应用。计算。哈蒙。分析。，27, 274, (2009) ·Zbl 1174.94008号 ·doi:10.1016/j.acha.2009.04.002 [16] Blumensath，T。；Davies，M.E.，标准化迭代硬阈值；保证稳定性和性能，IEEE标准。顶部。信号处理。，4, 309, (2010) ·doi:10.1109/JSTSP.2010.2042411 [17] 布鲁克斯坦，A.M。；Donoho，D.L。；Elad，M.，《从方程组的稀疏解到信号和图像的稀疏建模》，SIAM Rev.，51，81，（2009）·Zbl 1178.68619号 ·doi:10.1137/060657704 [18] 蔡J.-F。；坎迪斯，E.J。；Shen，Z.，矩阵补全的奇异值阈值算法，SIAM J.Optim。，20, 1982, (2010) ·Zbl 1201.90155号 ·doi:10.1137/080738970 [19] Candès，E.J.，《压缩抽样》，国际数学家大会，III，1452，（2006）·Zbl 1130.94013号 [20] 坎迪斯，E。；Recht，B.，通过凸优化实现精确矩阵补全，Found。计算。数学。，9, 772, (2009) ·Zbl 1219.90124号 ·doi:10.1007/s10208-009-9045-5 [21] 坎迪斯，E.J。；J.隆伯格。；Tao，T.，《鲁棒不确定性原理：从高度不完整的频率信息中精确重建信号》，IEEE Trans。通知。理论，52509，（2006）·Zbl 1231.94017号 ·doi:10.1109/TIT.2005.862083 [22] 坎迪斯，E.J。；Tao，T.，线性规划解码，IEEE Trans。通知。理论，51，4215，（2005）·Zbl 1264.94121号 ·doi:10.1109/TIT.2005.858979 [23] 坎迪斯，E.J。；Tao，T.，从随机投影中恢复近最优信号：通用编码策略？，IEEE传输。通知。理论，52，5425，（2006）·Zbl 1309.94033号 ·doi:10.1109/TIT.2006.885507 [24] 卡地斯，C。；Thompson，A.，压缩传感中迭代硬阈值算法的新的改进的定量恢复分析，IEEE Trans。通知。理论，61，24，（2015）·Zbl 1359.94071号 ·doi:10.1109/TIT.2015.2399919 [25] Cevher，V.，稀疏恢复的ALPS观点，5811，（2011） [26] Chandar，V.公司。；沙阿·D·。；Wornell，G.W.，压缩感知的简单消息传递算法，1972年（2010年） [27] 陈S.S。；Donoho，D.L。；桑德斯，M.A.，《基追踪的原子分解》，SIAM Rev.，43，159，（2001）·Zbl 0979.94010号 ·doi:10.1137/S003614450037906X [28] Dai，W。；Milenkovic，O.，压缩传感信号重建的子空间追踪，IEEE Trans。通知。理论，55，2249，（2009）·Zbl 1367.94082号 ·doi:10.1109/TIT.2009.2016006 [29] Dai，W。；Milenkovic，O。；Kerman，E.，低秩矩阵完成的子空间演化和传输（SET），IEEE传输信号处理。，59, 3132, (2011) ·Zbl 1392.94167号 ·doi:10.1109/TSP.2011.2144977 [30] Devolder，O。；Glineur，F。；Nesterov，Y.，带不精确预言的光滑凸优化的一阶方法，数学。程序。序列号。A、 146、75（2014）·Zbl 1317.90196号 ·doi:10.1007/s10107-013-0677-5 [31] Donoho，D.L.（2004） [32] Donoho，D.L.，压缩传感，IEEE Trans。通知。理论，52，1306，（2006a）·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582 [33] Donoho，D.L.，《邻接度与维数成正比的高维中心对称多边形》，《离散计算》。地理。，35、652（2006年b）·1095.52500兹罗提 ·doi:10.1007/s00454-005-1220-0 [34] Donoho，D.L。；Gavish，M.，奇异值阈值矩阵去噪的最小最大风险，Ann.Statist。，42, 2440, (2014) ·2014年10月13日 ·doi:10.1214/14-AOS1257 [35] Donoho，D.L。；加维什，M。；Montanari，A.，从高斯测量中恢复矩阵的相变与矩阵去噪的最小最大均方误差相匹配，Proc。美国国家科学院。科学。美国，1108410（2013）·Zbl 1292.94004号 ·doi:10.1073/pnas.1306110110 [36] Donoho，D.L。；约翰斯通，I。；Montanari，A.，通过与极大极小去噪的连接准确预测压缩传感中的相变，IEEE Trans。通知。理论，593433，（2013）·兹比尔1364.94092 ·doi:10.10109/TIT.2013.2239356 [37] Donoho，D.L。；Maleki，A.，压缩感知的最佳调整迭代阈值算法，IEEE Sel。顶部。信号处理。，4, 341, (2010) ·doi:10.1109/JSTSP.2009.2039176 [38] Donoho，D.L。；Maleki，A。；Montanari，A.，压缩感知的消息传递算法，Proc。美国国家科学院。科学。美国，10618919，（2009）·doi:10.1073/pnas.0909892106 [39] Donoho，D.L。；Maleki，A。；Montanari，A.，《压缩感知的消息传递算法：I.动机和构建》（2010a） [40] Donoho，D.L。；Maleki，A。；Montanari，A.，压缩感知的消息传递算法：II。分析和验证（2010年b） [41] Donoho，D.L。；Tanner，J.，通过线性规划求解欠定线性方程的稀疏非负解，Proc。美国国家科学院。科学。美国，1029451，（2005）·Zbl 1135.90368号 ·doi:10.1073/pnas.0502269102 [42] Donoho，D.L。；Tanner，J.，当投影大大降低维度时，计算随机投影的多边形的面，J.Amer。数学。Soc.，22，53，（2009年）·Zbl 1206.52010年 ·doi:10.1090/S0894-0347-08-00600-0 [43] Eldar，Y.C。；Kutyniok，G.，《压缩传感：理论与应用》，（2012年） [44] Figueiredo，M.A.T。；诺瓦克，R.D。；Wright，S.J.，《稀疏重建的梯度投影：压缩传感和其他反问题的应用》，IEEE Sel。顶部。信号处理。，1, 597, (2007) ·doi:10.1109/JSTSP.2007.910281 [45] Foucart，S.，《硬阈值追踪：压缩感知算法》，SIAM J.Numer。分析。，49、2563（2011年a）·Zbl 1242.65060号 ·数字对象标识代码：10.1137/100806278 [46] Foucart，S.（2011年b） [47] Foucart，S.（2012） [48] 福卡特，S。；Rauhut，H.，《压缩传感数学导论》（2013）·Zbl 1315.94002号 [49] 加格·R。；Khandekar，R.，《稀疏梯度下降：具有受限等距性质的稀疏恢复迭代算法》，344，（2009） [50] Goldstein，T。；Setzer，S.（2004） [51] Greenbaum，A.，求解线性系统的迭代方法，（1997）·Zbl 0883.65022号 [52] 郭，C。；Davies，M.E.，《无先验的近最优压缩感知：参数SURE近似消息传递》，IEEE Trans。信号处理。，63, 2141, (2015) ·Zbl 1394.94215号 ·doi:10.10109/TSP.2015.2408569（文件编号：10.1109/TSP.2015.2408569） [53] 哈尔达尔，J.P。；Hernando，D.，使用功率因子化的线性矩阵方程的秩约束解，IEEE信号处理。莱特。，16, 587, (2009) ·doi:10.1109/LSP.2009.2018223 [54] Hestenes，M.R。；Stiefel，E.，求解线性系统的共轭梯度方法，J.Res.Natl。伯尔。支架。，49, 436, (1952) ·Zbl 0048.09901号 ·doi:10.6028/jres.049.044 [55] 霍恩，R.A。；Johnson，C.R.，矩阵分析，（1990）·Zbl 0704.15002号 [56] Jain，P。；梅卡，R。；Dhillon，I.，通过奇异值投影保证秩最小化，高级神经信息。过程。系统。，23, 945, (2010) [57] Keshavan，R.H。；Montanari，A。；哦，S.，从几个条目中完成矩阵，IEEE Trans。通知。理论，562998（2010）·Zbl 1366.62111号 ·doi:10.1109/TIT.2010.2046205 [58] Kyrillidis，A。；Cevher，V.，矩阵ALPS：加速低秩和稀疏矩阵重建，188，（2012） [59] Kyrillidis，A。；Cevher，V.，《硬阈值方法的矩阵配方》，J.Math。成像视觉。，48, 265, (2014) ·Zbl 1311.90141号 ·doi:10.1007/s10851-013-0434-7 [60] Lee，K。；Bresler，Y.，ADMiRA：最小秩近似的原子分解，IEEE Trans。通知。理论，56，4416，（2010）·Zbl 1366.94112号 ·doi:10.1009/TIT.2010.2054251 [61] 莱维坦，D。；Temlyakov，V.N.，贪婪算法的同时逼近，高级计算。数学。，25, 90, (2006) ·Zbl 1096.41026号 ·doi:10.1007/s10444-004-7613-4 [62] 刘易斯，A.S。；Malick，J.，流形上的交替投影，数学。操作。决议，33，234，（2008）·Zbl 1163.65040号 ·doi:10.1287/门1070.0291 [63] 卢托博斯基，A。；Temlyakov，V.N.，向量贪婪算法，J.复杂性，19，473，（2003）·Zbl 1234.4102号 ·doi:10.1016/S0885-064X（03）00026-8 [64] 马秀秋。；Goldfarb，D。；Chen，L.F.，矩阵秩最小化不动点延拓算法的收敛性，发现。计算。数学。，11、210（2011年a）·Zbl 1219.90195号 ·doi:10.1007/s10208-011-9084-6 [65] 马秀秋。；Goldfarb，D。；Chen，L.F.，矩阵秩最小化的不动点和Bregman迭代方法，数学。程序。序列号。A.，128353，（2011年b）·Zbl 1221.65146号 ·doi:10.1007/s10107-009-0306-5 [66] Maleki，A.，迭代阈值算法的一致性分析，243，（2009） [67] 梅耶，G。；Bonnabel，S。；Sepulchre，R.，固定秩约束下的线性回归：黎曼方法，（2011） [68] Natarajan，B.K.，线性系统的稀疏近似解，SIAM J.Compute。，24, 234, (1995) ·兹伯利0827.68054 ·doi:10.1137/S0097539792240406 [69] Needell，D。；Tropp，J.A.，CoSaMP：不完整和不准确样本的迭代信号恢复，应用。公司。危害。分析。，26, 321, (2009) ·Zbl 1163.94003号 ·doi:10.1016/j.acha.2008.07.002 [70] Nesterov，Y.，《凸优化导论：基础课程》（2004）·Zbl 1086.90045号 [71] Nesterov，Y.（2007） [72] 鲍威尔，M.J.D.，共轭梯度法的一些收敛性质，数学。程序。，11, 49, (1976) ·Zbl 0356.65056号 ·doi:10.1007/BF01580369 [73] Rauhut，H。；J.隆伯格。；Tropp，J.A.，部分随机循环矩阵的限制等距，应用。计算。哈蒙。分析。，32, 254, (2012) ·Zbl 1245.15040号 ·doi:10.1016/j.acha.2011.05.001 [74] Recht，B。；法泽尔，M。；Parrilo，P.A.，通过核范数最小化保证线性矩阵方程的最小秩解，SIAM Rev.，52，501，（2010）·Zbl 1198.90321号 ·数字对象标识代码：10.1137/070697835 [75] Recht，B。；徐伟（Xu，W.）。；Hassibi，B.，秩最小化的空空间条件和阈值，数学。程序。序列号。B、 127211（2011）·Zbl 1211.90172号 ·doi:10.1007/s10107-010-0422-2 [76] Rudelson，M。；Vershynin，R.，《基于傅里叶和高斯测量的稀疏重建》，Comm.Pure Appl。数学。，61, 1045, (2008) ·Zbl 1149.94010号 ·doi:10.1002/（ISSN）1097-0312 [77] Tanner，J。；魏凯，矩阵补全的归一化迭代硬阈值法，SIAM J.科学计算。，35，S125，（2013）·Zbl 1282.65043号 ·doi:10.1137/120876459 [78] Temlyakov，V.N.，关于同时贪婪近似的评论，East J.近似，10，25，（2004）·Zbl 1113.41026号 [79] Toh，K.-C。；Yun，S.，核范数正则化最小二乘问题的加速近似梯度算法，Pac。J.Optim。，640年6月，（2010年）·Zbl 1205.90218号 [80] Tropp，J.A.，同时稀疏近似算法。第二部分：凸松弛，信号处理。，86, 602, (2006) ·Zbl 1163.94395号 ·doi:10.1016/j.sigpro.2005.05.031 [81] Tropp，J.A。；A.C.吉尔伯特。；Strauss，M.J.，同时稀疏近似算法。第一部分：贪婪追求，信号处理。，86, 588, (2006) ·Zbl 1163.94396号 ·doi:10.1016/j.sigpro.2005.05.030 [82] Tropp，J.A。；Wright，S.J.，线性反问题稀疏解的计算方法，Proc。IEEE，98958（2010）·doi:10.1109/JPROC.2010.2044010 [83] Wei，K.，（2014） [84] 赖特，S.J。；诺瓦克，R.D。；Figueiredo，M.A.T.，通过可分离近似进行稀疏重建，（2008） [85] 徐伟（Xu，W.）。；Hassibi，B.，精确稳定相变\[ℓ_最小化：统一的几何框架，IEEE Trans。通知。理论，57，6919，（2008）·Zbl 1365.94089号 ·doi:10.1109/TIT.2011.2165825 [86] 尹，W。；Osher，S。；Goldfarb，D。；Darbon，J.，Bregman迭代算法\[ℓ^1 \]-压缩传感应用最小化，SIAM J.成像科学。，1, 168, (2008) ·Zbl 1203.90153号 ·doi:10.1137/070703983 [87] 袁永新，共轭梯度法分析，最优化。方法软件。，2, 29, (1993) ·doi:10.1080/10556789308805532 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。