李佩丽；吕锡良；肖云海 正则化线性反问题的平滑牛顿法。 （英语） Zbl 1481.65059号 反向探测。成像 16，第1期，153-177（2022）. 摘要：稀疏回归在统计学、机器学习、图像和信号处理中起着非常重要的作用。在本文中，我们考虑了一个具有（ell^0）-（ell^2）惩罚的高维线性逆问题，以稳定地重建稀疏信号。基于坐标最小化器的充要条件，我们设计了一种在正则化参数上具有连续策略的光滑牛顿方法。我们证明了该算法的全局收敛性。给出了几个数值算例，并与现有算法进行了比较，验证了该方法的有效性和优越性。 MSC公司： 65层22 数值线性代数中的不适定性和正则化问题 15A29号 线性代数中的反问题 关键词：线性反问题；\（^0）-（^2）罚款；协调式最小化；平滑牛顿法；全球收敛 软件：稀疏的；foba公司；PDCO公司 PDF格式BibTeX公司 XML格式引用 \textit｛P.Li｝等人，反向问题。成像16，编号1，153--177（2022；Zbl 1481.65059） 全文： 内政部 参考文献： [1] H.Akaike，统计模型识别的新视角，IEEE自动控制汇刊，19716-723（1974）·Zbl 0314.62039号 ·doi:10.1109/tac.1974.1100705 [2] A.贝克，最优化中的一阶方法，MOS-SIAM优化系列，25。工业和应用数学学会（SIAM），宾夕法尼亚州费城；数学优化协会，宾夕法尼亚州费城，2017·Zbl 1384.65033号 [3] A.贝克；M.Teboulle，基于梯度的约束全变分图像去噪和去模糊快速算法，IEEE图像处理汇刊，182419-2434（2009）·Zbl 1371.94049号 ·doi:10.1109/TIP.2009.2028250 [4] D.Bertsimas；A.金；R.Mazumder，《通过现代优化透镜选择最佳子集》，《统计年鉴》，44813-852（2016）·Zbl 1335.62115号 ·doi:10.1214/15-AOS1388 [5] S.Billups；S.Dirkse；M.Ferris，大型混合互补问题求解器的比较，计算优化与应用，7，3-25（1997）·Zbl 0883.90116号 ·doi:10.1023/A:1008632215341 [6] T.Blumensath，加速迭代硬阈值，信号处理，92，752-756（2012）·doi:10.1016/j.sigpro.2011.09.017 [7] T.Blumensath；M.Davies，稀疏近似的迭代阈值，傅里叶分析与应用杂志，14629-654（2008）·Zbl 1175.94060号 ·doi:10.1007/s00041-008-9035-z [8] S.博伊德；N.Parikh；朱棣文；B.佩莱托；J.Eckstein，《通过乘数交替方向方法进行分布式优化和统计学习》，《机器学习的基础和趋势》，3，1-122（2010）·Zbl 1229.90122号 ·doi:10.1561/9781601984616 [9] K.Bredies和D.Lorenz，带非凸可分约束的正则化，反问题, 25 (2009), 085011. ·兹比尔1180.65068 [10] 蔡先生；A.Zhang，稀疏信号和低秩矩阵恢复的Sharp RIP界，应用和计算谐波分析，35，74-93（2013）·Zbl 1310.94021号 ·doi:10.1016/j.acha.2012.07.010 [11] E.坎迪斯；陶涛，线性规划解码，IEEE信息理论汇刊，514203-4215（2005）·Zbl 1264.94121号 ·doi:10.1109/TIT.2005.858979 [12] R.Chartrand，《通过非凸最小化精确重建稀疏信号》，IEEE Signal Processing Letters，14707-710（2007） [13] B.陈；P.Harker，非线性互补问题的光滑逼近，SIAM优化杂志，7403-420（1997）·Zbl 0879.90177号 ·doi:10.137/S1052623495280615 [14] C.陈；O.Mangasarian，非线性和混合互补问题的一类光滑函数，计算优化与应用，5，97-138（1996）·Zbl 0859.90112号 ·doi:10.1007/BF00249052 [15] L.Chen；Y.Gu，稀疏恢复非凸方法的收敛保证，IEEE Transactions on Signal Processing，623754-3767（2014）·Zbl 1394.94114号 ·doi:10.1109/TSP.2014.2330349 [16] S.Chen；D.多诺霍；M.Saunders，通过基追踪进行原子分解，SIAM评论，43129-159（2001）·Zbl 0979.94010号 ·doi:10.1137/S003614450037906X [17] X.Chen，非光滑非凸极小化的平滑方法，数学规划，134，71-99（2012）·Zbl 1266.90145号 ·doi:10.1007/s10107-012-0569-0 [18] X.陈；L.Qi，非光滑方程的参数化牛顿法和拟牛顿法，计算优化与应用，3157-179（1994）·Zbl 0821.65029号 ·doi:10.1007/BF01300972 [19] X.陈；李琦；D.Sun，光滑牛顿法的全局和超线性收敛及其在一般箱约束变分不等式中的应用，美国数学学会计算数学，67，519-540（1998）·Zbl 0894.90143号 ·doi:10.1090/S0025-5718-98-00932-6 [20] X.陈；山本，解非线性方程的某些迭代方法的收敛域，数值泛函分析与优化，10，37-48（1989）·Zbl 0645.65028号 ·doi:10.1080/01630568908816289 [21] I.Daubechies；M.Defrise；C.De Mol，具有稀疏约束的线性反问题的迭代阈值算法，《纯数学与应用数学通讯》，571413-1457（2004）·Zbl 1077.65055号 ·doi:10.1002/cpa.20042 [22] D.Donoho，压缩感知，IEEE信息理论汇刊，521289-1306（2006）·兹比尔1288.94016 [23] D.多诺霍；X.Huo，不确定性原理和理想原子分解，IEEE信息论汇刊，472845-2862（2001）·兹比尔1019.94503 ·doi:10.1109/18.959265 [24] J.Fan；R.Li，基于非一致惩罚似然的变量选择及其预言性质，美国统计协会杂志，961348-1360（2001）·Zbl 1073.62547号 ·doi:10.1198/016214501753382273 [25] Q.范；Y.Jiao；X.Lu，一种用于压缩传感的具有连续性的原始-对偶有源集算法，IEEE信号处理学报，626276-6285（2014）·Zbl 1394.94175号 ·doi:10.1010/TSP.2014.2362880文件 [26] M.Figueiredo；R.Nowak；S.Wright，稀疏重建的梯度投影：在压缩传感和其他逆问题中的应用，IEEE信号处理选定主题期刊，1586-597（2007）·doi:10.1109/JSTSP.2007.910281 [27] I.弗兰克；J.Friedman，一些化学计量学回归工具的统计观点，Technometrics，35，109-135（1993）·Zbl 0775.62288号 [28] S.Gabriel和J.Moré，混合互补问题的平滑，互补和变异问题：最新进展，（1997），105-116·Zbl 0886.90154号 [29] G.Gasso；A.Rakotomamonjy；S.Canu，使用特定非凸惩罚和DC编程系列恢复稀疏信号，IEEE信号处理事务，574686-4698（2009）·Zbl 1391.90489号 [30] M.格雷斯迈；O.Scherzer；M.Haltmeier，正则化线性收敛的充要条件，《纯粹数学与应用数学通讯》，64，161-182（2011）·Zbl 1217.65095号 ·doi:10.1002/cpa.20350 [31] R.Griesse和D.Lorenz，稀疏约束Tikhonov泛函的半光滑牛顿方法，反问题, 24 (2008), 035007. ·Zbl 1152.49030号 [32] E.Hans和T.Raasch，（l_1）Tikhonov正则化阻尼半光滑牛顿方法的全局收敛性，反问题, 31 (2015), 025005. ·Zbl 1321.65084号 [33] M.Hintermüller；T.Wu，带凹稀疏提升先验的变分模型的超线性收敛R-正则牛顿格式，计算优化与应用，57，1-25（2014）·Zbl 1286.90116号 ·doi:10.1007/s10589-013-9583-2 [34] 黄光裕；P.Breheny；S.Lee；S.Ma；C.Zhang，变量选择的Mnet方法，中国统计，26903-923（2016）·Zbl 1356.62091号 [35] 黄光裕；Y.Jiao；B.Jin；J.Liu；X.Lu；C.Yang，非凸稀疏恢复的统一原始-对偶活动集算法，统计科学，36，215-238（2021）·Zbl 07368234号 ·doi:10.1214/19-sts758 [36] 黄光裕；Y.Jiao；刘毅（Y.Liu）；X.Lu，“（L_0）惩罚回归的一种建设性方法”，《机器学习研究杂志》，19，403-439（2018）·Zbl 1444.62091号 [37] Z.Huang；李琦；D.Sun，（P_0）-单调LCP的光滑牛顿算法的次二次收敛性，数学规划，99423-441（2004）·Zbl 1168.90646号 ·doi:10.1007/s10107-003-0457-8 [38] 伊藤（K.Ito）；K.Kunisch，最优控制与\（L^p（\Omega），p\in[0，1）\），控制成本，SIAM控制与优化期刊，521251-1275（2014）·Zbl 1306.49010号 ·doi:10.1137/120896529 [39] Y.Jiao；B.Jin；X.Lu，带延拓算法的原-对偶活动集在正则优化问题中的应用，应用与计算谐波分析，39，400-426（2015）·Zbl 1329.49042号 ·doi:10.1016/j.acha.2014.10.001 [40] Y.Jiao；Q.Jin；X.Lu；W.Wang，线性反问题的交替方向乘数法，SIAM数值分析杂志，54，2114-2137（2016）·Zbl 1342.65137号 ·数字对象标识代码：10.1137/15M1029308 [41] 焦勇，金庆，卢晓伟，王文华，带约束反问题的预处理交替方向乘子法，反问题, 33 (2017), 025004. ·Zbl 1360.65164号 [42] B.Jin、D.Lorenz和S.Schifler，弹性网正则化：误差估计和主动集方法，反问题, 25 (2009), 115022. ·Zbl 1188.49026号 [43] B.Kummer，不可微函数的牛顿方法，数学优化进展，4514-125（1988）·Zbl 0662.65050号 [44] 十、李；D.太阳；K.Toh，求解套索问题的高效半光滑牛顿增广拉格朗日方法，SIAM优化杂志，28，433-458（2018）·兹比尔1392.65062 ·doi:10.1137/16M1097572 [45] R.Mazumder；J.Friedman；T.Hastie，《SparseNet:协调下降与非凸处罚》，《美国统计协会杂志》，1061125-1138（2011）·Zbl 1229.62091号 ·doi:10.1198/jasa.2011.tm09738 [46] M.Osborne；B.普雷斯内尔；B.Turlach，最小二乘问题中变量选择的新方法，IMA数值分析杂志，20389-403（2000）·Zbl 0962.65036号 ·doi:10.1093/imanum/20.3.89 [47] 李琦；X.Chen，严重非光滑方程的全局收敛逐次逼近方法，SIAM控制与优化杂志，33，402-418（1995）·Zbl 0833.90109号 ·doi:10.1137/S036301299223619X [48] 李琦；D.Sun，互补和变分不等式问题的平滑函数和平滑牛顿法，优化理论与应用杂志，113121-147（2002）·Zbl 1032.49017号 ·doi:10.1023/A:1014861331301 [49] R.Ramlau；G.Teschke，稀疏约束非线性不适定问题的基于Tikhonov的投影迭代，Numeriche Mathematik，104177-203（2006）·Zbl 1101.65056号 ·文件编号：10.1007/s00211-006-0016-3 [50] R.Tibshirani，通过套索进行回归收缩和选择，《皇家统计学会期刊：B辑（方法学）》，58267-288（1996）·Zbl 0850.62538号 ·doi:10.1111/j.2517-6161.1996.tb02080.x [51] P.Tseng，不可微极小化的块坐标下降法的收敛性，优化理论与应用杂志，109，475-494（2001）·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105 [52] L.Wang；Q.赵；J.Gao；徐总；M.Fehler；X.Jiang，通过Toeplitz稀疏矩阵分解进行地震稀疏尖峰反褶积，地球物理，81，169-182（2016）·doi:10.1190/geo2015-0151.1 [53] W.Wang，S.Lu，H.Mao和J.Cheng，带稀疏约束的多参数Tikhonov正则化，反问题, 29 (2013), 065018. ·Zbl 1273.65068号 [54] C.易；J.Huang，弹性网惩罚huber损失回归和分位数回归的半光滑牛顿坐标下降算法，计算与图形统计杂志，26，547-557（2017）·doi:10.1080/10618600.2016.256816 [55] C.Zhang，最小最大凹惩罚下的几乎无偏变量选择，《统计年鉴》，38894-942（2010）·Zbl 1183.62120号 ·doi:10.1214/09-AOS729 [56] C.H.Zhang；T.Zhang，高维稀疏估计问题的凹正则化一般理论，统计科学，27576-593（2012）·Zbl 1331.62353号 ·doi:10.1214/12-STS399 [57] T.Zhang，用于学习稀疏表示的自适应前向-后向贪婪算法，IEEE信息理论汇刊，574689-4708（2011）·Zbl 1365.62288号 ·doi:10.1109/TIT.2011.2146690 [58] H.Zou；T.Hastie，通过弹性网进行正则化和变量选择，《皇家统计学会杂志：B辑（统计方法）》，67，301-320（2005）·Zbl 1069.62054号 ·文件编号：10.1111/j.1467-9868.2005.005.x 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。