×
吴凡;卞伟

（l_0）正则回归问题的加速迭代硬阈值算法。 （英语） Zbl 1441.90121号

J.全球。最佳方案。 76，第4期，819-840（2020）.
摘要：在本文中，我们提出了一种用于求解（l_0）正则化箱约束回归问题的加速迭代硬阈值算法。我们证明了存在一个阈值，如果外推系数选择在该阈值以下，则该算法等价于有限迭代后求解相应约束凸问题的加速近似梯度算法。在适当的条件下，我们得到了由该算法生成的序列收敛到正则化问题的局部极小值，该极小值满足期望的下界。此外，当数据拟合函数满足误差界条件时，我们证明了迭代序列和相应的目标函数值序列都是R线性收敛的。最后，我们用几个数值实验来验证我们的理论结果。

引用于4文件

MSC公司：

90C25型 凸面编程

关键词：

稀疏回归问题;加速迭代硬阈值算法;\（l0）正则化;R-线性收敛
PDF格式BibTeX公司 XML格式引用
\textit{F.Wu}和\textit{W.Bian}，J.Glob。优化。76，第4号，819--840（2020；Zbl 1441.90121）
全文： DOI程序

参考文献：

[1] 奥宾，JP；Cellina，A.，微分包含：集值映射和生存性理论（1984），柏林：施普林格，柏林·Zbl 0538.34007号
[2] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2, 1, 183-202 (2009) ·Zbl 1175.94009号
[3] 卞，W。；Chen，XJ，带非凸正则化约束优化问题的最优性和复杂性，数学。操作。第42、4、1063-1084号决议（2017年）·Zbl 1386.90167号
[4] Blumensath，T。；Davies，ME，稀疏近似的迭代阈值，J.Fourier Ana。申请。，14, 5-6, 629-654 (2008) ·Zbl 1175.94060号
[5] Blumensath，T。；Davies，ME，压缩感知的迭代硬阈值，应用。计算。哈蒙。分析。，27, 3, 265-274 (2009) ·Zbl 1174.94008号
[6] Blumensath，T。；Davies，ME，归一化迭代硬阈值：保证稳定性和性能，IEEE J.Sel。顶部。信号处理。，4, 2, 298-309 (2010)
[7] 坎迪斯，EJ；J.隆伯格。；Tao，T.，《鲁棒不确定性原理：从高度不完整的频率信息中精确重建信号》，IEEE Trans。《信息论》，52，2489-509（2006）·Zbl 1231.94017号
[8] 坎迪斯，EJ；Tao，T.，线性规划解码，IEEE Trans。《信息论》，51，12，4203-4215（2005）·Zbl 1264.94121号
[9] 坎迪斯，EJ；Wakin，MB；Boyd，SP，通过重加权（l_1）最小化增强稀疏性，J.Fourier Ana。申请。，14, 5-6, 877-905 (2008) ·Zbl 1176.94014号
[10] Chambolle，A.，《总变异最小化算法及其应用》，J.Math。成像视觉。，20, 1-2, 89-97 (2004) ·Zbl 1366.94048号
[11] Chambolle，A。；迪沃尔，RA；纽约州李市；Lucier，BJ，《非线性小波图像处理：变分问题、压缩和通过小波收缩去除噪声》，IEEE Trans。图像处理。，7, 3, 319-335 (1998) ·Zbl 0993.94507号
[12] Chartrand，R.，通过非凸最小化精确重建稀疏信号，IEEE信号处理。莱特。，14, 10, 707-710 (2007)
[13] Chartrand，R。；Staneva，V.，受限等距特性和非凸压缩传感，逆问题。，2008年3月24日至14日·Zbl 1143.94004号
[14] 陈，S。；科恩，CFN；Grant，PM，径向基函数网络的正交最小二乘学习算法，IEEE Trans。神经网络。，2302-309（1991年）
[15] 陈，XJ；Ng、MK；Zhang，C.，图像恢复的非Lipschitz正则化和盒子约束模型，IEEE Trans。图像处理。，21, 12, 4709-4721 (2012) ·Zbl 1373.94080号
[16] Donoho，DL，压缩传感，IEEE Trans。《信息论》，52，4，1289-1306（2006）·Zbl 1288.94016号
[17] 范，JQ；Li，RZ，通过非一致惩罚似然选择变量及其预言属性，美国统计协会，96，456，1348-1360（2001）·Zbl 1073.62547号
[18] 菲格雷多，MAT；Nowak，RD，基于小波的图像恢复的EM算法，IEEE Trans。图像处理。，12, 8, 906-916 (2003) ·Zbl 1279.94015号
[19] 福卡特，S。；Lai，MJ，通过（l_q\）-最小化得到欠定线性系统的最稀疏解，应用。计算。哈蒙。分析。，26, 3, 395-407 (2009) ·Zbl 1171.90014号
[20] 黑尔，ET；尹，WT；张勇，（l_1）-最小化的定点延拓：方法论与收敛性，SIAM J.Optim。，19, 3, 1107-1130 (2008) ·Zbl 1180.65076号
[21] 黑尔，ET；尹，WT；Zhang，Y.，《定点延拓在压缩传感中的应用：实现和数值实验》，J.Compute。数学。，28, 2, 170-194 (2010) ·Zbl 1224.65153号
[22] 黄，J。；霍洛维茨，JL；Ma，SG，稀疏高维回归模型中桥估计量的渐近性质，Ann.Stat.，36，2，587-613（2008）·Zbl 1133.62048号
[23] Johnstone，公关；Moulin，P.，最小化复合函数的一般惯性近似分裂格式的局部和全局收敛，计算。优化。应用，67，2259-292（2017）·Zbl 1376.90046号
[24] 兰，GH；Monteiro，RDC，凸规划一阶惩罚方法的迭代复杂性，数学。程序。，138, 1-2, 115-139 (2013) ·Zbl 1282.90129号
[25] Le Thi，HA；晚餐，TP；勒，HM；Vo，XT，稀疏优化的DC近似方法，欧洲期刊Oper。研究，244，1，26-46（2015）·Zbl 1346.90819号
[26] 廖，JG；Chin，KV，使用微阵列数据进行疾病分类的Logistic回归：大（p）和小（n）病例中的模型选择，生物信息学，23，15，1945-1951（2007）
[27] Lu，ZS，正则凸锥规划的迭代硬阈值方法，数学。程序。，147, 1-2, 125-154 (2014) ·Zbl 1308.65094号
[28] 卢，ZS；Zhang，Y.，通过惩罚分解方法的稀疏近似，SIAM J.Optim。，23, 4, 2448-2478 (2013) ·Zbl 1295.90056号
[29] 罗，ZQ；Tseng，P.，可行下降法的误差界和收敛性分析：一般方法，Ann.Oper。第46号、第1号、第157-178号决议（1993年）·Zbl 0793.90076号
[30] 罗，ZQ；Tseng，P.，关于线性约束凸极小化对偶上升法的收敛速度，数学。操作。研究，18，4，846-867（1993）·Zbl 0804.90103号
[31] 马拉特，新加坡；Zhang，ZF，《与时频字典匹配追踪》，IEEE Trans。信号处理。，41, 12, 3397-3415 (1993) ·兹比尔0842.94004
[32] Nesterov，Y.，最小化复合函数的梯度方法，数学。程序。，140, 1, 125-161 (2013) ·Zbl 1287.90067号
[33] Nikolova，M.，正则化估计量的局部强齐性，SIAM J.Appl。数学。，61, 2, 633-658 (2000) ·Zbl 0991.94015号
[34] Nikolova，M.，用（l_0）范数正则化的最小二乘极小元的描述。全局极小值的唯一性SIAM J.Imaging Sci。，6, 2, 904-937 (2013) ·Zbl 1281.65092号
[35] Pati，Y.C.，Rezaiifar，R.，Krishnaprasad，P.S.：正交匹配追踪递归函数逼近及其在小波分解中的应用。收录于：第27届阿西洛马尔信号、系统和计算机会议记录，第1-2卷，第40-44页（1993年）
[36] 佩莱格，D。；Meir，R.，向量稀疏优化的双线性公式，信号处理。，88, 2, 375-389 (2008) ·Zbl 1186.94273号
[37] 费利亚斯蒂德斯，MG；Sajda，P.，人脑中感知决策神经相关物的时间表征，Cereb。Cortex，16，4，509-518（2006）
[38] 皮兰西，M。；温赖特，MJ；El Ghaoui，L.，通过布尔松弛进行稀疏学习，数学。程序。，151, 1, 63-87 (2015) ·Zbl 1328.90106号
[39] Rockafellar，RT公司；Wets，RJB，变分分析（1998），柏林：施普林格出版社，柏林·Zbl 0888.49001号
[40] Soubies，E。；Blanc-Feraud，L。；Aubert，G.，最小二乘正则化问题的连续精确（l_0）惩罚（CEL0），SIAM J.成像科学。，9, 1, 490-494 (2016) ·Zbl 1346.65028号
[41] Tropp，JA，Greed很好：稀疏近似的算法结果，IEEE Trans。Inf.理论，50，10，2231-2242（2004）·Zbl 1288.94019号
[42] JA Tropp，Just relax:识别噪声中稀疏信号的凸规划方法，IEEE Trans。Inf.理论，52，31030-1051（2006）·Zbl 1288.94025号
[43] 曾，P。；Yun，SW，线性约束光滑优化和支持向量机训练的坐标梯度下降法，计算。优化。申请。，47, 2, 179-206 (2010) ·Zbl 1226.90062号
[44] Y.Tsuruoka。；麦克诺特，J。；Tsujii，J。；Ananiadou，S.，《使用逻辑回归查找基因/蛋白质名称词典的学习字符串相似性度量》，生物信息学，23，20，2768-2774（2007）
[45] 温，B。；陈，XJ；Pong，TK，一类非凸非光滑最小化问题的带外推法的近端梯度算法的线性收敛性，SIAM J.Optim。，27, 1, 124-145 (2017) ·Zbl 1359.90138号
[46] SJ赖特；Nocedal，J.，《数值优化》（2006），纽约：Springer，纽约·Zbl 1104.65059号
[47] 徐，ZB；XY Chang；徐，FM；张，H\({左}_{1/2}正则化：阈值表示理论和快速求解器，IEEE Trans。神经网络。学习。系统。，1013-1027年7月23日（2012年）
[48] 杨，F。；沈毅。；Liu，ZS，具有复杂度的近似交替迭代硬阈值法（l_0）最小化（{O}（1/\sqrt{k}），J.Compute。申请。数学。，311, 115-129 (2017) ·Zbl 1354.49071号
[49] Yap、PT；Zhang，Y。；Shen，DG，通过（l_0）稀疏群估计对扩散MRI信号进行多组织分解，IEEE Trans。图像处理。，25, 9, 4340-4353 (2016) ·Zbl 1408.94770号
[50] 张，H。；尹，WT；Cheng，LZ，（1）范数极小化中解唯一的充要条件，J.Optim。理论应用。，164, 1, 109-122 (2015) ·Zbl 1308.65102号
[51] 郑，ZM；范，YY；Lv，JC，高维阈值回归和收缩效应，J.R.Stat.Soc.Ser。B统计方法。，76, 3, 627-649 (2014) ·Zbl 1411.62049号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。