×
朱文兴;黄华婷;蒋兰凡;陈建丽

稀疏约束优化的加权阈值同伦方法。 （英语） Zbl 1502.90113号

J.库姆。最佳方案。 44，第3期，1924-1952（2022）.
摘要：本文针对稀疏约束优化问题提出了一种新的加权阈值方法。通过将问题等价地转化为一个混合整数规划，我们研究了关于l_1范数约束的Lagrange对偶性，并证明了强对偶性。然后导出了求解内拉格朗日问题的加权阈值方法，并分析了其收敛性。此外，我们给出了在一些假设条件下解的误差界。进一步，基于所提出的方法，我们发展了一种具有可变稀疏度和拉格朗日乘子的同伦算法，并证明了该算法在一定条件下收敛到原问题的一个L平稳点。计算实验表明，对于稀疏约束优化问题，该算法与现有方法相比具有竞争力。

理学硕士：

90立方厘米 混合整数编程

关键词：

稀疏约束优化;混合整数规划;拉格朗日方法;加权阈值;同伦技术

软件：

glmnet公司;CoSaMP公司
PDF格式BibTeX公司 XML格式引用
\textit{W.Zhu}等人，J.Comb。最佳方案。44，编号3，1924--1952（2022；Zbl 1502.90113）
全文： 内政部

参考文献：

[1] Bahmani，S。；拉杰，B。；Boufounos，P.，贪婪稀疏约束优化，J Mach Learn Res，14，1，807-841（2013）·Zbl 1320.90046号
[2] 贝克，A。；Hallak，N.，《稀疏对称集上的最小化：投影、最优条件和算法》，《数学运算研究》，41，1，196-223（2016）·Zbl 1334.90129号 ·doi:10.1287/门2015.0722
[3] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM成像科学杂志，2，1，183-202（2009）·Zbl 1175.94009号 ·doi:10.1137/080716542
[4] 毕，S。；刘，X。；Pan，S.，基于MPEC公式的零范数最小化精确惩罚分解方法，SIAM科学计算杂志，36，4，A1451-A1477（2014）·Zbl 1306.65211号 ·数字对象标识代码：10.1137/10855867
[5] Blumensath，T.，《加速迭代硬阈值法》，Sig过程，92，3，752-756（2012）·doi:10.1016/j.sigpro.2011.09.017
[6] Blumensath，T。；Davies，ME，稀疏近似的迭代阈值，傅里叶分析应用杂志，14，5-6，629-654（2008）·Zbl 1175.94060号 ·doi:10.1007/s00041-008-9035-z
[7] Blumensath，T。；Davies，ME，《标准化迭代硬阈值：保证稳定性和性能》，IEEE J Sel Top Signal Process，4，2，298-309（2010）·doi:10.1109/JSTSP.2010.2042411
[8] 坎迪斯，EJ；Tao，T.，线性规划解码，IEEE Trans-Inf理论，51，12，4203-4215（2005）·Zbl 1264.94121号 ·doi:10.1109/TIT.2005.858979
[9] 坎迪斯，EJ；Wakin，MB；Boyd，SP，通过重新加权\（l_1\）最小化增强稀疏性，傅里叶分析应用杂志，14，5-6，877-905（2008）·Zbl 1176.94014号 ·doi:10.1007/s00041-008-9045-x
[10] 陈，Y。；Ye，Y。；Wang，M.，一类稀疏优化问题的近似硬度，J Mach Learn Res，20，1-27（2019）·Zbl 1484.68064号
[11] 东，Z。；Zhu，W.，压缩感知问题基于（l_0）范数的同伦方法，IEEE Trans Neural Netw Learn Syst，29，4，1132-1146（2018）·doi:10.1109/TNNLS.2017.2658953
[12] 多诺霍，DL；Tsaig，Y.，解可能稀疏时（l_1）范数最小化问题的快速解，IEEE Trans-Inf理论，54，11，4789-4812（2008）·Zbl 1247.94009号 ·doi:10.10109/TIT.2008.929958
[13] Elad，M.，《稀疏和冗余表示：从理论到信号和图像处理应用》（2010），纽约：Springer，纽约·Zbl 1211.94001号 ·doi:10.1007/978-1-4419-7011-4
[14] 范，J。；Li，R.，《基于非一致惩罚似然的变量选择及其预言属性》，美国统计协会，96，456，1348-1360（2001）·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[15] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，通过坐标下降的广义线性模型的正则化路径，J Stat Softw，33，1，1-22（2010）·doi:10.18637/jss.v033.i01
[16] 盖恩，I。；Gunn，S。；Ben-Hur，A。；Dror，G。；索尔，LK；韦斯，Y。；Bottou，L.，《nips 2003特征选择挑战的结果分析》，《神经信息处理系统的进展》17，545-552（2005），马萨诸塞州剑桥：MIT-Press，马萨诸塞诸塞州坎布里奇
[17] Jain P，Rao N，Dhillon I（2016）通过贪婪硬阈值构建稀疏回归。In：神经信息处理系统（NIPS）进展，第1516-1524页
[18] 焦，Y。；Jin，B。；Lu，X.，（l_0）正则优化问题的一个带延拓算法的原对偶活动集，应用计算Harmon Ana，39，3，400-426（2015）·Zbl 1329.49042号 ·doi:10.1016/j.acha.2014.10.001
[19] Khajehnejad MA，Xu W，Avestimehr AS，Hassibi B（2009）基于先验信息的稀疏恢复加权（l_1）最小化。2009年IEEE信息理论国际研讨会，第483-487页
[20] Koh，K。；Kim，S。；Boyd，S.，《大规模（l_1）正则化逻辑回归的内点方法》，J Mach Learn Res，81519-1555（2007）·Zbl 1222.62092号
[21] 李强。；Bai，Y。；Yu，C。；袁，Y-X，（l_0）范数极小化问题的一种新的分段二次逼近方法，科学中国数学，62,1185-204（2019）·Zbl 1409.90188号 ·doi:10.1007/s11425-017-9315-9
[22] Li X，Zhao T，Arora R，Liu H，Haupt J（2016）非凸稀疏学习的随机方差减少优化。In:机器学习国际会议（ICML），第917-925页
[23] Liu B，Yuan X，Wang L，Liu Q，Metaxas DN（2017）双重迭代硬阈值：从非凸稀疏最小化到非光滑凹最大化。In:机器学习国际会议（ICML），第2179-2187页
[24] 刘，Y。；毕，S。；Pan，S.，零形式和秩优化问题的等效Lipschitz代理，J Global Optim，72，4，679-704（2018）·Zbl 1404.90117号 ·doi:10.1007/s10898-018-0675-5
[25] Lu，Z.，正则凸锥规划的迭代硬阈值方法，数学程序，147，1-2125-154（2014）·Zbl 1308.65094号 ·doi:10.1007/s10107-013-0714-4
[26] 卢，Z。；Zhang，Y.，通过惩罚分解方法的稀疏近似，SIAM J Optim，23，4，2448-2478（2013）·Zbl 1295.90056号 ·doi:10.1137/100808071
[27] Mairal，J。；巴赫，F。；Ponce，J.，图像和视觉处理的稀疏建模，Found Trends Comput Graphics Vis，8，2-3，85-283（2014）·Zbl 1333.68263号 ·doi:10.1561/0600000058
[28] Mallat，S。；Zhang，用时频字典匹配追踪，IEEE Trans Signal Process，41，12，3397-3415（1993）·Zbl 0842.94004号 ·数字对象标识代码：10.1109/78.258082
[29] Needell，D。；Tropp，JA，Cosamp：从不完整和不准确样本中恢复迭代信号，《应用计算和谐分析》，26，3，301-321（2009）·Zbl 1163.94003号 ·doi:10.1016/j.acha.2008.07.002
[30] Newman D、Hrttich S、Blake C、Merz C（1998）机器学习数据库的UCI存储库。www.ics.uci.edu/mlearn/MLRepository.html
[31] Nguyen，N。；Needell，D。；Woolf，T.，稀疏约束随机迭代贪婪算法的线性收敛，IEEE Trans-Inf理论，63，11，6869-6895（2017）·Zbl 1390.94326号 ·doi:10.1109/TIT.2017.2749330
[32] 邱，K。；Dogandíić，A.，通过ecme硬阈值重建稀疏信号，IEEE Trans signal Process，60，9，4551-4569（2012）·Zbl 1393.94707号 ·doi:10.1109/TSP.2012.2203818
[33] 拉科托莫蒙吉，A。；科科，S。；Ralaivola，L.，《贪婪方法、随机化方法和高效稀疏约束优化的多臂强盗算法》，IEEE Trans Neural Netw学习系统，28，11，2789-2802（2017）·doi:10.1109/TNNLS.2016.2600243
[34] 沈，X。；潘·W。；Zhu，Y。；Zhou，H.，关于约束和正则化高维回归，Ann Inst Stat Math，65，5，807-832（2013）·兹比尔1329.62307 ·doi:10.1007/s10463-012-0396-3
[35] 苏森，C。；Idier，J。；Duan，J。；Brie，D.，基于同伦的（l_0）正则最小二乘算法，IEEE Trans-Signal Process，63，13，3301-3316（2015）·兹比尔1394.94555 ·doi:10.1109/TSP.2015.2421476
[36] JA特罗普；AC Gilbert，通过正交匹配追踪从随机测量中恢复信号，IEEE Trans-Inf理论，53，12，4655-4666（2007）·Zbl 1288.94022号 ·doi:10.1109/TIT.2007.909108
[37] 项，S。；沈，X。；Ye，J.，通过连续和离散优化进行有效的非凸稀疏组特征选择，Artif Intell，224，28-50（2015）·兹比尔1343.68210 ·doi:10.1016/j.artint.2015.02.008
[38] 肖，L。；Zhang，T.，稀疏最小二乘问题的近似同伦方法，SIAM J Optim，23，2，1062-1091（2013）·Zbl 1280.65057号 ·doi:10.1137/120869997
[39] 徐，Z。；Chang，X。；徐，F。；Zhang，H.，（l_{1/2}）正则化：阈值表示理论和快速求解器，IEEE跨神经网络学习系统，23，7，1013-1027（2012）·doi:10.1109/TNNLS.2012.2197412
[40] 袁，X。；李，P。；Zhang，T.，梯度硬阈值追求，J Mach Learn Res，18，1-43（2018）·Zbl 1471.90114号
[41] 张，C-H；Zhang，T.，高维稀疏估计问题凹正则化的一般理论，Stat Sci，27，4，576-593（2012）·Zbl 1331.62353号 ·doi:10.1214/12-STS399
[42] Zhang，T.，稀疏正则化的多级凸松弛分析，J Mach Learn Res，11，1081-1107（2010）·Zbl 1242.68262号
[43] 张，Z。；Xu，Y。；杨，J。；李，X。；Zhang，D.，《稀疏表示的调查：算法和应用》，IEEE Access，3490-530（2015）·doi:10.1109/ACCESS.2015.2430359
[44] Zhao，Y.，《稀疏优化理论和方法》（2018），博卡拉顿：CRC出版社/泰勒和弗朗西斯集团，博卡拉顿·Zbl 1391.90003号 ·doi:10.1201/9781315113142
[45] 赵，Y。；Li，D.，欠定线性系统稀疏解的重加权（l_1）最小化，SIAM J Optim，22，3，1065-1088（2012）·Zbl 1261.65042号 ·doi:10.1137/110847445
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。