×
陆兆松;陈晓军

有限收敛正则凸二次规划的广义共轭梯度法。 （英语） Zbl 1432.90101号

数学。操作。物件。 43，第1号，275-303（2018）.
共轭梯度法（CG）是求解大规模强凸二次规划（QP）的一种有效迭代方法。在本文中，我们提出了一些广义CG（GCG）方法来求解在有限次迭代中终止于最优解的（ell_1）正则化（可能不是强的）凸QP。在每次迭代时，我们的方法首先识别一个正值的面，然后沿着目标函数的负投影最小范数次梯度的方向执行精确的线搜索，或者执行一个CG子程序，该子程序执行一系列CG迭代，直到CG迭代越过该面的边界或超过的近似极小值找到此面或子面。我们通过比较目标函数的最小范数次梯度的某些分量与其其余分量的分量的大小来确定应该采取哪种类型的步骤。我们对这些方法的有限收敛性的分析利用了误差界结果以及上述精确线搜索和CG子程序的一些关键特性。我们还表明，通过允许CG子程序的执行存在一些不精确性，所提出的方法能够找到问题的近似解。我们的GCG方法寻找（varepsilon）最优解的总体算术运算成本取决于（O（log（1/varepsilen））中的[A.贝克和M.Teboulle先生，SIAM J.成像科学。2，第1期，183-202（2009年；兹比尔1175.94009);于。内斯特罗夫，数学。程序。140，第1（B）号，第125–161页（2013年；Zbl 1287.90067号)]，这取决于\（O（1/\sqrt{\varepsilon}）\中的\（\varepsilon\）。此外，我们的GCG方法可以直接推广到求解有限收敛的箱约束凸QP。数值结果表明，我们的方法非常适合于求解病态问题。

引用于三文件

MSC公司：

90C20个 二次规划
65千5 数值数学规划方法
65年20月 数值算法的复杂性和性能
62-08 统计问题的计算方法
90C06型 数学规划中的大尺度问题
90C25型 凸面编程
11-06 与数论有关的会议记录、会议记录、收藏品等

关键词：

共轭梯度法;凸二次规划;\（\ell_1\）-正则化;稀疏优化;有限收敛性

引文：

Zbl 1175.94009号;Zbl 1287.90067号

软件：

ElemStatLearn（电子状态学习）;PDCO公司;全氟辛烷磺酸;Yall1号机组;TwIST公司
PDF格式BibTeX公司 XML格式引用
\textit{Z.Lu}和\textit{X.Chen}，数学。操作。第43号决议，第1275-303号（2018年；兹bl 1432.90101）
全文： 内政部 arXiv公司

参考文献：

[1] Afonso MV，Bioucas-Dias JM，Figueiredo MAT（2010）使用可变分割和约束优化实现快速图像恢复。IEEE T.信号程序。19(9):2345-2356. ·Zbl 1371.94018号
[2] Beck A，Teboulle M（2009）线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2(1):183-202. ·Zbl 1175.94009号 ·doi:10.1137/080716542
[3] Becker SR，Candès EJ，Grant MC（2011）凸锥问题模板及其在稀疏信号恢复中的应用。数学。掠夺。计算。3(3):165-218. ·Zbl 1257.90042号 ·doi:10.1007/s12532-011-0029-5
[4] Bioucas-Dias JM，Figueiredo MAT（2007）新的TwIST：图像恢复的两步迭代收缩/阈值算法。IEEE T.信号程序。16(12):2992-3004.
[5] Bruckstein AM、Donoho DL、Elad M（2009），从方程组的稀疏解到信号和图像的稀疏建模。SIAM版本51（1）：34-81·Zbl 1178.68619号 ·doi:10.1137/060657704
[6] Byrd RH，Nocedal J，Solntsev S（2015）《具有灵活活动集策略的二次▽1-正则化优化算法》。最佳方案。方法软件。30(6):1213-1237. ·Zbl 1328.90097号 ·doi:10.1080/10556788.2015.1028062
[7] Candès E，Romberg J（2005）У1-魔法：通过凸规划恢复稀疏信号。《应用和计算数学用户指南》（加利福尼亚州帕萨迪纳加利福尼亚理工学院）。
[8] Chen S，Donoho D，Saunders M（1998）基于基追踪的原子分解。SIAM J.科学。计算。20(1):33-61. ·Zbl 0919.94002号 ·doi:10.137/S1064827596304010
[9] 邓伟，殷伟，张勇（2011）交替方向法的群稀疏优化。德克萨斯州休斯顿莱斯大学CAAM技术报告TR11-06。
[10] Donoho DL（1995）《软阈值去噪》。IEEE传输。通知。理论41（3）：613-627·Zbl 0820.62002号 ·doi:10.1109/18.382009年
[11] Dostal Z（1997）带比例和投影的箱约束二次规划。SIAM J.Optim公司。7(3):871-887. ·Zbl 0912.65052号 ·doi:10.1137/S1052623494266250
[12] Dostal Z，Schöberl J（2005）最小化受收敛速度和有限终止约束的二次函数。公司。最佳方案。申请。30(1):23-43. ·Zbl 1071.65085号 ·doi:10.1023/B:COAP.000049888.80264.25
[13] Fountoulakis K，Gondzio J（2016）强凸▽1-正则化问题的二阶方法。数学。掠夺。156(1):189-219. ·Zbl 1364.90255号 ·doi:10.1007/s10107-015-0875-4
[14] Goldstein T，Osher S（2009年），用于求解У1-正则化问题的分裂Bregman方法。SIAM J.成像科学。2(2):323-343. ·Zbl 1177.65088号 ·doi:10.1137/080725891
[15] Hale ET，Yin W，Zhang Y（2010）压缩传感应用的定点延拓：实现和数值实验。J.计算。数学。28(2):170-194. ·Zbl 1224.65153号
[16] Hastie T、Tibshirani R、Friedman JH（2001）《统计学习的要素：数据挖掘、推断和预测》（纽约斯普林格出版社）·Zbl 0973.62007号 ·doi:10.1007/978-0-387-21606-5
[17] Hayami K（2001）关于奇异系统共轭残差法的行为。NII技术报告，国家信息学研究所，东京。
[18] Kaasschieter EF（1988）求解奇异系统的预处理共轭梯度。J.计算。申请。数学。24(1-2):265-275. ·兹伯利0659.65031 ·doi:10.1016/0377-0427（88）90358-5
[19] Kammerer WJ，Nashed MZ（1972）关于奇异线性算子方程共轭梯度法的收敛性。SIAM J.数字。分析。9(1):165-181. ·Zbl 0243.65026号 ·doi:10.1137/0709016
[20] Kim S-J，Koh K，Lustig M，Boyd S，Gorinevsky D（2007年）《大规模∏1-正则化最小二乘的内点法》。IEEE T.信号程序。1(4):606-617. ·doi:10.1109/JSTSP.2007.910971
[21] Li W（1995）分段凸二次规划的误差界及其应用。SIAM J.控制优化。33(5):1510-1529. ·Zbl 0836.90125号 ·doi:10.1137/S0363012993243022
[22] Milzarek A，Ulbrich M（2014）针对l1优化的多维滤波器全球化半光滑牛顿法。SIAM J.Optim公司。24(1):298-333. ·Zbl 1295.49022号 ·doi:10.1137/120892167
[23] Nesterov Y（2013）用于最小化复合函数的梯度方法。数学。程序。140(1):125-161. ·Zbl 1287.90067号 ·doi:10.1007/s10107-012-0629-5
[24] Nocedal J，Wright SJ（2006）《数值优化》，第二版（纽约斯普林格出版社）·Zbl 1104.65059号
[25] O’Leary DP（1980）求解一类二次规划问题的广义共轭梯度算法。线性算法。申请。34:371-399. ·Zbl 0464.65039号 ·doi:10.1016/0024-3795（80）90173-1
[26] Robinson SM（1981）多面体多函数的一些连续性。数学。程序。螺柱.14:206-214·Zbl 0449.90090号 ·doi:10.1007/BFb0120929
[27] Schmidt M（2010）《图形模型结构学习与▽1-正则化》。温哥华不列颠哥伦比亚大学博士论文。
[28] Sra S、Nowozin S、Wright SJ（2011）《机器学习优化》（麻省理工学院出版社，马萨诸塞州剑桥）。 ·doi:10.7551/mitpress/8996.001.0001
[29] Steihaug T（1983）共轭梯度法和大规模优化中的信赖域。SIAM J.数字。分析。20(3):626-637. ·兹比尔0518.65042 ·doi:10.1137/0720042
[30] Toint PL（1981）利用牛顿法实现高效稀疏性最小化。Duff IS编辑，《稀疏矩阵及其使用》（伦敦学术出版社），第57-88页·Zbl 0463.65045号
[31] Wright SJ，Nowak R，Figueiredo MAT（2009）《可分离近似稀疏重建》。IEEE T.信号程序。57(7):2479-2493. ·Zbl 1391.94442号 ·doi:10.1109/TSP.2009.2016892
[32] Xiao L，Zhang T（2013）稀疏最小二乘问题的近似粒度同伦方法。SIAM J.Optim公司。23(2):1062-1091. ·Zbl 1280.65057号 ·doi:10.1137/120869997
[33] Yang J，Zhang Y（2010）《压缩传感中的▽1问题的交替方向算法》。SIAM J.科学。计算。33(1):250-278. ·Zbl 1256.65060号 ·数字对象标识码：10.1137/09077761
[34] Yun S，Toh K-C（2011）l1正则化凸最小化的坐标梯度下降方法·Zbl 1220.90092号 ·doi:10.1007/s10589-009-9251-8
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。