×
张，范；王浩；王嘉善；Yang，Kai（杨凯）

凸集上非线性优化的非精确原对偶梯度投影方法。 （英语） Zbl 1460.90185号

优化 69，第10号，2339-2365（2020）.
摘要：本文提出了一种新的求解凸集约束非线性优化问题的原对偶非精确梯度投影方法。该方法只需要在每次迭代中不精确地计算凸集上的投影，从而减少每次迭代中投影的计算成本。此功能特别适用于解决投影在计算上不容易计算的问题。在宽松的假设下，给出了最优残差的全局收敛保证和（O（1/k））遍历收敛速度。我们将我们提出的策略应用于（ell_1）-ball约束问题。数值结果表明，我们求解球约束问题的不精确梯度投影方法比精确方法更有效。

引用于2文件

MSC公司：

90立方 非线性规划
90摄氏52度 减少梯度类型的方法

关键词：

不精确优化；梯度投影法；\（\ell_1\）-球投影；一阶方法；近似方法

软件：

项目管理局；运动类游戏；SPGL1型
PDF格式BibTeX公司 XML格式引用
\textit{F.Zhang}等人，优化69，No.10，2339--2365（2020；Zbl 1460.90185）
全文： 内政部 arXiv公司

参考文献：

[1] 博伊德，S。；El Ghaoui，L。；Feron，E.，系统和控制理论中的线性矩阵不等式，15（1994），Phildelphia:SIAM出版物，Phildelphia·兹伯利0816.93004
[2] 马萨诸塞州菲格雷多；罗德岛诺瓦克；Wright，SJ.，《稀疏重建的梯度投影：压缩传感和其他逆问题的应用》，IEEE J-STSP，1，4，586-597（2007）
[3] Hassibi，A。；如何，JP；Boyd，SP.，用凸优化方法设计低能控制器，J Guid Control Dyn，22，6，862-872（1999）
[4] Ng、AY、。特征选择、\（####）与\（####）正则化以及旋转不变性。第二十一届机器学习国际会议记录；ACM；2004年，第78页。
[5] Patriksson，M.，《关于连续非线性资源分配问题的调查》，《欧洲运筹学杂志》，185，1，1-46（2008）·Zbl 1146.90493号
[6] 范登伯格，E。；弗里德兰德，议员，《探索基追踪解决方案的帕累托边界》，SIAM科学计算杂志，31，2，890-912（2008）·Zbl 1193.49033号
[7] Tibshirani，R.，《通过套索进行回归收缩和选择》，皇家统计学会期刊B辑（方法学），58，1，267-288（1996）·Zbl 0850.62538号
[8] 李，SI；Lee，H。；Abbeel，P.，高效正则化逻辑回归，AAAI，6401-408（2006）
[9] IT部Jolliffe；Trendafilov，NT；Uddin，M.，基于套索的改进主成分技术，《计算图形统计杂志》，12，3，531-547（2003）
[10] Sigg，CD，Buhmann，JM.稀疏和非负主成分分析的期望最大化。第25届机器学习国际会议论文集；ACM；2008年，第960-967页。
[11] 维滕，DM；Tibshirani，R。；Hastie，T.，惩罚矩阵分解，应用于稀疏主成分和规范相关性分析，生物统计学，10，3515-534（2009）·Zbl 1437.62658号
[12] M.弗兰克。；Wolfe，P.，《二次规划的一种算法》，海军研究Logist Q，3，1-2，95-110（1956）
[13] Rosen，J.，非线性规划的梯度投影方法。第二部分。非线性约束，J Soc Indl Appl Math，9，4，514-532（1961）·Zbl 0231.90048号
[14] 民主党Bertsekas。，非线性规划（1999年），贝尔蒙特：雅典娜科学出版社，贝尔蒙特·Zbl 1015.90077号
[15] Combettes，PL.，通过非扩张平均算子的组合求解单调包含，Optim，53，5-6，475-504（2004）·Zbl 1153.47305号
[16] Nesterov，Y.，凸优化入门讲座，87（2004），美国纽约：Springer US，New York，USA·兹比尔1086.90045
[17] Bubeck，S.，《凸优化：算法和复杂性》，《发现趋势-马赫学习》，8，3-4，231-357（2015）·Zbl 1365.90196号
[18] 伯金，EG；马丁内斯，JM；Raydan，M.，凸集上的非单调谱投影梯度法，SIAM J Optim，10，4，1196-1211（2000）·Zbl 1047.90077号
[19] 伯金，EG；马丁内斯，JM；Raydan，M.，《算法813:Spg-software for converx-constrained optimization》，ACM Trans Math Soft（TOMS），27，3，340-349（2001）·Zbl 1070.65547号
[20] Barzilai，J。；Borwein，JM.，两点步长梯度法，IMA J Numer Ana，8，1，141-148（1988）·Zbl 0638.65055号
[21] 格里波，L。；Lampariello，F。；Lucidi，S.，牛顿法的非单调线搜索技术，SIAM J Numer Ana，23，4，707-716（1986）·Zbl 0616.65067号
[22] 贝克，A。；Teboulle，M.，约束全变分图像去噪和去模糊问题的快速梯度算法，IEEE T图像处理，18，11，2419-2434（2009）·Zbl 1371.94049号
[23] Nesterov，Y.，最小化复合函数的梯度方法，《数学程序》，140，1，125-161（2013）·Zbl 1287.90067号
[24] Schmidt，M，Berg，E，Friedlander，M等。用简单约束优化代价高昂的函数：有限内存投影准牛顿算法。In：人工智能与统计；2009年，第456-463页。
[25] 卢斯，R。；Teboulle，M.，带稀疏约束的秩一矩阵近似的条件梯度算法，SIAM Rev，55，1，65-98（2013）·Zbl 1263.90094号
[26] Polak，E.，《优化中的计算方法：统一方法》，77（1971），纽约：学术出版社，纽约
[27] 威斯康星州赞维尔。，非线性规划：统一方法，196（1969）·Zbl 0195.20804号
[28] Bertsekas博士。关于goldstein-levitinolyak梯度投影法。1974年IEEE决策与控制会议，包括第13届自适应过程研讨会；IEEE；1974年，第47-52页。
[29] 伯金，EG；马丁内斯，JM；Raydan，M.，凸集上的非精确谱投影梯度法，IMA J Numer Anal，23，4，539-559（2003）·Zbl 1047.65042号
[30] 帕特拉斯库，A。；Necoara，I.，关于凸极小化的不精确投影原始一阶方法的收敛性，IEEE Trans Automatic Control，63，10，3317-3329（2018）·Zbl 1423.90186号
[31] Goldstein，AA.，hilbert空间中的凸规划，Bullet Amer Math Soc，70，5，709-7111（1964）·Zbl 0142.17101号
[32] 莱维汀，ES；Polyak，BT.，约束最小化方法，苏联Comp数学物理+，6，5，1-50（1966）
[33] McCormick，G。；Tapia，R.，轻度可微条件下的梯度投影法，SIAM J Control，10，1，93-98（1972）·Zbl 0237.49019号
[34] Rockafellar，RT.，凸分析（2015），普林斯顿（新泽西：普林斯顿大学出版社，普林斯顿）
[35] 袁毅，关于截断共轭梯度法，数学规划，87，3，561-573（2000）·Zbl 0955.65039号
[36] 伯克，JV.2017。华盛顿大学数学516，讲稿：梯度投影算法。可从以下位置获得：https://sites.math.washington.edu/伯克/crs/516/notes/grad-proj-alg.pdf。
[37] JJ莫罗。，Proximitéet dualitédans un espace hilbertien，法国公牛数学协会，93，2，273-299（1965）·Zbl 0136.12101号
[38] Koh，K。；Kim，SJ；Boyd，S.，大规模l1-正则逻辑回归的内点方法，J Mach Learn Res，81519-1555（2007）·Zbl 1222.62092号
[39] 坎迪斯，E。；Tao，T.，《dantzig选择器：当p远大于n时的统计估计》，《Ann Stat》，35，6，2313-2351（2007）·Zbl 1139.62019号
[40] 坎迪斯，EJ；JK隆伯格；Tao，T.，从不完整和不准确的测量中恢复稳定信号，Commun Pure Appl Math:Jl Iss Courant Inst Math Sci，59，8，1207-1223（2006）·邮编1098.94009
[41] 坎迪斯，EJ；Wakin，MB；Boyd，SP.，《通过重加权最小化增强稀疏性》，《傅里叶分析应用杂志》，14，5-6，877-905（2008）·Zbl 1176.94014号
[42] Amelunxen博士。；洛茨，M。；McCoy，MB，《生活在边缘：随机数据凸规划中的相变》，《Inform Infer A J IMA》，3，3，224-294（2014）·Zbl 1339.90251号
[43] Stojnic，M.压缩感知中的\（####）-优化的各种阈值。预打印；2009年，arXiv:09073666。
[44] Michelot，C.，求点在标准单纯形上投影的有限算法，J Optim理论应用，50，1195-200（1986）·Zbl 0571.90074号
[45] Duchi，J，Shalev-Shwartz，S，Singer，Y，et al.高维学习中对“（####）”球的有效投影。第25届机器学习国际会议论文集；ACM；2008年，第272-279页。
[46] Condat，L.，《单纯形和（####）球的快速投影》，《数学程序》，158，1-2，575-585（2016）·Zbl 1347.49050号
[47] Journée，M。；内斯特罗夫，Y。；Richtárik，P.，稀疏主成分分析的广义幂方法，J Mach Learn Res，11517-553（2010）·兹比尔1242.62048
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。