×
马苏德·阿霍霍什;阿诺德·诺伊梅尔

大规模有界约束凸优化的最优次梯度算法。 （英语） Zbl 1380.90215号

数学。方法操作。物件。 86，第1期，123-147（2017）.
摘要：本文表明，最优次梯度算法（OSGA）——利用一阶信息来解决具有最优复杂度的凸优化问题——可以有效地解决任意约束的凸优化问题。这是通过构造一个显式方法和一个非精确方案来解决OSGA所需的有界约束有理子问题来实现的。这导致了OSGA在信号和图像处理、机器学习和统计等应用程序中大规模问题的高效实现。数值实验表明，OSGA在此类问题上具有良好的性能。有一个软件包可用于实现有界约束凸问题的OSGA。

引用于7文件

MSC公司：

90C25型 凸面编程
90C60型 数学规划问题的抽象计算复杂性
49立方米 基于非线性规划的数值方法
65千5 数值数学规划方法
65年第68季度 算法和问题复杂性分析

关键词：

有界约束凸优化;非光滑优化;一阶黑盒预言机;次梯度方法;最优复杂度;高维数据

软件：

OSGA公司;LBFGS-B型;NNLS公司;TRON公司
PDF格式BibTeX公司 XML格式引用
\textit{M.Ahookhosh}和\textit{A.Neumaier}，数学。方法操作。第86号决议，第1号，第123--147号（2017年；Zbl 1380.90215）
全文： 内政部 arXiv公司

参考文献：

[1] Ahookhosh M（2014）OSGA（最优次梯度算法）用户手册。http://homepage.univie.ac.at/masoud.ahookhosh/uploads/用户's_manual_for_OSGA.pdf<参考目标地址=“http://homepage.univie.ac.at/masoud.ahookhosh/uploads/用户“·Zbl 1391.94442号
[2] Ahookhosh M（2016）最优次梯度算法及其在大规模线性反问题中的应用。提交。arXiv公司：1402.7291
[3] Ahookhosh M，Neumaier A（2013）通过最优仿射次梯度算法实现高维凸优化。地址：韩国车间，第83-84页·Zbl 1186.65049号
[4] Ahookhosh M，Neumaier A（2016）求解复杂结构非光滑凸优化\[\cal{O}（\varepsilon^{-1/2}）O\]（ε-1/2）（已提交）·Zbl 1391.90466号
[5] Ahookhosh M，Neumaier A（2016）一种用于代价高昂的凸优化问题的带子空间搜索的最优次梯度算法（已提交）·Zbl 1412.90105号
[6] Ahookhosh M，Neumaier A（2017）简单域中大规模凸优化的最优次梯度算法。数值算法·Zbl 1411.90261号
[7] Bardsley J，Vogel CR（2003）图像重建的非负约束凸规划方法。SIAM科学计算杂志25:1326-1343·Zbl 1061.65047号 ·doi:10.1137/S1064827502410451
[8] Beck A，Teboulle M（2009）《用于约束全变分图像去噪和去模糊的基于梯度的快速算法》。IEEE Trans image Process 18（11）：2419-2434·Zbl 1371.94049号 ·doi:10.1109/TIP.2009.2028250
[9] Birgin EG，Martinez JM，Raydan M（2000）凸集上的非单调谱投影梯度方法。SIAM J Optim公司10:1196-1211·Zbl 1047.90077号 ·doi:10.1137/S1052623497330963
[10] BoţRI，Hendrich C（2013）一种Douglas-Rachford型原对偶方法，用于求解混合复合型和平行和型单调算子的夹杂物。SIAM J Optim 23（4）：2541-2565·Zbl 1295.47066号 ·doi:10.137/120901106
[11] BoţRI，Csetnek ER，Hendrich C（2013）一种寻找最大单调算子和零点的原对偶分裂算法。SIAM J Optim公司23:2011-236·Zbl 1314.47102号 ·数字对象标识码：10.1137/12088255X
[12] Boyd S，Xiao L，Mutapcic A（2003）分段梯度法。http://www.stanford.edu/class/ee392o/subgrad_method.pdf ·Zbl 0940.65065号
[13] Branch MA，Coleman TF，Li Y（1999）用于大规模有界约束最小化问题的子空间、内部和共轭梯度法。SIAM科学计算杂志21:1-23·Zbl 0940.65065号 ·doi:10.1137/S1064827595289108
[14] Byrd RH，Lu P，Nocedal J，Zhu C（1995）边界约束优化的有限内存算法。SIAM科学计算杂志16:1190-1208·Zbl 0836.65080号 ·doi:10.1137/0916069
[15] Chambolle A，Caselles V，Cremers D，Novaga M，Pock T（2010）图像分析总变异简介，In：稀疏恢复的理论基础和数值方法，第9卷，De Gruyter，Radon Series Comp。申请。数学，第263-340页·Zbl 1209.94004号
[16] Chan RH，Tao M，Yuan X（2013）基于交替方向乘数法的约束全变差去模糊模型和快速算法。SIAM影像科学杂志6（1）：680-697·Zbl 1279.68322号 ·数字对象标识代码：10.1137/10860185
[17] Dai YH，Fletcher R（2006）受下界和上界约束的单线性约束二次规划的新算法。数学程序106:403-421·Zbl 1134.90030号 ·doi:10.1007/s10107-005-0595-2
[18] Elfving T，Hansen PC，Nikazad T（2012），投影SIRT算法的半收敛和松弛参数。SIAM科学计算杂志34（4）：2000-2017·Zbl 1254.65044号 ·doi:10.1137/110834640
[19] Esser E，Lou Y，Xin J（2013）非负最小二乘问题结构化稀疏解的求法及其应用。SIAM J成像科学6（4）：2010-2046·Zbl 1282.90239号 ·doi:10.1137/13090540X
[20] Karmitsa N，MäkeläMM（2010）大边界约束非光滑优化的有限内存束方法：收敛性分析。Optim Methods Softw软件25（6）：895-916·Zbl 1198.90359号 ·网址：10.1080/10556780902842495
[21] Karmitsa N，MäkeläMM（2010）有界约束大规模非光滑优化的自适应有限内存束方法。优化59（6）：945-962·Zbl 1195.90073号 ·doi:10.1080/02331930902884398
[22] Kaufman L，Neumaier A（1996）通过包络引导共轭梯度进行PET正则化。IEEE Trans-Med成像15:385-389·doi:10.1109/42.500147
[23] Kaufman L，Neumaier A（1997）用包络引导共轭梯度正则化不适定问题。J计算图统计6（4）：451-463
[24] Kim D，Sra S，Dhillon IS（2010）通过新的投影准Newton方法处理箱约束优化。SIAM科学计算杂志32:3548-3563·Zbl 1220.93085号 ·数字对象标识码：10.1137/08073812X
[25] Hager WW，Zhang H（2006）一种新的用于框约束优化的主动集算法。SIAM J Optim公司17:526-557·Zbl 1165.90570号 ·doi:10.1137/050635225
[26] Hager WW，Zhang H（2013）有限记忆共轭梯度法。SIAM J Optim公司23:2150-2168·Zbl 1298.90129号 ·数字对象标识代码：10.1137/120898097
[27] Helgason R，Kennington J，Lall H（1980）单约束二次规划的多项式界算法。数学课程18:338-343·Zbl 0452.90054号 ·doi:10.1007/BF01588328
[28] Lin CJ，MoréJJ（1999）大型有界约束优化问题的牛顿方法。SIAM J Optim公司9:1100-127·Zbl 0957.65064号 ·doi:10.1137/S1052623498345075
[29] Morini S，Porcelli M，Chan RH（2010）约束线性最小二乘问题的简化牛顿法。计算机应用数学杂志233:2200-2212·Zbl 1186.65049号 ·doi:10.1016/j.cam.2009.10.006
[30] Nemirovsky AS，Yudin DB（1983）优化中的问题复杂性和方法效率。纽约威利·Zbl 0501.90062号
[31] Nesterov Y（2004）关于凸优化的介绍性讲座：一门基础课程。多德雷赫特·克鲁沃·Zbl 1086.90045号 ·doi:10.1007/978-1-4419-8853-9
[32] Nesterov Y（2005）非光滑函数的平滑最小化。数学课程103:127-152·Zbl 1079.90102号 ·doi:10.1007/s10107-004-0552-5
[33] Neumaier A（1998）求解病态和奇异线性系统：正则化教程。SIAM版本40（3）：636-666·Zbl 0913.65032号 ·doi:10.1137/S0036144597321909
[34] Neumaier A（2001）数值分析导论。剑桥大学出版社·Zbl 0980.65001号 ·doi:10.1017/CBO9780511612916
[35] Neumaier A（2016）OSGA：一种具有最佳复杂度的快速次梯度算法。数学课程158:1-21·Zbl 1346.90671号 ·doi:10.1007/s10107-015-0911-4
[36] Neumaier A，Azmi B（2016）LMBOPT:一种有限记忆的边界约束优化方法，维也纳大学手稿·Zbl 1489.90185号
[37] Pardalos PM，Kovoor N（1990）受上下界约束的单约束二次规划类的算法。数学课程46:321-328·Zbl 0711.90061号 ·doi:10.1007/BF01585748
[38] Woo H，Yun S（2013）乘法去噪的近似线性交替方向法。SIAM科学计算杂志35:336-358·兹比尔1326.94025 ·数字对象标识码：10.1137/1083811X
[39] Wright SJ，Nowak RD，Figueiredo MAT（2009）通过可分离近似进行稀疏重建。IEEE传输信号处理57（7）：2479-2493·Zbl 1391.94442号 ·doi:10.1109/TSP.2009.2016892
[40] Zhang J，Morini B（2013）用交替方向法求解正则化线性最小二乘问题及其在图像恢复中的应用。电子传输数字分析40:356-372·Zbl 1288.65090号
[41] Zhang X，Saha A，Vishwanathan SVN（2011）切割平面方法收敛速度的下限。In:神经信息处理系统的进展23·Zbl 1391.94442号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。