×
阿扎姆·阿斯尔;迈克尔·奥弗顿。

对一类非光滑凸函数的Armijo-Wolfe线搜索梯度法进行了分析。 （英语） Zbl 1437.90124号

最佳方案。方法软件。 35，第2期，223-242（2020年）.
摘要：众所周知，梯度（最速下降）方法在非光滑问题上可能会失败，但文献中出现的例子要么是专门设计来用精确的线搜索击败梯度或次梯度方法，要么是相对于初始点的扰动不稳定的。分析了非光滑凸函数（f（x）=a|x^{（1）}|+sum^n_{i=2}x^{（i）}）上步长满足Armijo和Wolfe不精确线搜索条件的梯度法。我们证明，如果\（a）足够大，并且满足仅依赖Armijo参数的条件，那么，当方法在具有\（x^{（1）}_0\neq0）的任何点\（x_0\in\mathbb{R}^n \）处启动时，迭代收敛到具有\（上划线{x}^{。我们还给出了迭代\（f（x_k）\ to-\infty\）的条件，使用特定的Armijo-Wolfe括号行搜索。我们的实验结果表明，我们的分析相当严密。

引用于5文件

MSC公司：

90C25型 凸面编程
65千5 数值数学规划方法

关键词：

最速下降法;凸优化;非光滑优化

软件：

L-BFGS公司;GradSamp公司;香蒜酱;格兰索
PDF格式BibTeX公司 XML格式引用
\textit{A.Asl}和\textit{M.L.Overton}，Optim。方法软件。35，第2号，223--242（2020；Zbl 1437.90124）
全文： 内政部 arXiv公司

参考文献：

[1] Armijo，L.，具有Lipschitz连续一阶偏导数的函数的最小化，太平洋数学杂志。，16, 1-3 (1966) ·Zbl 0202.46105号 ·doi:10.2140/pjm.1966.16.1
[2] Asl，A.和Overton，M.L.，一类非光滑凸函数上有限记忆BFGS的分析，IMA J.Numer。分析。（2019）。可从获取·Zbl 1464.65060号
[3] Bertsekas，D.，非线性规划（1999），Athena Scientific:Athena科学，新罕布什尔州纳舒亚·兹比尔1015.90077
[4] 伯克·J·V。；刘易斯，A.S。；Overton，M.L.，非光滑、非凸优化的稳健梯度采样算法，SIAM J.Optim。，15, 751-779 (2005) ·Zbl 1078.65048号
[5] Burke，J.V.、Curtis，F.E.、Lewis，A.S.、Overton，M.L.和Simóes，L.E.A.，非光滑优化的梯度采样方法，提交给非光滑优化特殊方法，A.Bagirov，M.Gaudioso，N.Karmitsa和M.Mäkelä，eds.，Springer，2018。可从获取。
[6] Cauchy，A.，《同时系统方程的Méthode générale pour la résolution des systèmes d’équations》，Comp。伦德。科学。巴黎。，25, 135-163 (1847)
[7] 柯蒂斯，F.E。；米切尔，T。；Overton，M.L.，非光滑、非凸、约束优化的BFGS-SQP方法及其使用相对最小化轮廓的评估，Optim。方法软。，32, 148-181 (2017) ·Zbl 1364.90359号
[8] 德姆贾诺夫，V.F。；Malozemov，V.N.，非线性极大极小问题理论，Uspehi Mat.Nauk，26，53-104（1971）·Zbl 0216.42501号
[9] Fletcher，R.，《实用优化方法》（1987），《威利国际科学出版物》，约翰·威利父子公司：威利国际学术出版物，约翰·威利父子公司，奇切斯特·Zbl 0905.65002号
[10] 格林鲍姆，A。；刘易斯，A.S。；Overton，M.L.，克罗齐比的变分分析，数学。程序。，164, 229-243 (2017) ·兹比尔1376.15015
[11] 郭杰。；刘易斯，A.，鲍威尔BFGS收敛定理的非光滑变体，SIAM J.Optim。，28, 1301-1311 (2018) ·Zbl 1397.90358号
[12] Hiriart-Urruti，J.B.和Lemaréchal，C.，凸分析和最小化算法。一、 Grundlehren der Mathematischen Wissenschaften[数学科学的基本原理]第305卷，柏林斯普林格出版社，1993年。MR 1261420·Zbl 0795.49001号
[13] Kiwiel，K.C.，《不可微优化的下降方法》，数学课堂讲稿，第1133卷，Springer-Verlag，柏林，1985年，在线阅读。MR 797754·Zbl 0561.90059号
[14] Kiwiel，K.C.，C非光滑非凸优化梯度采样算法的收敛性，SIAM J.Optim。，18, 379-388 (2007) ·Zbl 1149.65043号
[15] Lemaréchal，C.，戴维登方法对不可微问题的扩展，数学。编程研究，1975年，第95-109页。MR 0436586·兹比尔0358.90051
[16] 刘易斯，A.S。；Overton，M.L.，通过拟Newton方法进行非光滑优化，数学。计划，141135-163（2013）·Zbl 1280.90118号
[17] 刘博士。；Nocedal，J.，《关于大规模优化的有限内存BFGS方法》，数学。程序。，45, 503-528 (1989) ·Zbl 0696.90048号
[18] Nedić，A。；Bertsekas，D.P.，不可微优化的增量次梯度方法，SIAM J.Optim。，12, 109-138 (2001) ·Zbl 0991.90099号
[19] Nesterov，Y.，非光滑函数的平滑最小化，数学。程序。，103, 127-152 (2005) ·兹比尔1079.90102
[20] Nesterov，Y.，《私人通信》（2016年）。法国Les Houches。
[21] Nocedal，J。；Wright，S.J.，数值优化（2006），Springer:Springer，纽约·Zbl 1104.65059号
[22] Powell，M.J.D.，《无约束优化的观点》，收录于《实际优化》（Proc.Conf.，Univ.Bristol，Bristol）。学术出版社，伦敦，1976年，第117-152页。
[23] Powell，M.J.D.，《非线性规划中无精确线搜索最小化的变尺度算法的一些全局收敛性》，SIAM-AMS Proc。第九卷，美国。数学。Soc.，普罗维登斯，1976年，第53-72页·Zbl 0338.65038号
[24] Shor，N.Z.，《不可微函数的最小化方法》，计算数学中的Springer级数，Springer，柏林，1985年·Zbl 0561.90058号
[25] Taylor，A.B。；亨德里克斯，J.M。；Glineur，F.，复合凸优化一阶方法的精确最坏情况性能，SIAM J.Optim。，27, 1283-1313 (2017) ·Zbl 1371.90108号
[26] Wolfe，P.，上升法的收敛条件，SIAM Rev.，11226-235（1969）·Zbl 0177.20603号
[27] Wolfe，P.，最小化不可微函数的共轭次梯度方法，数学。编程研究，1975年，第145-173页。MR 0448896·Zbl 0369.90093号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。