×

求解有界约束非光滑优化问题的有限记忆拟Newton算法。 (英语) Zbl 1406.49032号

小结:我们考虑最小化一个连续函数的问题,该函数可能是非光滑和非凸的,并且受边界约束。我们提出了一种算法,该算法使用问题曲率的L-BFGS拟牛顿近似以及弱Wolfe线搜索的变体。该方法的关键成分是一种活动集选择策略,它定义了计算搜索方向的子空间。为了克服非光滑函数梯度固有的短视性,我们提出了两种策略。第一种方法依赖于最小范数次梯度的近似值,第二种方法使用迭代校正循环,该循环基于结果搜索方向来增加活动集。虽然理论上的收敛保证即使在无约束的情况下也难以实现,但我们使用所提算法的开放源代码Python实现,给出了一组标准测试问题的数值结果,以说明我们的方法的有效性。

MSC公司:

49平方米27 分解方法
65千5 数值数学规划方法
90立方 非线性规划
90元53 拟Newton型方法
49英里15 牛顿型方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Andersen,M.S.、Dahl,J.和Vandenberghe,L。,CVXOPT:用于凸优化的Python包, 2013. 1.1.8版。可在cvxopt.org上获取。
[2] Bagirov,A。;北卡罗来纳州卡米萨。;Mäkelä,M.,《非光滑优化导论:理论与实践与软件》(2014),纽约州纽约市:施普林格,纽约州·Zbl 1312.90053号
[3] Bertsekas,D.P.,简单约束优化问题的投影牛顿法,SIAM J.控制优化。,20, 2, 221-246 (1982) ·Zbl 0507.49018号 ·doi:10.1137/0320018
[4] 伯克·J·V。;刘易斯,A.S。;Overton,M.L.,非光滑、非凸优化的稳健梯度采样算法,SIAM J.Optim。,15751--779(2005年)·Zbl 1078.65048号 ·数字对象标识代码:10.1137/030601296
[5] 伯德·R·H。;Nocedal,J。;Schnabel,R.B.,拟Newton矩阵的表示及其在有限记忆方法中的应用,数学。程序。,63, 1, 129-156 (1994) ·Zbl 0809.90116号 ·doi:10.1007/BF01582063
[6] 伯德·R·H。;Chin,G.M。;Nocedal,J。;Oztoprak,F.,凸\(####)正则化优化的二阶方法家族,数学。程序。,159, 1, 435-467 (2016) ·Zbl 1350.49046号 ·doi:10.1007/s10107-015-0965-3
[7] 伯德·R·H。;卢,P。;Nocedal,J。;Zhu,C.,边界约束优化的有限内存算法,SIAM J.Sci。计算。,16, 5, 1190-1208 (1995) ·Zbl 0836.65080号 ·doi:10.1137/0916069
[8] Clarke,F.H.,《优化与非光滑分析》(1990),费城:SIAM,费城·Zbl 0696.49002号
[9] 柯蒂斯,F.E。;Overton,M.L.,非凸、非光滑约束优化的序列二次规划算法,SIAM J.Optim。,22, 2, 474-500 (2012) ·Zbl 1246.49031号 ·doi:10.1137/090780201
[10] 柯蒂斯,F.E。;Que,X.,非光滑优化的自适应梯度采样算法,Optim。方法软件。,28, 6, 1302-1324 (2013) ·Zbl 1284.49036号 ·doi:10.1080/10556788.2012.714781
[11] 柯蒂斯,F.E。;Que,X.,具有全局收敛保证的非凸非光滑优化的拟Newton算法,数学。程序。计算。,7, 4, 399-428 (2015) ·Zbl 1333.49042号 ·doi:10.1007/s12532-015-0086-2
[12] 柯蒂斯,F.E。;韩,Z。;Robinson,D.P.,大规模凸二次优化的全局收敛原对偶活动集框架,计算。最佳方案。申请。,60, 2, 311-341 (2015) ·Zbl 1309.90072号 ·doi:10.1007/s10589-014-9681-9
[13] 多兰,医学博士。;Moré,J.J.,《性能曲线基准优化软件》,数学。程序。,91, 2, 201-213 (2002) ·邮编:1049.90004 ·doi:10.1007/s101070100263
[14] 渡轮,M.W。,箱约束优化的投影搜索方法2011年,加利福尼亚大学圣地亚哥分校数学系博士论文。
[15] Guo,J.和Lewis,A.S。,BFGS收敛到凸函数的非光滑极小,技术报告arXiv:1703.06690,ORIE,康奈尔大学,2017。
[16] Gürbüzbalaban,M。;Overton,M.L.,关于Nesterov的非光滑Chebyshev-Rosenbrock函数,非线性分析。理论方法应用。,75, 3, 1282-1289 (2012) ·Zbl 1269.49018号 ·doi:10.1016/j.na.2011.07.062
[17] 哈拉拉,M。;Miettinen,K。;Mäkelä,M.M.,用于大规模非光滑优化的新有限内存束方法,Optim。方法软件。,19, 6, 673-692 (2004) ·兹比尔1068.90101 ·doi:10.1080/1055678041001689225
[18] 北卡罗来纳州哈拉拉。;Miettinen,K。;Mäkelä,M.M.,大规模非光滑优化的全局收敛有限内存束方法,数学。程序。,109, 1, 181-205 (2007) ·Zbl 1278.90451号 ·doi:10.1007/s10107-006-0728-2
[19] 和瑙,W。,非光滑函数的L-BFGS-B-NS优化器,纽约大学数学科学学院硕士论文,2014年。
[20] Hungerländer,P。;Rendl,F.,带简单界的严格凸二次型问题的可行活动集方法,SIAM J.Optim。,25, 3, 1633-1659 (2015) ·Zbl 1329.90099号 ·doi:10.1137/140984439
[21] A.卡库。,非光滑优化BFGS方法中高精度算法的实现,硕士论文,纽约大学数学科学学院,2011年。
[22] 北卡罗来纳州卡米萨。;Mäkelä,M.M.,有界约束大规模非光滑优化的自适应有限内存束方法,optimization,59,6,945-962(2010)·Zbl 1195.90073号 ·doi:10.1080/02331930902884398
[23] 北卡罗来纳州卡米萨。;Mäkelä,M.M.,大边界约束非光滑优化的有限内存束方法:收敛分析,Optim。方法软件。,25, 6, 895-916 (2010) ·Zbl 1198.90359号 ·网址:10.1080/10556780902842495
[24] 北卡罗来纳州卡米萨。;Bagirov,A。;Mäkelä,M.M.,比较不同的非光滑最小化方法和软件,Optim。方法软件。,2713-153(2012年)·Zbl 1242.90233号 ·doi:10.1080/10556788.2010.526116
[25] 北卡罗来纳州凯斯卡。;Nocedal,J。;奥兹托普拉克,F。;Wächter,A.,利用活动集预测的凸正则优化的二阶方法,Optim。方法软件。,31, 3, 605-621 (2016) ·Zbl 1341.49039号 ·doi:10.1080/10556788.2016.1138222
[26] Kiwiel,K.C.,非光滑非凸优化梯度采样算法的收敛性,SIAM J.Optim。,18, 2, 379-388 (2007) ·兹比尔1149.65043 ·doi:10.1137/050639673
[27] 刘易斯,A.S。;Overton,M.L.,通过拟Newton方法进行非光滑优化,数学。程序。,141, 1, 135-163 (2013) ·Zbl 1280.90118号 ·doi:10.1007/s10107-012-0514-2
[28] 刘易斯,A.S。;Zhang,S.,非光滑性和可变度量方法,J.Optim。理论应用。,165, 1, 151-171 (2015) ·兹比尔1322.90095 ·doi:10.1007/s10957-014-0622-7
[29] 刘博士。;Nocedal,J.,《关于大规模优化的有限内存BFGS方法》,数学。程序。,45, 1-3, 503-528 (1989) ·Zbl 0696.90048号 ·doi:10.1007/BF0158916文件
[30] Lukšan,L.、Tuma,M.、Vlcek,J.、Ramešová,N.、Šiška,M.,Hartman,J.和Matonoha,C。,UFO 2004-通用功能优化交互式系统《技术报告1218》,捷克共和国科学院计算机科学研究所,2014年。
[31] Mäkelä,M.M.,非光滑优化的束方法综述,Optim。方法软件。,17, 1-29 (2002) ·Zbl 1050.90027号 ·doi:10.1080/10556780290027828
[32] Nocedal,J。;Wright,S.J.,数值优化(2006),Springer:Springer,纽约·Zbl 1104.65059号
[33] Overton,M.,私人通信,2016年2月23日。
[34] 斯科贾,A。,用于非光滑优化的有限内存BFGS2010年,纽约大学数学科学学院硕士论文。
[35] Theano开发团队,Al-Rfou,R.,Alain,G.,Almahairi,A.,Angermueller,C.,Bahdanau,D.,Ballas,N.,Bastien,F.,Bayer,J.,Belikov,A。,等。,Theano:用于快速计算数学表达式的Python框架,预印本(2016)。可从获取。
[36] 沃尔特·S。;科尔伯特,S.C。;Varoquaux,G.,《NumPy数组:高效数值计算的结构》,计算。科学。工程,13,2,22-30(2011)·doi:10.1109/MCSE.2011.37
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。