×

一种基于最近丛思想和梯度采样技术的非光滑凸函数极小化新方法。 (英语) Zbl 1462.65069号

摘要:在本文中,我们将梯度采样(GS)和束方法作为非光滑优化中最有效的方法的积极方面结合起来,开发了一种解决无约束非光滑凸优化问题的稳健方法。该方法的主要目的是利用GS方法和束方法的优点,同时避免它们的缺点。在该方法的每次迭代中,为了找到有效的下降方向,使用GS技术为目标函数构造局部多面体模型。如有必要,通过迭代改进过程,该初始多面体模型由束和GS方法启发的一些技术进行改进。研究了该方法的收敛性,结果表明,该方法的全局收敛性与建立和改进初始多面体模型所需的梯度计算次数无关。因此,与原始GS方法相比,该方法所需的梯度评估要少得多。此外,通过数值模拟,我们表明,与GS方法相比,该方法具有很好的结果,特别是对于大规模问题。此外,与某些束方法相比,我们的方法对提供的梯度的准确性不太敏感。

MSC公司:

65千5 数值数学规划方法
90C25型 凸面编程
90 C56 无导数方法和使用广义导数的方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 阿克奥伊,W。;Frangioni,A.,使用上部模型的增量束方法,SIAM J.Optim。,28, 1, 379-410 (2018) ·Zbl 1392.90094号 ·doi:10.1137/16M1089897
[2] Astorino,A。;Gaudioso,M.,通过连续LP的多面体可分性,J.Optim。理论应用。,112, 2, 265-293 (2002) ·Zbl 1049.90039号 ·doi:10.1023/A:1013649822153
[3] 巴吉洛夫,AM;北卡罗来纳州卡米萨。;Mäkelä,MM,《非光滑优化导论》(2014),柏林:施普林格出版社,柏林·Zbl 1312.90053号
[4] Bonnans,J。;吉尔伯特,J。;Lemaréchal,C。;加利福尼亚州Sagastizábal,《数值优化》。《理论与实践方面》(2006),柏林:施普林格出版社,柏林·Zbl 1108.65060号
[5] 博伊德,S。;Vandenberghe,L.,《凸优化》(2004),纽约:剑桥大学出版社,纽约·Zbl 1058.90049号
[6] 伯克,合资公司;FE柯蒂斯;路易斯,AS;奥弗顿,ML;西蒙斯,LEA;巴吉洛夫,AM;高迪奥索,M。;北卡罗来纳州卡米萨。;梅克尔,MM;Taheri,S.,非光滑优化的梯度采样方法,数值非光滑优化:最新算法,201-225(2020),Cham:Springer,Cham
[7] 伯克,合资公司;路易斯,AS;Overton,ML,用于非光滑、非凸优化的稳健梯度采样算法,SIAM J.Optim。,15, 3, 751-779 (2005) ·Zbl 1078.65048号 ·数字对象标识代码:10.1137/030601296
[8] FE柯蒂斯;Overton,ML,非凸非光滑约束优化的序列二次规划算法,SIAM J.Optim。,22, 2, 474-500 (2012) ·Zbl 1246.49031号 ·doi:10.1137/090780201
[9] FE柯蒂斯;Que,X.,非凸非光滑优化的自适应梯度采样算法,Optim。方法软件。,2013年6月28日,1302-1324·Zbl 1284.49036号 ·doi:10.1080/10556788.2012.714781
[10] 伊文斯,LC;Gariepy,RF,函数的测度理论和精细性质(1992),博卡拉顿:CRC出版社,博卡拉顿·Zbl 0804.28001号
[11] 哈拉拉,M。;Miettinen,K。;Mäkelä,MM,用于大规模非光滑优化的新有限内存束方法,Optim。方法软件。,19673-692(2004年)·Zbl 1068.90101号 ·doi:10.1080/1055678041001689225
[12] 黑尔,W。;萨加斯蒂扎巴尔,C。;Solodov,M.,具有不精确信息的非光滑非凸函数的近端束方法,计算。最佳方案。申请。,63, 1, 1-28 (2016) ·Zbl 1343.90069号 ·doi:10.1007/s10589-015-9762-4
[13] 埃鲁,ES;桑托斯,AS;Simóes,LEA,关于梯度抽样方法中的可微性检查,Optim。方法软件。,31, 5, 983-1007 (2016) ·Zbl 1354.65122号 ·doi:10.1080/10556788.2016.1178262
[14] 埃鲁,ES;桑托斯,AS;Simóes,LEA,有限最大函数的快速梯度和函数采样方法,计算。最佳方案。申请。,71, 3, 673-717 (2018) ·Zbl 1414.90285号 ·doi:10.1007/s10589-018-0030-2
[15] Kiwiel,K.,非光滑凸极小化的聚合次梯度方法,数学。程序。,27, 320-341 (1983) ·Zbl 0525.90074号 ·doi:10.1007/BF02591907
[16] Kiwiel,KC,《不可微优化的下降方法》(1985),柏林:施普林格出版社,柏林·Zbl 0561.90059号
[17] Kiwiel,KC,凸不可微极小化束方法中的邻近控制,数学。程序。,46, 105-122 (1990) ·Zbl 0697.90060号 ·doi:10.1007/BF01585731
[18] Kiwiel,KC,非光滑非凸优化梯度采样算法的收敛性,SIAM J.Optim。,18, 2, 379-388 (2007) ·Zbl 1149.65043号 ·doi:10.1137/050639673
[19] Kiwiel,KC,非光滑非凸优化梯度采样算法的非导数版本,SIAM J.Optim。,20, 4, 1983-1994 (2010) ·Zbl 1205.90230号 ·doi:10.1137/090748408
[20] 拉沃尔,C。;自由,L。;Maculan,N.,《分子距离几何问题》(2009),纽约:施普林格,纽约
[21] Lukšan,L.,Tcma,M.,Siska,M..,Vlček,J.,Ramesova,N.:Ufo 2002。通用功能优化的交互式系统。捷克共和国科学院计算机科学研究所技术代表(2002年)
[22] 吕杰。;庞,L。;Xu,N.,非凸约束优化的不可行束方法及其在半无限规划问题中的应用,计算。最佳方案。申请。,80, 2, 397-427 (2019) ·Zbl 1410.90169号
[23] Mahdavi-Amiri,N。;Shaeiri,M.,非光滑优化的共轭梯度抽样法,4OR,18,73-90(2019)·Zbl 1442.90183号 ·doi:10.1007/s10288-019-00404-2
[24] 梅克尔,MM;Neitaanmaki,P.,《非光滑优化:分析和算法及其在最优控制中的应用》(1992),新加坡:世界科学出版社,新加坡·Zbl 0757.49017号
[25] Nikolova,M.,涉及非光滑数据完整性条件的成本函数最小化。应用于异常值处理,SIAM J.Numer。分析。,40, 3, 965-994 (2002) ·Zbl 1018.49025号 ·doi:10.1137/S0036142901389165
[26] Oliveira,W。;萨加斯蒂扎巴尔,C。;Lemaréchal,C.,《深度凸近端束方法:不精确预言的统一分析》,数学。程序。,148, 1-2, 241-277 (2014) ·Zbl 1327.90321号 ·doi:10.1007/s10107-014-0809-6
[27] Oliveira,W。;Solodov,M.,非光滑凸优化的双稳定束方法,数学。程序。,156, 1, 125-159 (2016) ·Zbl 1346.90675号 ·doi:10.1007/s10107-015-0873-6
[28] Outrata,J。;科瓦拉,M。;Zowe,J.,平衡约束优化问题的非光滑方法(1998),Dordrecht:Springer,Dordecht·Zbl 0947.9003号
[29] 施拉姆,H。;Zowe,J.,最小化非光滑函数的捆绑思想的一个版本:概念思想,收敛分析,数值结果,SIAM J.Optim。,2, 1, 105-122 (1992) ·Zbl 0761.90090号 ·doi:10.1137/0802008年
[30] 新西兰肖尔,《不可微函数的最小化方法》(1985),柏林:施普林格出版社,柏林·Zbl 0561.90058号
[31] Skaaja,M.:用于非光滑优化的有限内存BFGS。纽约大学硕士论文(2010年)
[32] Witten,IH;Frank,E.,《数据挖掘:实用机器学习工具和技术》(2005),阿姆斯特丹:爱思唯尔出版社·兹比尔1076.68555
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。