×
袁功林；盛，周；王伯鹏；胡武杰；李春年

非凸函数修正BFGS方法的全局收敛性。 （英语） Zbl 1370.90203号

J.计算。申请。数学。 327, 274-294 (2018).
摘要：标准BFGS方法在约束/非约束优化问题的拟Newton算法中发挥着重要作用。然而，在[SIAM J.Optim.13，No.3，693–701（2002；兹比尔1036.65052)],Y.-H.戴构造了一个反例来证明，对于非凸函数，这种方法在不精确的Wolfe线搜索下可能会失败，并且马斯卡伦哈斯《数学课程》第99卷第1期（A），49–61页（2004年；Zbl 1082.90108号)]这种方法和Broyden家族中的其他方法的不收敛性，即使使用精确的直线搜索技术。这些工作促使我们试图在标准BFGS公式的基础上找到另一种方法来获得另一种收敛性更好的拟Newton方法。本文在设计的算法中使用了四种方法：（1）引入了一种改进的弱Wolfe-Powell线搜索技术；（2） 如果满足一个定义的条件，则接受搜索方向及其相关步长，并设计下一个点；（3） 否则，将呈现抛物线，并将其视为投影面以避免使用失败方向，然后通过投影技术生成下一个点（x{k+1}）；（4）为了容易获得所提算法的全局收敛性，投影点不用于当前的BFGS更新，而是用于所有后续迭代。在不精确的修正弱Wolfe-Powell线搜索技术下，新算法对一般函数具有全局收敛性，并且表明Broyden类中的其他方法也具有这种性质。数值结果表明了该算法和其他类似方法的性能。

引用于41文件

MSC公司：

90C26型 非凸规划，全局优化

关键词：

优化；BFGS方法；全球收敛；Wolfe线搜索

引文：

Zbl 1036.65052号；Zbl 1082.90108号

软件：

车辆08
PDF格式BibTeX公司 XML格式引用
\textit{G.Yuan}等人，J.Compute。申请。数学。327274-294（2018年；Zbl 1370.90203）
全文： DOI程序

参考文献：

[1] 傅，Z。；Ren，K。；舒，J。；太阳，X。；Huang，F.，《通过提高效率实现对加密外包数据的个性化搜索》，IEEE Trans。平行分销（2015）
[2] 傅，Z。；吴，X。；关，C。；太阳，X。；Ren，K.，《提高加密外包数据的有效多关键字模糊搜索准确性》，IEEE Trans。Inf.Foren.Sec.（2016年）
[3] 顾，B。；Sheng，Victor S.，用于支持向量分类的稳健正则化路径算法，IEEE Trans。神经网络。学习。(2016)
[4] 顾，B。；Victor S.Sheng。；Tay，Keng Yeow；沃尔特·罗曼诺（Walter Romano）；李硕，序数回归的增量支持向量学习，IEEE Trans。神经网络。学习。，26, 1403-1416 (2015)
[5] 顾，B。；太阳，X。；Sheng，Victor S.，结构极小极大概率机，IEEE Trans。神经网络。学习。(2016)
[6] 李，J。；李，X。；杨，B。；Sun，X.，基于分割的图像复制-移动伪造检测方案，IEEE Trans。Inf.法医安全。，10, 507-518 (2015)
[7] 潘，Z。；Zhang，Y。；Kwong，S.，低复杂度多视点视频编码的高效运动和视差估计优化，IEEE Trans。广播。，61, 166-176 (2015)
[8] 潘，Z。；Lei，J。；Zhang，Y。；太阳，X。；Kwong，S.，IEEE传输。广播。，低复杂度H.265/HEVC编码器基于内容特性的快速运动估计，1-10（2016）
[9] 夏，Z。；王，X。；太阳，X。；Wang，Q.，基于加密云数据的安全动态多关键字排名搜索方案，IEEE Trans。平行分布，27，340-352（2015）
[10] 夏，Z。；王，X。；太阳，X。；刘，Q。；Xiong，N.，使用非相邻像素之间的差异进行LSB匹配的隐写分析，多媒体工具应用。，75, 1947-1962 (2016)
[11] 袁，G。；孟，Z。；Li，Y.，用于大规模非光滑最小化和非线性方程的改进Hestenes和Stiefel共轭梯度算法，J.Optim。理论应用。，168, 129-152 (2016) ·Zbl 1332.65081号
[12] 夏，Z。；王，X。；张，L。；秦，Z。；太阳，X。；Ren，K.，《云计算中基于隐私保护和版权确定内容的图像检索方案》，IEEE Trans。Inf.法医安全。(2016)
[13] 袁，C。；太阳，X。；Lv，R.，基于多尺度LPQ和PCA的指纹活性检测，中国共产党。，13, 60-65 (2016)
[14] Zhou，Z。；Wang，Y。；Jonathan Wu，Q.M。；杨庆农；Sun，X.，《图像拷贝检测的高效全局上下文验证》，IEEE Trans。Inf.法医安全。(2016)
[15] Broyden，C.G.，一类双秩最小化算法的收敛性：2新算法，J.Inst.Math。申请。，6, 222-231 (1970) ·Zbl 0207.17401号
[16] Fletcher，R.，可变度量算法的新方法，计算。J.，13，317-322（1970）·Zbl 0207.17402号
[17] Goldfarb，A.，通过变分平均推导的一系列可变度量方法，数学。公司。，24, 23-26 (1970) ·Zbl 0196.18002号
[18] Schanno，J.，函数最小化的拟Newton方法的条件，数学。公司。，24, 647-650 (1970) ·Zbl 0225.65073号
[19] Davidon，W.C.，最小化的可变度量方法，SIAM J.Optim。，1, 1-17 (1991) ·Zbl 0752.90062号
[20] 弗莱彻，R。；Powell，M.J.D.，最小化的快速收敛下降法，计算。J.，6163-168（1963）·Zbl 0132.11603号
[21] Powell，M.J.D.，《关于变尺度算法的收敛性》，J.Inst.Math。申请。，7, 21-36 (1971) ·Zbl 0217.52804号
[22] Dixon，L.C.W.，《可变度量算法：非二次函数上相同行为的Nessary和充分条件》，J.Optim。理论应用。，10, 34-40 (1972) ·Zbl 0226.49014号
[23] Powell，M.J.D.，无需精确线搜索的最小化变尺度算法的一些全局收敛性，（Cottle，R.W.；Lemke，C.E.，非线性规划，SIAM-AMS Proceedings，Vol.IX（1976），SIAM:SIAM Philadelphia，PA）·兹伯利0338.65038
[24] 伯德·R。；Nocedal，J。；Yuan，Y.，凸问题上一类拟Newton方法的全局收敛性，SIAM J.Numer。分析。，24, 1171-1189 (1987) ·兹比尔0657.65083
[25] 布鲁登，C.G。；丹尼斯·J·E。；Moré，J.J.，《关于拟Newton方法的局部和超线性收敛性》，J.Inst.Math。申请。，12, 223-246 (1973) ·Zbl 0282.65041号
[26] 伯德·R。；Nocedal，J.，《应用于无约束最小化的拟Newton方法分析工具》，SIAM J.Numer。分析。，26727-739（1989年）·Zbl 0676.65061号
[27] Griewank，A.，关于凸分解和Lipschitzian梯度问题的分区BFGS的全局收敛性，数学。程序。，50, 141-175 (1991) ·兹比尔0736.90068
[28] Toint，Ph.L.，凸部分可分优化的分区BFGS算法的全局收敛性，数学。程序。，36, 290-306 (1986) ·Zbl 0626.90076号
[29] 小丹尼斯·J·E。；Moré，J.J.，《准纽顿方法、动机和理论》，SIAM Rev.，19，46-89（1977）·Zbl 0356.65041号
[30] 丹尼斯·J·E。；Moré，J.J.，超线性收敛的特征及其在拟Newton方法中的应用，数学。公司。，28, 549-560 (1974) ·Zbl 0282.65042号
[31] Griewank，A。；Toint，Ph.L.，分区准Newton更新的局部收敛分析，数值。数学。，39, 429-448 (1982) ·Zbl 0505.65018号
[32] 李，D。；Fukushima，M.，一种改进的BFGS方法及其在非凸极小化中的全局收敛性，J.Compute。申请。数学。，129, 15-35 (2001) ·Zbl 0984.65055号
[33] 李，D。；Fukushima，M.，关于非凸无约束优化问题BFGS方法的全局收敛性，SIAM J.Optim。，11, 1054-1064 (2001) ·Zbl 1010.90079号
[34] Powell，M.J.D.，《无约束优化的新算法》（Rosen，J.B.；Mangasarian，O.L.；Ritter，K.，《非线性规划》（1970），学术出版社：纽约学术出版社），31-65·Zbl 0228.90043号
[35] 魏，Z。；齐，L。；Chen，X.，一种SQP型方法及其在随机规划中的应用，J.Optim。理论应用。，116, 205-228 (2003) ·Zbl 1030.90142号
[36] 魏，Z。；Yu，G。；袁，G。；Lian，Z.，无约束优化的修正BFGS型方法的超线性收敛性，计算。最佳方案。申请。，29, 315-332 (2004) ·Zbl 1070.90089
[37] 袁，G。；Wei，Z.，关于凸极小的修正BFGS方法的收敛性分析，计算。最佳方案。申请。，47, 237-255 (2010) ·Zbl 1228.90077号
[38] 张建忠。；邓，纽约。；Chen，L.H.，无约束优化的新拟Newton方程和相关方法，J.Optim。理论应用。，102, 147-167 (1999) ·Zbl 0991.90135号
[39] Dai，Y.，BFGS算法的收敛性，SIAM J.Optim。，13, 693-701 (2003) ·Zbl 1036.65052号
[40] 袁，G。；魏，Z。；Lu，X.，修正弱Wolfe-Powell线搜索下一般函数的BFGS方法和PRP方法的全局收敛性，应用。数学。模型。(2017)
[41] Al-Baali，M。；Fletcher，R.，《非线性最小二乘的有效线性搜索》，J.Optim。理论应用。，48, 359-378 (1986) ·Zbl 0562.90074号
[42] Fletcher，R.，《实用优化方法》（1987），John Wiley and Sons：John Willey and Sons Chichester·Zbl 0905.65002号
[43] Andrei，N.，无约束优化测试函数集合，高级模型。最佳。，10, 147-161 (2008) ·Zbl 1161.90486号
[44] Dolan，E.D。；Moré，J.J.，《性能曲线基准优化软件》，数学。程序。，91, 201-213 (2002) ·邮编：1049.90004
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。