×

梯度采样算法在定向Lipschitz函数上的收敛性。 (英语) Zbl 1481.65091号

摘要:将梯度采样算法的收敛理论推广到定向Lipschitz函数。虽然定向Lipschitz函数不一定是局部Lipschit函数,但它们几乎处处都是可微的,并且通过梯度很好地逼近,因此是梯度采样算法应用的自然候选者。这种扩展的主要障碍是Clarke次微分在兴趣点的潜在无限性或空虚性。我们提出的趋同分析为解决这些问题提供了一条途径。特别地,当函数是局部Lipschitz时,我们恢复了通常的收敛理论。此外,如果算法没有将某个临界度量驱动到零,那么迭代必须收敛到一个点,在该点上,Clarke次微分为空,或者最陡下降的方向退化,因为它确实位于正则次导数的域的内部。

MSC公司:

65K10码 数值优化和变分技术
49J52型 非平滑分析
65千5 数值数学规划方法
90C26型 非凸规划,全局优化

软件:

GradSamp公司
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Borwein,J.M.,Zhu,Q.J.:变分分析技术。加拿大数学学会(2005)·Zbl 1076.49001号
[2] JM Borwein;伯克,合资公司;Lewis,AS,可分Banach空间上锥单调函数的可微性,Pro。阿默尔。数学社会,1321067-1076(2003)·Zbl 1042.49016号 ·doi:10.1090/S0002-9939-03-07149-1
[3] 伯克,合资公司;路易斯,AS;Overton,ML,通过梯度随机抽样近似次微分,数学。Oper Res.,27,3,567-584(2002)·Zbl 1082.49019号 ·doi:10.1287/门27.3.567.317
[4] 伯克,合资公司;路易斯,AS;《优化矩阵稳定性的两种数值方法》,《线性代数应用》。,351/352、117-145(2002年)·Zbl 1005.65041号 ·doi:10.1016/S0024-3795(02)00260-4
[5] 伯克,合资公司;路易斯,AS;Overton,ML,通过静态输出反馈和低阶控制器实现鲁棒稳定的非光滑、非凸优化方法,IFAC Proceedings Volumes,36175-181(2003)·doi:10.1016/S1474-6670(17)35659-8
[6] 伯克,合资公司;路易斯,AS;Overton,ML,非光滑非凸优化的稳健梯度采样算法,SIAM J.Optim。,15751--779(2005年)·Zbl 1078.65048号 ·数字对象标识代码:10.1137/030601296
[7] Burke,J.V.、Curtis,F.E.、Lewis,A.S.、Overton,M.L.、Simoes,L.E.A.:非光滑优化的梯度采样方法。收录于:Bagirov,A.M.、Gaudioso,M.、Karmitsa,N.、Mäkella,M.M.、Taheri,S.(编辑)《数值非光滑优化:最新算法》,第6章,第201-225页。施普林格(2020)
[8] 伯克,合资公司;邓,S.,《重访弱尖锐极小值》,第二部分:线性正则性和误差界的应用,数学。程序。,104, 236-261 (2005) ·Zbl 1124.90349号
[9] Burke,J.V.:求解广义不等式组的方法及其在非线性规划中的应用。伊利诺伊大学香槟分校博士论文(1983年)
[10] FH Clarke,《优化与非光滑分析》(1983),纽约:威利出版社·Zbl 0582.49001号
[11] Kiwiel,KC,非光滑非凸优化梯度采样算法的收敛性,SIAM J.Optim。,18, 2, 379-388 (2007) ·Zbl 1149.65043号 ·doi:10.1137/050639673
[12] Lin,Q.:稀疏性和非凸、非光滑优化。西雅图华盛顿大学博士论文(2009)
[13] Nirenberg,L.:函数分析课堂讲稿(1961年)
[14] Rockafellar,R.T.,Wets,R.J.-B.:变分分析。斯普林格(1998)·Zbl 0888.49001号
[15] Rockafellar,RT,Clarke切锥与\(mathbb{R}^n\)中闭集的边界n、 农林。分析。Th.Meth公司。和申请。,3, 145-154 (1979) ·Zbl 0443.26010号 ·doi:10.1016/0362-546X(79)90044-0
[16] Rockafellar,RT,定向李氏函数和次微分学,Proc。伦敦数学。《社会学杂志》,39,331-355(1979)·Zbl 0413.49015号 ·doi:10.1112/plms/s3-39.2331
[17] Rockafellar,RT,非凸函数的广义方向导数和次微分,加拿大数学杂志。,32, 157-180 (1980) ·Zbl 0447.49009号 ·doi:10.4153/CJM-1980-020-7
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。