×

非光滑优化中直接搜索方法的平滑和最坏情况复杂度。 (英语) Zbl 1272.65050号

摘要:在光滑目标函数的无导数优化的背景下,已经证明了直接搜索方法的最坏情况复杂度与基于导数的优化的最速下降复杂度具有相同的阶数;更准确地说,将目标函数的梯度范数降低到某个阈值以下所需的迭代次数与阈值平方的倒数成正比。由于在非光滑情况下缺乏这样的结果,我们提出、分析并测试了一类用于非光滑函数无约束优化的光滑直接搜索方法。给定依赖于平滑参数的非光滑目标函数的参数化平滑函数族,这类方法包括对平滑参数的固定值应用直接搜索算法,直到步长相对较小,然后减少平滑参数并重复该过程。可以证明,该过程的最坏情况复杂度(或成本)大约比直接搜索或平滑函数的最速下降差一个数量级。这类平滑直接搜索方法也被证明具有渐近全局收敛性。一些初步的数值实验表明,这种方法可以获得更好的目标函数值,在某些情况下进一步推动优化,显然在函数评估数量上没有额外的成本。

MSC公司:

65千5 数值数学规划方法
65年20月 数值算法的复杂性和性能
90立方 非线性规划

软件:

GradSamp公司
PDF格式BibTeX公司 XML格式引用
全文: 内政部