数学>优化与控制
标题: 非凸优化中寻找平稳点的计算复杂性
摘要: 寻找非凸光滑目标函数在无限维区域上的近似驻点,即梯度近似为零的点,是经典非凸优化中最基本的问题之一。 然而,当问题的维数$d$与近似误差无关时,该问题的计算和查询复杂性仍然没有得到很好的理解。 在本文中,我们显示了以下计算和查询复杂性结果: 1.在无限制区域上寻找近似驻点的问题是PLS-完全的。 2.对于$d=2$,我们提供了一个零阶算法来寻找$\varepsilon$-近似驻点,该算法最多需要对目标函数进行$O(1/\varepsilon)$值查询。 3.我们证明了当$d=2$时,任何算法都需要至少$\Omega(1/\varepsilon)$对目标函数和/或其梯度进行查询才能找到$\varepsilon$-近似平稳点。 结合以上内容,这表明该问题的查询复杂性为$\Theta(1/\varepsilon)$。 4.对于$d=2$,我们提供了一个零阶算法,用于在最多需要对目标函数进行$O(1/\sqrt{\varepsilon})$值查询的约束优化问题中查找$\varepsilon$-KKT点。 这缩小了Bubeck和Mikulincer[2020]以及Vavasis[1993]的工作之间的差距,并将此问题的查询复杂性描述为$\Theta(1/\sqrt{\varepsilon})$。 5.将我们的结果与Fearnley等人[2022]的最新结果相结合,我们表明在约束优化中寻找近似KKT点可以归结为在无约束优化中寻找近似平稳点,但反过来是不可能的。