一种新的保下降共轭梯度法和有效的直线搜索

@第{Hager2005ANC条,title={一种新的保下降共轭梯度法和有效的线搜索},author={William W.Hager和Hongchao Zhang},日志={SIAM J.Optim.},年份={2005},体积={16},页码={170-192},网址={https://api.semanticscholar.org/CorpusID:18373356}}
提出并分析了一种新的非线性共轭梯度法及其基于不精确线搜索的相关实现,得到了一种在局部极小值附近比通常的充分下降准则更精确的近似。

本文图表

具有充分下降条件和全局收敛性的非线性共轭梯度法

本文通过对MPRP方法的搜索方向稍作修改,提出了一种变PRP共轭梯度法,该方法能满足充分下降条件

大规模无约束优化问题的具有充分下降性的谱共轭梯度法

对谱Perry共轭梯度法进行了改进,使其对任何(不精确)线搜索都具有充分的下降性,并证明了对于强凸函数,该方法是全局收敛的。

求解大规模无约束优化问题的另一种保下降共轭梯度算法

该算法引入了改进的Wolfe线搜索,其中第二个Wolfe条件中的参数在每次迭代时都会被修改,并且证明了对于一致凸函数和一般非线性函数,强Wolfe搜索算法都会生成远离无穷大的方向。

具有保下降性和强全局收敛性的共轭梯度法的一种新的一般形式

提出了一种新的共轭梯度法的一般形式,其理论意义很有吸引力,并且它可以在标准Wolfe线搜索甚至标准Armijo线搜索下实现全局收敛。

控制共轭梯度、加速梯度和几何下降收敛的单个势

对三种方法进行了分析,这三种方法都有几个共同的线索:所有三种分析都显示出与某种“理想化算法”的关系,所有三种方法均通过使用Bubeck-Lee-Singh几何引理来确定收敛速度,这三种方法都具有相同的潜力,可以在运行时计算,并且每次迭代都会减少$1-\sqrt{\ell/L$或更好的系数。

无约束优化问题的保下降共轭梯度加速算法

    N.安德烈
    计算机科学、数学
  • 2012
一种新的共轭梯度算法,对于所有k≥0都保证了下降和共轭条件,并证明了对于一般非线性函数,改进的Wolfe线搜索算法生成的方向远离无穷大。

非凸函数无梯度Lipschitz连续条件的改进HZ共轭梯度算法

所提出的算法具有充分的下降性和独立于线搜索技术的信赖域特征,在弱Wolfe-Powell非精确线搜索下,算法1的全局收敛性不需要梯度Lipschitz连续条件。
...

一种求解无约束优化问题的高效混合共轭梯度法

研究了与新的非线性共轭梯度法有关的方法,只要线性搜索满足弱Wolfe条件,该方法在每次迭代时都会产生下降搜索方向并全局收敛。

非线性最小二乘的有效线搜索

无约束优化中的线搜索子问题涉及寻找满足某些标准条件的可接受步长。描述了原型算法,其中

非线性共轭梯度方法的收敛性

本文证明了共轭梯度法的收敛分析实际上不需要充分下降条件,并且在缺乏必要条件的情况下,建立了Fletcher—Reeves型和Polak—Ribiere型方法的收敛结果。

保证充分减少的线搜索算法

针对该问题,描述了一种搜索算法,该算法产生一系列迭代,这些迭代收敛到T(μ)中的一个点,并且除病理情况外,迭代以有限步数终止。

共轭梯度法的重新启动过程

本文考虑了文献[16]中的一个思想,提出了共轭梯度法的一种新的重启技术,该方法利用BFGS更新公式提供一个对称正定矩阵Pt,使得dt=−Ptgt,然后在变换空间中定义了猜想梯度迭代。

算法851:CG_DESCENT,一种保证下降的共轭梯度法

本文研究了该算法的收敛性;对大规模无约束优化问题进行了广泛的数值试验,并与其他方法进行了比较。

一种具有强全局收敛性的非线性共轭梯度法

本文提出了一种新的共轭梯度法,只要线搜索满足标准Wolfe条件,该方法就可以全局收敛。

一种新的共轭梯度算法的收敛性

结果表明,在与Lenard相似但略有不同的宽松步长准则下,该方法收敛于具有严格有界Hessian的凸函数的极小值。

全局收敛的共轭梯度算法

本文研究了一种实现角度测试的方法,以确定何时在最陡下降方向上重新启动共轭梯度方法,结果表明,对于大问题,增益很可能是可能的。

非凸极小化计算与共轭梯度法

当目标函数是两次连续可微时,我们考虑了共轭梯度方法的全局收敛性,假设精确算术和精确线搜索