列文伯格马夸特

多元优化的Levenberg-Marquardt算法。如果函数F=f1 2(x1,…,xn)+…+fm2(x1,…,xn)需要最小化。该算法结合了最速下降法(即沿梯度方向极小化)和牛顿法(即使用二次模型来加快寻找函数最小值的过程)的优点。该算法从最速下降法获得了其运行稳定性,并采用牛顿法在最小附近加速收敛。下面讨论Levenberg-Marquardt算法(LMA)的标准实现、它的缺点以及ALGLIB包中更新的算法版本。建议读者在学习下一部分之前,先熟悉一下维基百科上的算法描述或数值公式。下文假设读者熟悉Levenberg-Marquardt算法的一般操作原理。(资料来源:http://plato.asu.edu)