求解大型非线性方程的一类共轭梯度法

摘要

本文提出了一类求解大型非线性方程组的共轭梯度投影方法。在每次迭代中，它需要较低的存储空间，并且子问题可以很容易地解决。与现有求解该问题的方法相比，它的全局收敛性不受Lipschitz连续性对底层映射的限制。初步数值结果表明了该方法的有效性。

1介绍

考虑以下非线性方程的求解问题\（x\以C\表示）这样的话

$$F（x）=0$$

(1.1)

哪里\（F:R^{n}\右箭头R^{n}\）是一个连续的非线性映射C类是一个非空的闭凸集\（R^{n}\）该问题在弹道计算和振动系统等领域有着广泛的应用[1,2]，功率流方程[三–5]，经济均衡问题[6–8]等。

一般来说，有两类解决问题的方法。第一种是一阶方法，包括信赖域方法、Levenberg-Marquardt方法和投影方法。第二种是二阶方法，包括牛顿法和拟牛顿法。对于第一种方法，Zhang等人[9]提出了一种求解该问题的谱梯度法(1.1)带有\（C=R^{n}\）和Wang等人[三]提出了一种求解问题的投影方法(1.1)。后来，Yu等人[10]提出了一种求解约束非线性方程组的谱梯度投影方法。与投影法相比[三]、方法[9,10]需要底层映射的Lipschitz连续性\（F（\cdot）\），但前者需要在每次迭代时求解线性方程及其变体[11,12]也继承了缺点。与上述不同，本文考虑了求解非单调问题的共轭梯度法(1.1)。为此，我们简要回顾了求解无约束优化问题的著名共轭梯度法

$$\min_{x\在{R}^{n}}f（x）中$$

共轭梯度方法通过

$$x{k+1}=x{k}+\alpha{k}d_{k}，\quad k=0,1,2，\ldot$$

哪里\（x{k}\）是当前迭代，\（\alpha_{k}>0\）是由某些行搜索确定的步长，以及\（d_{k}\）是由定义的搜索方向

$$d_{k}=\textstyle\begin{案例}-g_{k} &\text{如果}k=0，\\-g{k}+\beta_{k} d日_{k-1}&\text{if}k\geq1，\end{cases}$$

其中\（g{k}=nabla f（x{k}））和\（\beta{k}>0\）是一个参数。著名的共轭梯度法包括Fletcher-Reeves（FR）法、Polak-Ribière-Polyak（PRP）法、Liu-Storey（LS）法、Dai-Yuan（DY）法。最近，Sun等人[13]和Li等人[14]提出了两种PRP方法变体，具有以下特性：

$$\vert\beta_{k}\vert\leq t\frac{\vert g_{k{\vert}{\vert-d_{k-1}\vert{，\quad\forall k\geq1$$

哪里\（t>0）是一个常量。

本文受投影方法的启发[三,11]以及中的共轭梯度方法[13,14]，我们提出了一类新的求解非线性问题的共轭梯度投影方法(1.1)。新设计的方法是无导数的，因为它不需要计算雅可比矩阵或其对基础函数的近似(1.1)。此外，新方法不需要在每次迭代时求解任何线性方程组，因此适用于求解大规模问题(1.1).

本文的其余部分组织如下。章节2描述了新方法并给出了其收敛性。数值结果见第节三最后一节给出了一些结论。

2算法和收敛性分析

在本文中，我们假设映射\（F（\cdot）\）是单调的，或者更普遍地说是伪单调的\（R^{n}\）在卡拉马迪安的意义上[15]. 也就是说，它满足了这一点

$$\bigl\langle F（y），y-x^{*}\bigr\rangle\geq0，\quad\text{表示所有}y\ in{R}^{n}，x^{**}\ in{S}$$

(2.1)

哪里\（\langle\cdot，\cdot\rangle\）表示中的常用内积\（{R}^{n}\）。此外，我们使用\（P_{C}（x）\）表示点的投影\（x\在R^{n}\中）到凸集上C类，满足以下属性：

$$\bigl\Vert P_{C}（x）-P_{C{（y）\bigr\Vert^{2}\leq\Vert x-y\Vert^{2}-\bigl\VertP_{C}（x）-x+y-P_{C}（y）\bigr\Vert^{2}，\quad\对于R^{n}中的所有x，y\$$

(2.2)

现在，我们描述非线性约束方程的新共轭梯度投影方法。

算法2.1

步骤0.:

给定任意初始点\（R^{n}中的x_{0}\），参数\（0<rho<1，σ>0，t>0，β>0，ε>0）、和设置\（k：=0）。

步骤1.：

如果\（\垂直F（x_{k}）\垂直<\epsilon\），停止；否则请转至步骤2。

步骤2.:

计算

$$d_{k}=\textstyle\begin{案例}-F（x{k}）&\text{如果}k=0，\-（1+\beta{k}\frac{F（x{k}）_{k} d日_｛k-1｝&\text｛if｝k\geq1，\end｛cases｝$$

(2.3)

哪里\（\贝塔{k}\）是这样的

$$\vert\beta_{k}\vert\leq t\frac{\VertF（x_{k{）\vert}{\vert d_{k-1}\vert{，\quad\forall k\geq1$$

(2.4)

步骤三。：

找到试验点\（y{k}=x{k}+\alpha{k}d{k}），其中\（\alpha_{k}=\beta\rho^{m{k}}\）和\（m{k}\）是最小的非负整数米这样的话

$$-\bigl\langle F\bigl（x_{k}+\beta\rho^{m} d日_{k} \bigr），d_{k}\bigr\rangle\geq\sigma\beta\rho^{m}\Vert d_{k}\Vert^{2}$$

（2.5）

步骤4.:

计算

$$x_{k+1}=P_{H_{k}}\bigl[x_{k}-\xi_{k} F类（y_{k}）\较大]$$

(2.6)

哪里

$$H_{k}=R^{n}|H_{k{（x）\leq0\bigr\}中的\bigl\{x\$$

具有

$$h_{k}（x）=\bigl\langle F（y_{k{），x-y_{k}\bigr\rangle$$

(2.7)

和

$$\xi_｛k｝=\frac｛\langle F（y_｛k｝），x_{k} -年_{k} \rangle}{\Vert F（y_{k}）\Vert^{2}}$$

设置\（k：=k+1）并转至步骤1。

显然，算法2.1与中的方法不同[13,14].

现在，我们对搜索方向发表一些评论\（d_{k}\）由定义(2.3)。我们声称它是从施密特正交化导出的。事实上，为了\（d_{k}=-F（x_{k}）+\beta_{k} d日_{k-1}\）满足属性

$$F（x_｛k｝）^｛\top｝d_｛k｝=-\bigl\Vert F（x_｛k｝）\bigr\Vert ^｛2｝$$

(2.8)

我们只需要确保\（\β_{k} d日_{k-1}\）垂直于\（F（x_{k}）\）事实上，通过施密特正交化，我们得到了

$$d_{k}=-\biggl（1+\beta_{k}\frac{F（x_{k{）^{top}d_{k-1}}{\VertF（x{k}）\Vert^{2}}\biggr）F（x_{k}）+\beta_{k} d日_{k-1}$$

平等(2.8)连同Cauchy-Schwarz不等式意味着\（\垂直d_{k}\垂直\geq\垂直F（x_{k}）\垂直\）此外，由(2.3)和(2.4)，我们有

$$\begin{aligned}\Vert d_{k}\Vert&\leq\bigl\Vert F（x_{k}）\bigr\Vert+\Vert\beta_{k{\Vert\frac{\Vert F（x_}k}\Vert d_{k-1}\Vert\\&\leq\bigl\Vert F（x_{k}）\bigr\Vert+t\bigl\ Vert F\bigr\Vert\\&=（1+2t）\bigl\Vert F（x_{k}）\bigr\垂直。\结束｛对齐｝$$

因此，对于所有人来说\（k\geq0\），它认为

$$\bigl\Vert F（x_{k}）\bigr\Vert\leq\Vert d_{k}\Vert\leq（1+2t）\bigl\ Vert F$$

(2.9)

此外，很容易看出，行搜索(2.5)定义明确，如果\（F（x_{k}）\neq0）。

对于参数\（\贝塔{k}\）由定义(2.4)，它有很多选择，例如\（\beta_{k}^{mathrm{S1}=\垂直F（x_{k{）\Vert/\垂直d_{k-1}\Vert\），或[13,14]

$$开始{对齐}和\beta_{k}^{\mathrm{NWYL}}=\frac{\langle F{k}）\Vert\Vert d_{k-1}\Vert}，\\&\beta_{k}^{mathrm{NPRP}}=\frac{langle F（x{k}），F（x_{k{）-F（x{k-1{）\rangle}{max\{t\Vert e_{k-1}\Vert，\垂直F（x_{k-1}）\垂直^{2}\}}。\结束{对齐}$$

从结构来看\（H_｛k｝\），正交投影到\（H_{k}\）有一个封闭式表达式。那就是，

$$P_{H_{k}}（x）=\textstyle\begin{案例}x-\裂缝{\langle F（y_{k}），x-y_{k}\rangle}{\Vert F（y_{k}）\Vert^{2}}F。\结束{cases}$$

引理2.1

For函数 \（h{k}（x）\） 由定义(2.7),让 \（S^{*}中的x^{*{）,它认为

$$h_{k}（x_{k{）\geq\sigma\Vert x_{k} -年_{k} \Vert^{2}\quad\textit{和}\quad h_{k}\bigl（x^{*}\bigr）\leq0$$

(2.10)

特别地,如果 \（x{k}\neqy{k}）,然后 \（h（k）}（x（k））>0）。

证明

发件人\（x）_{k} -年_{k} =-\阿尔法_{k} d日_{k} \）和线路搜索(2.5)，我们有

$$\begin{aligned}h_{k}（x_{k{）&=\bigl\langleF（y_{kneneneep），x_{k} -年_{k} \bigr\rangle\\&=-\alpha_{k}\bigl\langle F_{k} -年_{k} \垂直^{2}。\结束{对齐}$$

另一方面，从条件来看(2.1)，我们可以获得

$$\开始{aligned}&h_{k}\bigl（x^{*}\bigr）=\bigl\langle F（y_{k{），x^{**}-y_{k}\biger\rangle\leq0。\结束{对齐}$$

这就完成了证明。 □

引理2.1表示超平面\（R^{n}|H_{k}（x）=0\}\中的部分H_{k{={x\）严格区分当前迭代和问题的解决方案(1.1)如果\（x{k}\）不是解决方案。此外，来自Lemma2.1，我们还可以推导出解集\（S^{*}\）问题的(1.1)包含在中\（H_{k}\）为所有人k个。

当然，如果算法2.1在步骤处终止k个，然后\（x{k}\）是问题的解决方案(1.1)。因此，在下面的分析中，我们假设算法2.1总是生成无限序列\（{x{k}）.基于引理，我们可以建立算法的收敛性。

定理2.1

如果 F类 连续且状况良好(2.1)持有,然后是序列 \（{x{k}） 由算法生成 2.1 全局收敛于问题的解(1.1).

证明

首先，我们展示了序列\（{x{k}）和\（{y_{k}\}\）都是有界的。事实上，它是从\（x^{*}\在H_{k}\中）, (2.1), (2.2)和(2.6)那个

$$\开始{aligned}\bigl\Vertx_{k+1}-x^{*}\bigr\Vert^{2}&\leq\bigl\ Vertx_{k}-\xi（西）_{k} 如果（y_{k}）-x^{*}\bigr\Vert^{2}\\&=\bigl\Vert x_{k} -x个^{*}\较大\垂直^{2}-2大语言F（y_{k}），x_{k} -x个^{*}\bigr\rangle+\xi_{k}^{2}\bigl\垂直F（y_{k{）\bigr\垂直^2}\\&\leq\bigl\Vert x_{k} -x个^{*}\较大\垂直^{2}-2\xi_｛k｝\bigl\langle F（y_｛k｝），x_{k} -年_{k} \bigr\rangle+\xi_{k}^{2}\bigl\Vert F（y_{k{）\bigr\ Vert^{2{\\&=\bigl\ Vert x_{k} -x个^{*}\较大\垂直^{2}-frac{langle F（y_{k}），x_{k} -年_{k} \range^{2}}{\VertF（y_{k}）\Vert^{2{}\\&\leq\bigl\Vertx_{k} -x个^{*}\较大\垂直^{2}-\frac{\sigma^{2}\alpha_{k}^{4}\Vert d_{k}\Vert^{2{{\Vert F（y_{k{）\Vert_{4}}。\结束{对齐}$$

因此，序列\（垂直x_{k} -x个^{*}\垂直\}\）减少并收敛，因此序列\（{x{k}）是有界的，并且来自(2.9)，序列\（{d_{k}）也是有界的。然后，通过\（y{k}=x{k}+\alpha{k}d{k}），序列\（{y_{k}\}\）也是有界的。然后，根据\（F（\cdot）\），存在常量\（M>0\）这样的话\（垂直F（y_{k}）垂直M）为所有人k个所以，

$$\bigl\Vert x_{k+1}-x^{*}\bigr\Vert^{2}\leq\bigl\ Vert x_{k} -x个^{*}\较大\垂直^{2}-\裂缝{\sigma^{2}\alpha_{k}^{4}\Vert d_{k}\Vert^{4{M^{2{}$$

（2.11）

从中我们可以推断出

$$\lim_{k\rightarrow\infty}\alpha_{k}\Vert d_{k}\ Vert=0$$

(2.12)

如果\（\liminf_｛k\rightarrow\infty｝\Vert d_｛k｝\Vert=0\），然后从(2.9)它认为\（\liminf_{k\rightarrow\infty}\Vert F（x_{k}）\Vert=0\）.从的有界性\（{x{k}）以及\（F（\cdot）\）,\（{x{k}）有一些积累点x̄这样的话\（F（\bar{x}）=0）。然后从(2.11),\（垂直x_{k}-\条{x}\垂直\}\）收敛，因此序列\（{x{k}）全局收敛到x̄。

如果\（\liminf_{k\rightarrow\infty}\Vert d_{k}\Vert>0\），来自(2.9)再一次，我们有

$$\liminf_{k\rightarrow\infty}\bigl\Vert F（x_{k}）\bigr\Vert>0$$

(2.13)

由(2.12)，它认为

$$\lim_{k\rightarrow\infty}\alpha_{k}=0$$

（2.14）

因此，从行搜索(2.5)，我们有

$$-\bigl\langle F\bigl（x_{k}+\beta\rho^{m_{k} -1个}d{k}\bigr），d{k{\bigr\rangle<\sigma\beta\rho^{m_{k} -1个}\垂直d_｛k｝\垂直^｛2｝$$

(2.15)

自\（{x{k}）和\（{d_{k}）都有界，然后让\（k\rightarrow\infty\）英寸(2.15)产生这样的结果

$$-\bigl\langle F（\bar{x}），\bar{d}\bigr\rangle\leq0$$

(2.16)

哪里\（\bar{x}，\bar{d}\）是相应序列的极限。此外，来自(2.8)和(2.13)，我们得到

$$-\bigl\langle F（\bar{x}），\bar{d}\bigr\rangle=\bigl\垂直F（\bar{x}）\bigr\垂直^{2}>0$$

(2.17)

显然(2.16)矛盾(2.17)。这就完成了证明。 □

三数值结果

在本节中，提供了数值结果来证实所提方法的有效性。这些代码是用Mablab R2010a编写的，并在带有2.0 GHz CPU处理器的个人计算机上运行。为了进行比较，我们还给出了谱梯度法（用SGM表示）在[9]中的共轭梯度法（用CGM表示）[16]. 算法中使用的参数2.1设置为\（t=1，\西格玛=0.01，\ρ=0.5，\β=1\）、和

$$\beta{k}=\frac{\VertF（x{k}）\Vert}{\Vertd_{k-1}\ Vert}$$

对于SGM，我们设置\（β=0.4，σ=0.01，r=0.001）对于CGM，我们选择\（\rho=0.1，\sigma=10^{-4}）和\（xi=1）此外，停止标准设置为\（\垂直F（x_{k}）\垂直\leq10^{-6}\）用于所有测试方法。

问题1

映射\（F（\cdot）\）被视为\（F（x）=（F{1}（x），F{2}（x），\ldots，F{n}（z））^{top}\），其中

$$f_{i}（x）=e^{x{i}}-1\quad\text{对于}i=1,2，\ldots，n$$

显然，这个问题有一个独特的解决方案\（x^{*}=（0,0，\ldots，0）^{\top}\）。

问题2

映射\（F（\cdot）\）被视为\（F（x）=（F_{1}（x），F_{2}（x），\ldots，F_{n}（x））^｛\top｝\），其中

$$\开始{aligned}&f_{1}（x）=x_{1} -e个^{cos（分数{x{1}+x{2}{n+1}）}，\\&f{i}（x）=x_{i} -e个^{cos（frac{x{i-1}+x{i}+x}i+1}{n+1}）}，quad\text{表示}i=2,3，ldots，n-1，\\&f{n}（x）=x_{n} -e个^{cos（分数{x{n-1}+x{n}}{n+1}）}。\结束{对齐}$$

问题3

映射\（F（x）：{R}^{4}\右箭头{R}^{4{\）由提供

$$F（x）=\左（\开始{矩阵}1&0&0&0\\0&1&-1&0\\0&1&1&0\\ 0&0&0&0\end{矩阵}\right）\left（\begin{矩阵}x_{1} \\x{2}\\x{3}\\x_{4}\结束{矩阵}\右）+\左（\开始｛矩阵｝x_{1} ^{3}\\x{2}^{3{\\2x{3}^{3+\\2x_{4}^{3}\结束{矩阵}\右）+\左（\开始{矩阵}-10\\1\-3\0\end{矩阵}\right）$$

这个问题有一个退化的解决方案\（x^{*}=（2,0,1,0）\）。

对于问题1，初始点设置为\（x{0}=（1,1，\ldots，1））、和表1通过算法给出了数值结果2.1具有不同的尺寸，其中Iter。表示迭代次数，CPU表示算法终止时的CPU时间（以秒为单位）。表2列出了问题的数值结果2具有不同的初始点。表中给出的数值结果1和表2结果表明，该方法对于解决给定的两个测试问题是有效的。

表1问题不同维度的数值结果 1

表2问题不同初始点的数值结果 三

4结论

本文将共轭梯度法推广到非线性方程组。该方法的主要优点是在每次迭代时不需要计算雅可比矩阵或任何线性方程，因此适合求解大规模非线性约束方程。在温和条件下，该方法具有全局收敛性。

在算法的步骤4中2.1，我们必须计算可行集交点上的投影C类以及每次迭代时的半空间，这相当于二次规划，非常耗时。因此，如何删除此投影步骤是我们未来的研究课题之一。