求解多集分裂等式问题的迭代算法的收敛速度分析

摘要

研究了求解步长与相关算子范数无关的多集分裂等式问题（MSSEP）的迭代算法，并研究了其次线性和线性收敛速度。特别地，我们提出了MSSEP的有界Hölder正则性的概念，这是对众所周知的有界线性正则性概念的推广，并给出了保证它的几个充分条件。最后，给出了一些数值实验来验证我们结论的有效性。

1介绍

设置\（H_{1}\）,\（H_{2}\）和\（H_{3}\）是三个真正的希尔伯特空间，\（C\substeq H_{1}\）和\（Q\子结构H_{2}\）是两个闭的、凸的和非空的集合。并设置两个运算符\（A:H_{1}\右箭头H_{3}\）和\（B:H_{2}\右箭头H_{3}\）有界且线性。穆达菲[1]首次提出了分裂等式问题（SEP），可以表述为

$$\text在{C}\text{中查找}x\，在{Q}\quad\text{中寻找}y\，这样}Ax=By$$

(1.1)

由于这类问题在许多应用数学领域中的广泛应用，例如调强放射治疗和偏微分方程的分解方法，因此引起了许多作者的关注。为了解决分裂相等问题，引入了各种算法。最重要的算法之一是交替CQ算法（ACQA），它是由穆达菲提出的[1]. ACQA的迭代形式为

$$\textstyle\begin{cases}x_{k+1}=P_{C}（x_{k}-\γ_{k}A^{*}（Ax_{k} -签署人_{k} ），\\y_{k+1}=P_{Q}（y_{k}+\gamma_{k}B^{*}（Ax_{k+1}-By_{k}））。\结束{cases}$$

他还证明了该算法弱收敛于SEP的解(1.1).

ACQA与\（P_{C}\）和\（P_{Q}\）.如果\（P_{C}\）或\（P_{Q}\）没有分析表达式，可能很难实现。然后是穆达菲[2]提出了松弛交替CQ算法（RACQA）来解决此问题：

$$\textstyle\begin{cases}x_{k+1}=P_{C_{k}}（x_{k}-\γA^{*}（Ax_{k} -签署人_{k} ），\\y_{k+1}=P_{Q_{k}}（y_{k}+\betaB^{*}（Ax_{k+1}-By_{k}））。\结束{cases}$$

上述算法也弱收敛于SEP的解(1.1). 之后，为了得到一个强收敛结果，Shi等人[三]提出了以下算法：

$$\textstyle\begin{cases}x_{k+1}=P_{C}[（1-\alpha_{k}）（x_{k}-\γA^{*}（Ax_{k} -由_{k} ）]，\\y_{k+1}=P_{Q}[（1-\alpha_{k}）（y_{k}+\gamma-B^{*}（Ax_{k} -由_{k} ）]。\结束{cases}$$

有关解分裂等式问题的算法的更多信息；参见[4,5]以及其中的参考文献。但所有这些论文都没有考虑算法的收敛速度。

在本文中，我们考虑了多集分裂等式问题（MSSEP），它推广了分裂等式问题。它可以用数学描述为

$$\text{查找}x\in\bigcap^{t}（t）_{i=1}C_{i}\quad\text{和}\quad y\ in \bigcap^{右}_{j=1}Q_{j}\quad\text{这样}Ax=By$$

(1.2)

哪里第页和t吨是两个正整数，\（\{C_{i}\}^{t}（t）_{i=1}\）和\（{Q_{j}\}^{右}_{j=1}\）是Hilbert空间中的闭、凸和非空集\（H_{1}\）和\（H_{2}\）分别地，\（H_{3}\）也是一个Hilbert空间，和两个运算符\（A:H_{1}\右箭头H_{3}\）和\（B:H_{2}\右箭头H_{3}\）是有界的和线性的。显然，当\（t=r=1）、MSSEP(1.2)成为SEP(1.1). 在不损失通用性的情况下，设置\（t>r）并采取\（Q{r+1}=Q{r+2}=\cdots=Q{t}=H_{2}\）.设置\（S_{i}=C_{i}\次Q_{i{\次结构H=H_{1}\次H_{2}\）,\（i=1,2，\ldot，t）,\（S=\bigcap^{t}（t）_{i=1}S_{i}\）,\（G=[A，-B]：H\右箭头H_{3}\）和\（G^{\ast}\）是的伴随算子G公司。然后是MSSEP(1.2)可以重述为

$$\text{在{S}\quad\text{中查找}w=（x，y）\，这样}Gw=0$$

（1.3）

为了解决多重群体分裂平等问题，田等人[6]给出了以下算法并获得了弱收敛结果：

$$\textstyle\begin{cases}x{k+1}=x{k}+\frac{rho{1，k}\sum{i=1}^{t}\alpha{i}\VertP_{C_{i}}x_{k} -x个_{k} \Vert^{2}}{\Vert\sum_{i=1}^{t}\alpha_{i}（P_{C_{i{}x_{k} -x个_{k} ）\垂直^{2}}\sum^{t}（t）_{i=1}\阿尔法{i}（P_{C_{i}}x_{k} -x个_{k} ）\\hphantom{x_{k+1}=}{}-\frac{\rho_{2，k}\Vert-Ax_{k} -由_{k} \垂直^｛2｝｝｛\垂直A^｛*｝（Ax_{k} -由_{k} ）\垂直^{2}}A^{*}（Ax_{k} -由_{k} ），\\y_{k+1}=y_{k}+\压裂{\rho_{1，k}\sum_{i=1}^{t}\alpha_{i}\VertP_{Q{i}}y_{k} -年_{k} \Vert^{2}}{\Vert\sum_{i=1}^{t}\alpha_{i}（P_{Q_{i{y_{k} -年_{k} ）\垂直^{2}}\sum^{t}（t）_{i=1}\α{i}（P_{Q{i}}y_{k} -年_{k} ）\\hphantom{y_{k+1}=}{}+\frac{\rho_{2，k}\Vert-Ax_{k} -由_{k} \垂直^{2}}{\垂直B^{*}（Ax_{k} -由_{k} ）\垂直^{2}}B^{*}（Ax_{k} -由_{k} ）。\结束{cases}$$

(1.4)

该算法的步长是自适应分割的，即不需要任何有关算子的信息，这可以为我们的计算节省大量时间。本文的主要目的是研究算法的次线性和线性收敛速度(1.4).

本文的其余部分组织如下。在Sect。 2，我们回顾了一些对我们稍后的收敛性分析有用的定义和引理。我们还引入了MSSEP的有界Hölder正则性的概念，并提供了一些条件来保证这一性质。在Sect。 三在有界Hölder正则性假设下，我们研究了算法的次线性和线性收敛性(1.4)并得出其收敛速度。在Sect。 4，我们进行了一些数值实验，并阐明了我们结果的有效性。

2前期工作

设置H（H）是一个具有内积的实希尔伯特空间\（\langle\cdot，\cdot\rangle\）和规范\（\|\cdot\|\）。就这点而言\（{H}中的w\）和一套\（S\substeq H\），我们表示w个到上面S公司和距离w个从S公司通过使用\（P_{S}（w）\）和\（d_{S}（w）\）分别定义为

$$P_{S}（w）：=\arg\min\bigl\{\Vert w-v\Vert:v\在{S}\bigr\}\quad\mbox{和}\quad d_{S}:=\inf\bigl中$$

Bauschke等人[7]列出了投影算子的几个基本性质。这些属性如下。

引理2.1

([7])

让 S公司 是一个封闭的,凸的非空子集 H（H）,那么对于任何 \（x，y\单位为H\） 和 \（z在S中）,

• （i） \（语言x-P_{S} x个，z-P_{S} x\等级\leq 0\）;

• （ii） \（\|P_{S} x-P型_{S} 年\|^{2} 语言P_{S} x-P公司_{S} 年，x-y\等级\）;

• （iii） \（\|P_{S} x-z轴\|^{2} \leq\|x-z\|^{2}-\|P（P）_{S} x-x\|^{2}\).

设置运算符\（G:H\右箭头H_{3}\）是有界的和线性的。我们利用\（\ker G=\{x\在{H}:Gx=0\}\中）表示的内核G公司.ker的正交补码G公司由表示\（（\kerG）^{\bot}={y\in{H}:\langlex，y\rangle=0，\forallx\in{\kerG}\}\）众所周知，克尔G公司和\（（\ker G）^{\bot}\）都是的闭子空间H（H）在本文中，我们表示MSSEP的解集(1.3)通过使用Γ，由定义

$$\varGamma:=S\cap\ker G=\{w\在{S}:Gw=0\}中$$

我们假设MSSEP是一致的，那么Γ是一个闭的凸的非空集。

接下来，我们将注意力转移到希尔伯特空间的闭子集和凸子集集合的有界Hölder正则性。

定义2.2

([8])

让\（{i}}中的{S_{i}）是希尔伯特空间中闭凸子集的集合H（H）和\（S=\bigcap_{i\在{i}}S_{i}\neq\emptyset\中）.集合\（\｛S_｛i｝\｝_｛i｝in｛i｝｝\）如果每个有界集都有一个有界Hölder正则交集K（K），存在指数\（{（0,1]}中的\gamma\）和标量\（测试版>0）这样的话

$$d_{S}（w）\leq\beta\bigl（\max\bigl\{d_{S_{i}}（w）：i\in{i}\bigr\}\biger）^{gamma}，\quad\forall w\in{K}$$

此外，如果指数γ独立于集合K（K），我们说的是收藏\（{i}}中的{S_{i}）具有一致指数的有界Hölder正则γ.

很明显，任何仅包含集合的集合都有一个有界Hölder正则交集，其统一指数γ等于1。上述定义与\（伽马=1）是在中引入的有界线性正则性[9]. 然后我们为MSSEP提供了有界Hölder正则性的重要概念(1.3)根据定义2.2.

定义2.3

如果对于每个有界集，则称MSSEP满足有界Hölder正则性K（K），存在指数\（{（0,1]}中的\gamma\）和标量\（测试版>0）这样的话

$$d_{\varGamma}（w）\leq\beta\bigl（\max\bigl\{d_{S}（w），\Vert-Gw\Vert\bigr\}\bigr）^{\gamma}，\quad\forall w\in{K}$$

(2.1)

此外，如果指数γ独立于集合K（K），我们说MSSEP是具有一致指数的有界Hölder正则γ.

值得注意的是，当\（伽马=1），MSSEP满足有界线性正则性[10]。

引理2.4

([11])

让 \（G:H\右箭头H_{3}\） 是有界线性算子.然后 G公司 是内射的且具有闭范围当且仅当G在下面有界,我.e（电子）.,存在一个正常数 γ 这样的话 \（Gw\|ge\gamma\|w\|\） 为所有人 \（{H}中的w\）.

以下引理给出了使MSSEP具有有界Hölder正则性的一些条件(1.3)保持。

引理2.5

\（\{S，\ker G\}\） 有一个有界Hölder正则交集，其范围为 G公司 已关闭,然后是MSSEP(1.3)满足有界Hölder正则性性质.

证明。\（\{S，\ker G\}\）有一个有界Hölder正则交集，所以对于任何有界集K（K），存在指数\（{（0,1]}中的\gamma\）和标量\（测试版>0）这样的话

$$d_{\varGamma}（w）=d_{S\cap\kerG}（w）\leq\beta\bigl$$

(2.2)

自G公司限制为\（（\ker G）^{\bot}\）是内射的，其范围由引理封闭2.4，我们知道存在\（v>0）这样的话

$$\Vert Gw_{1}\Vert\ge v\Vert w_{1}\Vert，\quad\text{代表所有}w_{1}\in{（\ker G）^{\bot}}$$

因此，

$$d_{\ker-G}（w）\leq\frac{1}{v}\Vert-Gw\Vert，\quad\text{代表{H}中的所有}$$

(2.3)

组合(2.2)和(2.3)，我们有

$$d_{\varGamma}（w）\leq\beta\biggl（\max\biggl\{d_{S}（w），\frac{1}{v}\Vert-Gw\Vert\biggr\}\biggr）^{gamma}，\quad\forall w\in{K}$$

然后将证据分为两种情况：

案例1：何时\（压裂{1}{v}<1），我们有

$$d_{\varGamma}（w）\leq\beta\bigl（\max\bigl\{d_{S}（w），\Vert-Gw\Vert\bigr\}\bigr）^{\gamma}，\quad\text{代表{K}中的所有}w\$$

案例2：何时\（压裂{1}{v}\geq 1），我们有

$$d_｛\varGamma｝（w）\leq\frac｛\beta｝｛v^｛\gamma｝｝\max\bigl\｛d_｛S｝（w），\Vert-Gw\Vert\bigr｝^｛\gamma｝，\quad\text｛for all｝w｝in｛K｝中$$

校样完成了。

引理2.6

([10])

让 \（\{S，\ker G\}\） 有界线性正则 G公司 已关闭范围.然后是MSSEP(1.3)满足有界线性正则性.

为了完成算法的收敛速度分析(1.4)，下面的定义和引理也是必不可少的工具。

定义2.7

([7])

让C类是的非空子集H（H）、和\（{x{k}）成为一个序列H（H）.\（{x{k}）被称为Fejér单调C类，如果

$$\垂直x_{k+1}-z\垂直\leq\垂直x_{k} -z（-z）\垂直，\四元\所有z，以C表示$$

显然，一个费耶尔单调序列\（{x{k}）有界且\（\lim_{k\rightarrow\infty}\|x_{k} -z（-z）\|\)存在。

引理2.8

([8])

让 C类 是一个封闭的,希尔伯特空间的凸集和非空集 H（H）,和 秒 为正整数.假设序列 \（{w_{k}\}\） Fejér相对于 C类 并满足

$$d_｛C｝^｛2｝（w_｛（k+1）s｝）\leq d_｛C｝^｛2｝（w_｛ks｝）-\delta d_｛C｝^｛2 \ theta｝（w_｛ks｝），\ quad\ for all k\ in｛\mathbf｛N｝｝$$

对一些人来说 \（增量>0） 和 \（θgeq 1）.然后 \（w_{k}\右箭头w^{\ast}\） 对一些人来说 \（w ^｛\ast｝\在｛C｝\中） 并且存在常量 \（M_{1}，M_{2}\geq 0\） 和 \（在{[0,1）}\中） 这样的话

$$\bigl\垂直_{k} -w个^{\ast}\bigr\Vert\leq\textstyle\begin{cases}M_{1} k个^{-\frac{1}{2（\theta-1）}}，\tquad\theta>1，\\M_{2} 第页^{k} ，\quad\theta=1。\结束{cases}$$

此外,常数可以选择为

$$\textstyle\boot｛cases｝M_｛1｝：=2\max\｛（2s）^｛\frac｛1｝｛2（θ-1）｝｝[（θ-1）\delta]^｛-\frac｛1｝｛2（θ-1）｝｝，（2s）^｛\frac｛1｝｛2（θ-1）｝d_｛C｝（w_｛0｝）\｝，\\M_｛2｝：=2\max\｛（\sqrt[4s]｛1-\delta｝）^{-2s}d_{C} （w_{0}），\sqrt{d_{C}（w_0}）}\}，\\r:=\sqrt[4s]{1-\delta}，\end{cases}$$

和 δ 必然在于 $(0,1]$ 无论何时 \（θ=1）.

引理2.9

([12])

让 \（p>0） 和 \（△k}） 和 \（{\beta_{k}\}_{k\epsilon\mathbf{N}}\） 是两个非负数序列，如下所示

$$\beta_{k+1}\leq\beta_{k}\bigl（1-\delta_{k}\beta^{p}_{k} \bigr），\quad\表示{\mathbf{N}}中的所有k\$$

然后

$$\beta_{k}\leq\Biggl（\beta^{-p}_{0}+p\sum_{i=0}^{k-1}\delta_{i}\Biggr）^{-\frac{1}{p}}，\quad\forall k\ in{mathbf{N}}$$

其中约定 \（\frac{1}{0}=+\infty\） 被采用.

最后，我们通过回顾算法结束本节(1.4)详细说明。

算法2.10

([6])

对于任意初始点\（w{0}=（x{0}，y_{0}）\在{H}\中），序列\（{w_{k}\}\）由生成

$$w_{k+1}=w_{k}+\压裂{\rho_{1，k}\sum_{i=1}^{t}\alpha_{i}\VertP_{S_i}}w_{k} -w个_{k} \Vert^{2}}{\Vert\sum_{i=1}^{t}\alpha_{i}（P_{S_{i}}w_{k} -w个_{k} ）\垂直^{2}}\总和_{i=1}^{t}\alpha_{i}（P_{S_i}}w_{k} -w个_{k} ）-\frac{\rho_{2，k}\VertGw_{k}\Vert^{2}{\Vertg^{*}Gw_}k}\垂直^{2{}G^{*{k}$$

或按组件

$$\textstyle\begin{cases}x{k+1}=x{k}+\frac{rho{1，k}\sum{i=1}^{t}\alpha{i}\VertP_{C_{i}}x_{k} -x个_{k} \Vert^{2}}{\Vert\sum_{i=1}^{t}\alpha_{i}（P_{C_{i{}x_{k} -x个_{k} ）\垂直^{2}}\sum^{t}（t）_{i=1}\阿尔法{i}（P_{C_{i}}x_{k} -x个_{k} ）\\hphantom{x_{k+1}=}{}-\frac{\rho_{2，k}\Vert-Ax_{k} -由_{k} \垂直^{2}}{\垂直A^{*}（Ax_{k} -由_{k} ）\垂直^{2}}A^{*}（Ax_{k} -由_{k} ），\\y_{k+1}=y_{k}+\压裂{\rho_{1，k}\sum_{i=1}^{t}\alpha_{i}\VertP_{Q{i}}y_{k} -年_{k} \Vert^{2}}{\Vert\sum_{i=1}^{t}\alpha_{i}（P_{Q_{i{y_{k} -年_{k} ）\垂直^{2}}\sum^{t}（t）_{i=1}\α{i}（P_{Q{i}}y_{k} -年_{k} ）\\\\hphantom｛y_｛k+1｝=｝｛｝+\frac｛\rho_｛2，k｝\Vert-Ax_{k} -由_{k} \垂直^{2}}{\垂直B^{*}（Ax_{k} -签署人_{k} ）\垂直^{2}}B^{*}（Ax_{k} -由_{k} ），\结束{cases}$$

哪里\（0<\underline{\rho}{1}\leq\rho{1，k}\leq \overline{\rho}{1{<1）,\（0<\underline{\rho}{2}\leq\rho{2，k}\leq \overline{\rho2}<1）和\（{\alpha{i}}{i=1}^{t}>0\）.

三主要成果

在本节中，我们总结了算法的次线性和线性收敛速度2.10在有界Hölder正则性假设下。现在，我们给出了本文中最重要的定理并加以证明。

定理3.1

MSSEP(1.3)满足有界Hölder正则性,顺序 \（{w_{k}\}\） 由算法定义2.10,和 \（\｛S_｛i｝\｝_｛i=1｝^｛t｝\） 有界Hölder正则交集,然后 \（{w_{k}\}\） 收敛到一个解 \（w^{\ast}\） MSSEP的(1.3)至少以次线性速率 \（O（k^{-\iota}）\） 对一些人来说 \（\ iota>0\）.

特别地,如果MSSEP满足均匀指数的有界Hölder正则性 \（在{（0,1]}中为q\） 和 \（{S_{i}{i=1}^{t}） 具有一致指数的有界Hölder正则交集 \（p\在{（0,1]}\中）,然后存在常量 \（M_{1}，M_{2}，F\geq 0\） 和 \（在{[0,1）}\中） 这样，当 \（k\geq F\）,

$$\bigl\垂直_{k} -w个^｛\ast｝\bigr\Vert\leq\textstyle\boot｛cases｝M_{1} k个^{-\frac{1}{2（\theta-1）}}，\tquad\theta>1，\\M_{2} 对^{k} ，\quad\theta=1，\end{cases}$$

哪里 \（θ=frac{1}{pq}\）.

证明

设置\（β{k}:=frac{rho{1，k}\sum{i=1}^{t}\alpha{i}_{k} -w个_{k} |^{2}}{\|\sum_{i=1}^{t}\alpha_{i}（P_{S_{i}}w_{k} -w个{k}）\ |^{2}}\）和\（伽马{k}:=\压裂{rho{2，k}\|Gw{k}\| ^{2}}{\|G^{*}。对于第一个断言，我们首先证明序列\（{w_{k}\}\）Fejér相对于Γ.

自\（\varGamma\neq\emptyset\），采取\（\bar｛w｝\in\varGamma\），然后\（G\bar{w}=0\）、和

$$\开始{对齐}和\垂直w_{k+1}-\bar{w}\Vert^{2}\\&\quad=\Biggl\Vert w_{k}+\beta_{k}\sum_{i=1}^{t}\alpha_{i}（P_{S_i}}w_{k} -w个_{k} ）-\伽马射线_{k} G公司^{*}广州_{k}-\bar{w}\Biggr\Vert^{2}\\&\quad=\Vert w_{k}-\条{w}\Vert^{2}+\beta_{k}^{2{\Biggl\Vert\sum_{i=1}^{t}\alpha_{i}（P_{S_i}}w_{k} -w个_{k} ）\Biggr\Vert^{2}+\gamma_{k}^{2{2}\bigl\VertG^{*}Gw_{k{\bigr\Vert_{2}\\&\qquad{}-2\Biggl\langle\beta_{kneneneep \sum_{i=1}^{t}\alpha_{i}（P_{S_{i}}w_{k} -w个_{k} ），\伽马{k}G^{*}Gw{k}\Biggr\rangle\\&\qquad{}+2\beta_{k}\ Biggl\langle w_{k}-\条形{w}，\sum_{i=1}^{t}\alpha_{i}（P_{S{i}}w_{k} -w个_{k} ）\Biggr\rangle-2\gamma_{k}\bigl\langle w_{k}-\bar{w}，G^{*}Gw_{k}\bigr\rangle\\&\quad\leq\Vert w_｛k｝-\条{w}\Vert^{2}+2\beta_{k}^{2{\Biggl\Vert\sum_{i=1}^{t}\alpha_{i}（P_{S_i}}w_{k} -w个_{k} ）\Biggr\Vert ^｛2｝+2\gamma _｛k｝^｛2｝\bigl\Vert G^｛*｝Gw_｛k｝\bigr\Vert ^｛2｝\&&\qquad｛｝+2\beta _｛k｝\Biggl\langle w_{k}-\条形{w}，\sum_{i=1}^{t}\alpha_{i}（P_{S{i}}w_{k} -w个_{k} ）\Biggr\rangle-2\gamma_{k}\bigl\langle w_{k}-\bar{w}，G^{*}Gw_{k}\bigr\rangle。\结束{对齐}$$

(3.1)

利用投影算子的性质和伴随算子的定义，我们得到以下公式：

$$\开始{aligned}&\Biggl\langle w_{k}-\条{w}，\sum_{i=1}^{t}\alpha_{i}（P_{S_i}}w_{k} -w个{k}）\Biggr\rangle\\&\quad=\sum_{i=1}^{t}\alpha_{i}\langle w_{k}-\条｛w｝，P_｛S_｛i｝｝w_{k} -w个_{k} \rangle\\&\quad=\sum_{i=1}^{t}\alpha_{i}\bigl（\langlew_{k} -P_{S_{i}}w_{k}，P_{S_{i}}w_{k} -w个_{k} 范围+langle P_{S_{i}}w_{k}-\bar{w}，P_{S_{i}}w_{k} -w个_{k}\rangle\bigr）\\&\quad=\sum_{i=1}^{t}\alpha_{i}\bigl（-\Vert P_{S_{i}}w_{k} -w个_{k} \垂直^{2}+\语言P_{S_{i}}w_{k}-\bar{w}，P_{S_{i}}w_{k} -w个_{k} \rangle\bigr）\\&\quad=\sum_{i=1}^{t}\alpha_{i}\bigl（-\Vert P_{S_{i}}w_{k} -w个_{k} \垂直^{2}+\语言P_{S_{i}}w_{k}-\bar{w}，P_{S_{i}}w_｛k｝-\条{w}\rangle\biger）+\langle P_{S_{i}}w_{k}-\bar｛w｝，\bar{w} -w个_{k} \rangle\\&\quad\leq\sum_{i=1}^{t}\alpha_{i}\bigl（-\VertP_{S_{i}}w_{k} -w个_{k} \Vert^{2}+\bigl（\VertP_{S_{i}}w_{k}-\bar{w}\垂直^{2}-\垂直P_{S_{i}}w_{k}-\bar{w}\Vert^{2}\biger）\bigr）\\&\quad=-\sum_{i=1}^{t}\alpha_{i}\Vert P_{S_{i}}w_{k} -w个_{k} \垂直^{2}\结束{对齐}$$

(3.2)

和

$$\bigl\langle w美元_{k}-\bar｛w｝，G^｛*｝Gw_｛k｝\bigr\rangle=\langle Gw_{k} -G\条{w}，Gw_{k}\rangle=\Vert Gw_}\Vert^{2}$$

(3.3)

替换(3.2)和(3.3)到(3.1)，我们得到

$$\开始{aligned}&\Vert w_{k+1}-\bar{w}\Vert^{2}\\&\quad\leq\Vert w_{k}-\条{w}\Vert^{2}+2\beta_{k}^{2{\Biggl\Vert\sum_{i=1}^{t}\alpha_{i}（P_{S_i}}w_{k} -w个_{k} ）\Biggr\Vert^{2}+2\gamma_{k}^{2neneneep \bigl\VertG^{*}Gw_{kneneneep \bigr\Vert_{2}\\&\qquad{}-2\beta_{k{}\sum_{i=1}^{t}\alpha_{i}\VertP_{S_i}}w_{k} -w个_{k} \垂直^{2}-2\gamma_{k}\Vert Gw_{k{\Vert^{2}\\&\quad=\Vert w_{k}-\条{w}\垂直^{2}-2\β{k}\biggl（1-\beta{k}\frac{\Vert\sum{i=1}^{t}\alpha{i}（P_{S_i}}）_{k} -w个_{k} ）\Vert^{2}}{\sum_{i=1}^{t}\alpha_{i}\VertP_{S_i}}w_{k} -w个_{k} \Vert^{2}}\biggr）\sum_{i=1}^{t}\alpha_{i}\VertP_{S_i}}w_{k} -周{k}\Vert^{2}\\&\qquad{}-2\gamma_{k}\biggl（1-\gamma_{k}\fracc{\VertG^{*}Gw_{k{\Vert_2}{\Vert Gw_}k}\Vert^{2}}\biggr）\Vert Gw_{k}\Vert ^{2{}。\结束{对齐}$$

(3.4)

根据以下假设\（{\rho_{1，k}\}\）和\（{\rho_{2，k}\}\），它来自(3.4)那个

$$\垂直w_{k+1}-\bar{w}\垂直\leq\垂直w_{k}-\bar{w}\垂直$$

也就是说，序列\（{w_{k}\}\）Fejér相对于Γ因此，\（{w_{k}\}\）有界且\（\lim_{k\rightarrow\infty}\|w_{k}-\条形图存在。

为了得到更好的结论，我们需要证明\（d_{varGamma}（w_{k}）<1）什么时候k个足够大了。

假设以下不等式\（增量>0）和\（θgeq 1）为真：

$$d_{\varGamma}^{2}（w_{k+1}）\leq d_{varGamma}^{2}（w_{k}）-\delta d_{\ varGammaneneneep}^{2\theta}（w _{k{），\quad\forall k\ in{mathbf{N}}$$

(3.5)

然后假设\（w_{0}\notin\varGamma\）并设置\（λ{k}:=d_{varGamma}^{2}（w{k}））和\（j：=θ-1\geq 0）然后是不等式(3.5)减少到

$$\lambda_{k+1}\leq\lambda_{k}\bigl（1-\delta\lambda _{k{^{j}\bigr）$$

(3.6)

然后根据θ:

案例1：何时\（θ>1），我们知道\（\frac｛1｝｛θ-1｝>0\）通过引理2.9，我们有

$$\lambda_{k}\leq\bigl（\lambda^｛-j｝_{0}+（θ-1）\delta k\biger）^{-\frac{1}{\theta-1}}\leq\bigl$$

也就是说，

$$d_{\varGamma}（w_{k}）\leq\bigl（（\theta-1）\delta-k\bigr）^{-\frac{1}{2（\theta-1）}}}$$

所以我们可以找到一个正整数\（T_{1}\）这样的话\（d_{varGamma}（w_{k}）<1）什么时候\（k\geq T_{1}）.

案例2：何时\（θ=1），由(3.6)，我们有

$$\lambda_{k+1}\leq\lambda _{k}（1-\delta）$$

哪里\（增量\英寸（0,1]\）.然后

$$d_{\varGamma}（w{k}）=\sqrt{\lambda{k}}\leq\sqrt}\lambda{0}}（\sqrt[1-\delta}）^{k}$$

所以我们可以找到一个正整数\（T_｛2｝\）这样的话\（d_｛\varGamma｝（w_｛k｝）<1\）什么时候\（k\geq T_{2}）.

设置\（T:=\最大\{T_{1}，T_{2}\}\），我们有\（d_{varGamma}（w{k}）<1）什么时候\（k\geq T）.

接下来，我们将证明序列\（{w_{k}\}\）满足不等式(3.5)对一些人来说\（增量>0）和\（θgeq 1）.

自w̄在中是任意的Γ，我们有

$$开始{对齐}和d_{\varGamma}^{2}（w_{k+1}_{k} -w个_{k} ）\Vert^{2}}{\sum_{i=1}^{t}\alpha_{i}\VertP_{S_i}}w_{k} -w个_{k} \Vert^{2}}\biggr）\sum_{i=1}^{t}\alpha_{i}d_{S_{i}}^{2{（w_{k}）\\&\qquad{}-2\gamma_{k{\biggl垂直Gw_{k}\垂直^{2}。\结束{对齐}$$

(3.7)

一方面，根据以下假设\（{\rho_{1，k}\}\）和\（{\rho_{2，k}\}\），我们得到

$$\lim\limits_｛k\rightarrow\infty｝\inf\biggl[\beta _｛k｝\biggl（1-\ beta _｛k｝\frac｛\Vert\sum_｛i=1｝^｛t｝\alpha_｛i｝（P_｛S_｛i｝）w_{k} -w个_{k} ）\Vert^{2}}{\sum_{i=1}^{t}\alpha_{i}\VertP_{S_i}}w_{k} -周_{k} \垂直^{2}}\biggr）\biggr]>0$$

和

$$\lim\limits_{k\rightarrow\infty}\inf\biggl[\gamma_{k}\biggl（1-\gamma_{k}\frac{\VertG^{*}Gw_{k{2\Vert^{2}{\Vert Gw_}k}\Vert^2}}）\biggr]>0$$

因此，我们可以找到两个正整数N个和M（M）这样的话

$$a{1}:=\inf\limits_{k\geqN}\biggl[\beta_{k}\bigl（1-\beta_{k}\frac{\Vert\sum_{i=1}^{t}\alpha_{i}（P_{S_i}}）w_{k} -w个_{k} ）\Vert^{2}}{\sum_{i=1}^{t}\alpha_{i}\VertP_{S_i}}w_{k} -w个_{k} \垂直^{2}}\biggr）\biggr]>0$$

和

$$a{2}:=\inf\limits_{k\geqM}\biggl[\gamma_{k}\bigl$$

设置\（L:=\最大\{N，M\}\）然后是不等式(3.7)减少到

$$d_{\varGamma}^{2}（w_{k+1}）\leq d_{\\varGamma}^{2]$$

(3.8)

另一方面，设置K（K）是一个有界集，这样\（{w_{k}:k\in\mathbf{N}\}\substeq-k\），自\（{S_{i}{i=1}^{t}）有界Hölder正则交集，存在指数\（p\在{（0,1]}\中）和标量\（\mu>0\）这样的话

$$d_{S}（w_{k}）\leq\mu\bigl（\max\bigl\{d_{S_i}（w_{k{），i=1,2，\ldots，t\bigr\}\bigr）^{p}，\quad\对于{k}中的所有w_{k}$$

也就是说，

$$\biggl（\frac{1}{\mu}d_{S}（w_{k}）\biggr）^{\frac}1}{p}}\leq\max\bigl\{d_{S_i}}（w_{k{），i=1,2，\ldots，t\bigr\}，\quad\对于{k}中的所有w_{k}$$

(3.9)

由于MSSEP满足有界Hölder正则性，因此存在指数\（在{（0,1]}中为q\）和标量\（菜单>0）这样的话

$$d_{varGamma}（w_{k}）\leq\nu\bigl$$

也就是说，

$$\biggl（{\frac{1}{\nu}}d_{\varGamma}（w_{k}）\biggr）^{\frac{1}{q}}\leq\max\bigl\{d_{S}（w_{k{），\Vert Gw_{k}\Vert\bigr\}，\quad\对于{k}中的所有w_{k}$$

(3.10)

替换(3.9)和(3.10)到(3.8)，我们得到

$$开始{对齐}d_{\varGamma}^{2}^{2} -2a个_{2} 垂直Gw{k}\垂直^{2}\\leq&d_{varGamma}^{2{（w_{k}）-2a{1}\alpha\mu^{-\frac{2}{p}}d_{S}^{frac{2}}{p{}（w{k{）-2a{2}\Vert Gw{k}\Vert^{2neneneep \\leq＆d_{varGamma}^2}（w _{k}）-2\eta\bigl（d_{S}^{frac{2}{p}}（w_{k{）+\VertGw{k}\Vert^{2}\bigr），\quad\text{表示所有}k\geqL，\end{aligned}$$

哪里\（\alpha=\min\｛\alpha_{i｝，~i=1,2，\ldots，t\｝\）,\（eta=\min\{a{1}\alpha\mu^{-\frac{2}{p}}，a{2}}）然后将证据分为两种情况：

情况1：何时\（最大\{d_{S}（w{k}），我们有

$$d_{\varGamma}^{2}（w_{k+1}）\leq d_{\\varGamma}^{2}（w_{k}）-2\eta d_{S}^{frac{2}{p}}（w _{k}）\leqd d_{varGamma{^{2{（w_{k{）-2\ eta\biggl（{frac{1}{nu}\biggr）^{{pq}}\bigl（d_{varGamma}（w{k}）\bigr）^{frac{2}{pq{}，\quad\text{代表所有}k\geqL$$

所以不平等(3.5)是正确的\（δ=2\eta（{\frac{1}{\nu}}）^{\frac{2}{pq}}\）和\（θ=frac{1}{pq}\）.

案例2：何时\（最大值{d_{S}（w{k}），我们有

$$d_{\varGamma}^{2}（w_{k+1}）\leq d_{\varGamma}^{2}（w_{k}）-2\eta\Vert Gw_{k}\Vert^{2{\leq 2_{\varGamma}^{2{\varGamma}（w_{k}）\biger）^{\frac{2}{q}}，\quad\text{forall}k\geqL$$

所以不平等(3.5)是正确的\（δ=2\eta（{\frac{1}{\nu}}）^{\frac{2}{q}}\）和\（θ=frac{1}{q}\）.设置\（F:=\最大\{L，T\}\）.何时\（k\geq F\），我们有

$$d_{\varGamma}^{2}（w_{k+1}）\leq d_{\\varGamma{^2}$$

总之，我们得到了不等式(3.5)其中\（θ=frac{1}{pq}\）和

$$\delta=\textstyle\begin{cases}2\eta（{\frac{1}{\nu}}）^{\frac{2}{pq}}，~\max\{d_{S}（w_{k}），\Vert Gw_{k}\Vert\}=d_{S}（w_{k{），\\2\eta（{frac{1_{nu}）{S}（w_{k}），\Vert Gw_{k}\Vert\}=\Vert Gw_{k}\Vert。\结束{cases}$$

按引理2.8，我们看到第一个断言是正确的。

对于第二个断言，证明与上述证明相同。我们注意到第页和q个独立于K（K）。然后可以获得第二个断言。证明完成。□

SEP是MSSEP的特例。什么时候？\（t=1），算法2.10简化为求解SEP的迭代算法(1.1) [6]. 因此定理3.1变为以下形式。

推论3.2

SEP公司(1.1)满足有界Hölder正则性性质和序列 \（{w_{k}\}\） 由定义

$$w{k+1}=w{k}+rho{1，k}（P_{S} w个_{k} -w个_{k} ）-\frac{\rho_{2，k}\VertGw_{k}\Vert^{2}{\Vertg^{*}Gw_}k}\垂直^{2{}G^{*{k}$$

(3.11)

或组件-明智的

$$\textstyle\begin{cases}x{k+1}=x{k}+\rho{1，k}（P_{C} x个_{k} -x个_{k} ）-\压裂{\rho_{2，k}\垂直轴_{k} -由_{k}\垂直^{2}}{\垂直A^{ast}（Ax_{k} -签署人_{k} ）\垂直^{2}}A^{*}（Ax_{k} -由_{k} ），\\y_{k+1}=y_{k}+\rho_{1，k}（P_{Q} 年_{k} -年_{k} ）+\压裂{\rho_{2，k}\垂直轴_{k} -由_{k}\垂直^{2}}{\垂直B^{ast}（Ax_{k} -由_{k} ）\垂直^{2}}B^{*}（Ax_{k} -由_{k} ），\结束{cases}$$

哪里 \（0<\underline{\rho}{1}\leq\rho{1，k}\leq \overline{\rho}{1{<1）,\（0<\underline{\rho}{2}\leq\rho{2，k}\leq \overline{\rho2}<1）,然后 \（{w_{k}\}\） 收敛到一个解 \（w^{\ast}\） SEP的(1.1)至少以次线性速率 \（O（k^{-\iota}）\） 对一些人来说 \（\iota>0\）.

特别地,如果SEP满足均匀指数的有界Hölder正则性 \（在{（0,1]}中为q\）,那么就存在常数 \（M_{1}，M_{2}\geq 0\） 和 \（在{[0,1）}\中） 这样的话

$$\bigl\垂直_{k} -w个^{\ast}\bigr\Vert\leq\textstyle\begin{cases}M_{1} k个^{-\frac{1}{2（\theta-1）}}，\tquad\theta>1，\\M_{2} 第页^{k} ，\quad\theta=1，\end{cases}$$

哪里 \（θ=frac{1}{q}\）.

它的证明类似于定理的证明3.1.

4数值实验

设置\（H_{1}=R\）,\（H｛2｝=R ^｛2｝\）和\（H_{3}=R^{3}\）.我们考虑具有两个子集的SEP\（H_{1}:\|x\|leq15\}\中的C=\{x\）和\（Q=\{x\在H_{2}:\|x\|leq15\}\中）.两名操作员\（A:H_{1}\右箭头H_{3}\）和\（B:H_{2}\右箭头H_{3}\）由定义

$$A（x）=（x，0,0）\quad\text{和}\quad B（y，z）=（y，z，0），\quad_text{表示所有}R中的x，y，z\$$

分别是。设置\（S=C\次Q\子结构H_{3}\）和\（G=[A，-B]：H_{3}\右箭头H_{3}\）.G公司由定义

$$G（x，y，z）=（x-y，-z，0），\quad\text{表示所有}（x，y，z）\在R^{3}中$$

然后\（\ker G=\{（x，x，0），x\在{R}\}\neq\emptyset\中），范围G公司已关闭，此SEP的解决方案集为\（\varGamma=S\cap\ker G={（x，x，0），x\在{C}\}\中）很容易知道SEP通过引理满足有界线性正则性2.6也就是说，它满足有界Hölder正则性。

采取\（w{0}=（x{0}，y{0}，z{0}）\在S\中）.考虑到算法(3.11)，我们有

$$\textstyle\begin{cases}x_{k+1}=x_{k}-\frac｛\rho｛2，k｝[（x_{k} -年_{k} ）^{2}+z{k}^{2{]}{[2（x_{k} -年{k}）^{2}+z{k}^{2{]}（x_{k} -年_{k} ），\\y_{k+1}=y_{k}-\裂缝{\rho{2，k}[（x_{k} -年_{k} ）^{2}+z{k}^{2{]}{[2（x_{k} -年{k}）^{2}+z{k}^{2{]}（-x{k}+y{k}），\\z{k+1}=z_{k}-\frac｛\rho｛2，k｝[（x_{k} -年_{k} ）^{2}+z{k}^{2{]}{[2（x_{k} -年{k}）^{2}+z{k}^{2{]}z{k{。\结束{cases}$$

在这个算法中，我们取\（ρ{2，k}=0.3\）分别为0.5。然后我们得到了一些数值实验，这些实验是在一台配备Intel（R）Core（TM）i5-4210U CPU 1.70 GHz和RAM 4.00 GB的戴尔个人计算机上运行的。我们用Wolfram Mathematica（9.0版）编写了所有程序。

我们取初始值\（w{0}=（6,10,2）\）.将错误设置为10⁻⁵, 10⁻¹⁰分别是。注意，我们分别使用图的x坐标和y坐标表示迭代次数和误差的对数。

图1

\（\mathrm{Error}=10^{-5}\）,\（w{1}=（6,10,2）\）,\（宽=（8,8,0）\）

图2

\（\mathrm{Error}=10^{-10}\）,\（w{1}=（6,10,2）\）,\（w=（8,8,0）\）