三个凸可分函数之和最小化的原对偶不动点算法

摘要

图像处理和信号恢复中出现的许多带有多正则化和约束的问题可以表示为三个凸可分函数之和的最小化。通常，目标函数包括具有Lipschitz连续梯度的光滑函数、线性复合非光滑函数和非光滑函数。在本文中，我们提出了一个原对偶不动点（PDFP）方案来解决上述问题。提出的三块问题算法是一种对称的完全分裂方案，只涉及显式梯度、线性变换和可能具有闭合解的邻近算子。我们研究了该算法的收敛性，并通过融合LASSO和具有非负约束和稀疏正则化的图像恢复的例子说明了其有效性。

1介绍

本文旨在设计一个原始-对偶不动点算法框架，用于解决以下最小化问题：

$$\min_{x\in\mathbb{R}^{n}}{f_{1}}（x）+（{f_2}}\circ B）（x）+{f_3}}$$

(1.1)

哪里\（{f{1}}\）,\（{f{2}}\）、和\（{f{3}}\）是三个适当的下半连续凸函数，并且\（｛f_｛1｝｝\）在上可区分\（{\mathbb{R}^{n}}\）用一个\（1/\β\）-Lipschitz连续梯度\（\beta\in（0，+\infty]\），同时\（B:{\mathbb{R}^{n}}\rightarrow\mathbb{R}^{m}\）是一个线性变换。该公式涵盖了多正则化项和约束在图像处理和信号恢复中的广泛应用。例如，在许多成像和数据处理应用程序中\（f{1}\）对应于数据完整性项，后两项用于正则化。作为一个直接的例子(1.1)，我们可以考虑融合LASSO惩罚问题[1,2]由定义

$$\min_{x\在{\mathbb{R}^{n}}\frac{1}{2}中$$

另一方面，在成像科学中，总变差正则化B类是离散梯度算子\（\ell_{1}\）正则化已被应用于一些图像恢复应用中，例如[三]. 另一个有用的应用程序对应于\（f_{3}=chi_{C}），其中\（\chi_{C}\）是非空闭凸集的指示函数C类。在这种情况下，问题简化为

$$\min_{x\在C}{f_{1}}（x）+（{f_2}}\circ B）（x）中$$

(1.2)

据我们所知，Combettes和Pesquet在[4]解决单调算子包含问题，包括(1.1)作为特殊情况。康达特[5]解决了同样的问题，并提出了一个原始-对偶分裂方案。还详细讨论了对多块复合函数的扩展。对于特殊情况\（B=I）(我表示通常的身份操作员），Davis和Yin[6]提出了一种基于单调算子的三算子分裂方案。对于这个问题(1.1)将其简化为两块可分函数，文献中提出并研究了许多分裂和近似算法。其中，对交替方向乘法器法（ADMM）进行了广泛的研究[7]（也称为分裂Bregman[三]; 参见示例[8]以及其中的参考）。原对偶混合梯度法（PDHG）[9–12]也称为Chambolle-Pock算法[11]，是另一类流行的算法，主要用于成像应用。在[13–16]为了避免某些典型问题的子问题求解，提出了几种完全解耦的方案，如不精确Uzawa解算器和原对偶不动点算法\（\ell_{1}\）最小化问题。Komodakis和Pesquet[17]最近对解决大规模优化问题的最新原始对偶方法进行了很好的概述(1.1). 在中提出了一类通用的多步不动点逼近算法[18]，其中包括几个现有算法[11,12]作为特殊情况。在本文的编写过程中，我们注意到，李和张[19]也研究了这个问题(1.1)并引入了一种准Newton和超松弛策略来加速算法。这两种算法都可以看作是康达特算法的推广[5]. 理论分析是基于[18]。

在下文中，我们主要回顾了一些最相关的工作，以便进行简明扼要的介绍。问题(1.2)已在中进行了研究[20]在最大后验ECT重建的背景下，提出了一种预处理交替投影算法（PAPA）来解决由此产生的正则化问题。对于\（f_｛3｝=0\）英寸(1.1)，我们提出了原对偶不动点算法\（\mathrm{PDFP}^{2}\mathrm{O}\）（基于邻近算子的原对偶不动点算法）[15]. 基于不动点理论，我们证明了该格式的收敛性\（\mathrm{PDFP}^{2}\mathrm{O}\）以及在适当条件下迭代序列的收敛速度。

在这项工作中，我们旨在扩展\（\mathrm{PDFP}^{2}\mathrm{O}\）英寸[15]和PAPA[20]用于解决(1.1)无需求解子问题，并对原对偶序列进行了收敛性分析。具体算法，即原对偶不动点（PDFP）算法，公式如下：

$$（\mathrm{PDFP}）\quad\textstyle\begin{cases}y^{k+1}=\operatorname{近似}_{{\gamma}{{f{3}}}（x^{k}-\伽玛\nabla{{f{1}}（x^{k}）-{lambda}B^{T}v^{k{），\\v^{k+1}=（I-\运算符名称{近似}_{\frac{\gamma}{\lambda}{{f{2}}}}）（按^{k+1}+v^{k}），\\x^{k+1}=\operatorname{近似}_{{\gamma}{{f{3}}}（x^{k}-\伽玛\nabla{{f{1}}（x^{k}）-{\lambda}B^{T}v^{k+1}），\end{cases}$$

(1.3)

哪里\（0<\lambda<1/\lambda_{\mathrm{max}}（BB^{T}）\）,\（0<γ<2 \β）.在这里\（\操作员姓名｛代理｝_{f} \）是接近运算符[21]函数的（f）; 参见(2.2). 什么时候？\（f_{3}=chi_{C}），建议的算法(1.3)减少到了[20]; 参见(4.1). 对于另一种特殊情况，\（f{3}=0\）英寸(1.3)，我们获得\（\mathrm{PDFP}^{2}\mathrm{O}\）提议于[15]; 参见(4.2). 该PDFP算法的收敛性分析建立在原对和对偶对上的不动点理论基础上。总体方案是完全明确的，这使得许多大型应用程序易于实现和并行计算。这将通过应用于统计学习和图像恢复中出现的问题来进一步说明。PDFP具有对称形式，与Condat算法不同[5]. 此外，我们指出，PDFP中的参数范围比[5,19]并且PDFP中参数的规则很好地分离，与[5,19]。

论文的其余部分组织如下。在节中2，我们将介绍一些预备知识和符号，并从一阶最优性条件推导出PDFP。在章节中三，我们将提供一些特殊情况下的收敛结果和线性收敛速度结果。在节中4，我们将对PDFP算法的形式进行比较(1.3)使用一些现有算法。在章节中5，我们将通过融合LASSO和pMRI（并行磁共振图像）重建的一些示例来展示PDFP的数值性能和效率。

2原对偶不动点算法

2.1序言和注释

为了这项工作的自完备性，我们列出了凸分析中的一些相关符号、定义、假设和引理。我们建议读者参考[15,22]以及其中的参考，以了解更多详细信息。

为了便于表示，我们将讨论限制在欧几里德空间\（\mathbb{R}^{n}\），配备了常用的内部产品\（\langle\cdot，\cdot\rangle\）和规范\（\|\cdot\|=\langle\cdot，\cdot\ rangle^{1/2}\）。我们首先假设问题(1.1)至少有一个解决方案，并且\（{f{2}}\）,\（{f{3}}\）,B类满足

$$0\in\operatorname{ri}\bigl（\operator名称{dom}_{{f_{2}}-B（\operatorname{dom}_{{f{3}}}）\较大）$$

(2.1)

其中符号\（\operatorname{ri}（\cdot）\）表示凸子集的内部，以及（f）定义为\（\操作员姓名{dom}_{f} =\{x\in\mathbb{R}^{n}\mid-f（x）<+\infty\}\）.

这个\（\ell_{1}\）向量的范数\（x\in\mathbb{R}^{n}\）表示为\（\ | \ cdot \ | _{1}\）矩阵的谱范数表示为\（\ | \ cdot \ | _{2}\）.让\（\伽马_｛0｝（\mathbb｛R｝^｛n｝）\）是所有适当的下半连续凸函数的集合\（\mathbb{R}^{n}\）到\（（-\infty，+\infty]\）。对于函数\（f\in\Gamma_{0}（\mathbb{R}^{n}）\），的邻近运算符（f）:\（\操作员姓名{近似}_{f} \）[21]由定义

$$\操作员姓名{近似}_{f} （x）=\mathop{\arg\min}_{y\in\mathbb{R}^{n}}f（y）+\frac{1}{2}\|x-y\|^{2}$$

(2.2)

对于非空闭凸集\（C\子集\mathbb{R}^{n}\），让\（\chi_{C}\）是的指示功能C类，由定义

$$\chi_{C}（x）=\textstyle\begin{cases}0，&x\in C，\\+\infty，&x\notin C$$

让\（\操作员姓名{项目}_{C} \）成为投影操作符C类,即

$$\操作员姓名{项目}_{C} （x）=\mathop{\arg\min}_{y\在C}\|x-y\|^{2}中$$

很容易看出这一点\（\操作员姓名{近似}_{\gamma\chi_{C}}=\operatorname｛项目｝_{C} \）为所有人\（伽马>0），而邻近算子是投影算子的推广。注意，许多有效的分割算法依赖于以下事实\（\操作员名称{近似}_{f} \）有一个封闭的解决方案。例如，当\（f=\gamma\|\cdot\|_{1}）近似解是通过单元化软收缩得到的。我们建议读者参考[22]有关接近运算符的更多详细信息。让¼f是的次微分（f）,即

$$\partial f（x）=\bigl\{v\in\mathbb{R}^{n}\mid\langle y-x，v\rangle\leq f（y）-f（x）\mbox{表示所有}y\in\mathbb{R}^{n}\bigr\}$$

(2.3)

和\（{f^{*}}\）是的凸共轭函数（f），由定义

$$f^{*}（x）=\sup_{y\in\mathbb{R}^{n}}\langlex，y\rangle-f（y）$$

操作员\（电话：\mathbb{R}^{n}\rightarrow\mathbb{R}^{n{）是非扩展的，如果

$$\|Tx-Ty\|\leq\|x-y\|quad\mbox{代表所有}x，y\in\mathbb{R}^{n}$$

和T型如果

$$\|Tx-Ty\|^{2}\leq\langle Tx-Ty，x-{y}\rangle\quad\mbox{代表所有}x，y\in\mathbb{R}^{n}$$

很明显，一个坚定的非扩张算子是非扩张的。操作员T型是δ-存在正实数时的强单调性δ这样的话

$$\langle Tx-Ty，x-{y}\rangle\geq\delta\|x-y\|^{2}\quad\mbox{表示所有}x，y\in\mathbb{R}^{n}$$

(2.4)

引理2.1

对于任意两个功能 \（{{f_{2}}}\in\Gamma_{0}（\mathbb{R}^{m}） 和 \（{{f_{3}}}\in\Gamma_{0}（\mathbb{R}^{n}）,和线性变换 \（B:{\mathbb{R}^{n}}\rightarrow\mathbb{R}^{m}\）,让人满意 \（0\in\operatorname{ri}（\operator名称{dom}_｛｛f_｛2｝｝｝-B（\操作员名称{dom}_{{f{3}}}））,我们有

$$\partial（｛f_{2}｝\循环B+｛f_{3}｝）=B^｛T｝\循环\partial｛f_{2}｝｝\循环B+\部分｛f_{3}｝$$

引理2.2

让 \（｛f｝\in\Gamma_｛0｝（\mathbb｛R｝^｛n｝）\）.然后 \（\操作员姓名{近似}_{f} \） 和 \（I-\操作员姓名{近似}_{f} \） 绝对不会膨胀.此外,

$$\开始{aligned}&x=\operatorname{近似}_{{f}}（y）\quad\Leftrightarrow\quad-y-x\in\partial{f}{（x）\quad-textit{对于给定的}y\in\mathbb{R}^{n}，\end{aligned}$$

(2.5)

$$\开始{对齐}&y\在\部分{{f}}（x）\quad\Leftrightarrow\quad x=\operatorname{近似}_{{f}}（x+y）\\&\hphantom{y\in\partial{f}{（x）}\quad\Leftrightarrow\quad y=（I-\operatorname{prox}_{f}）（x+y）\quad\\textit{代表}x，y\in\ mathbb{R}^{n}，\end{aligned}$$

(2.6)

$$\开始{aligned}&x=\operatorname{近似}_{\gamma{f}}（x）+\gamma\运算符名称{近似}_{压裂{1}{\gamma}{f^{*}}}\biggl（{\frac{1}}{\gamma}x}\bigr）\quad\textit{表示所有}x\in\mathbb{R}^{n}\textit{和}\gamma>0。\结束{对齐}$$

(2.7)

如果 （f） 有 \（1/\beta\）-Lipschitz连续梯度进一步,我们有

$$\beta\bigl\Vert\nabla f（x）-\nabla f（y）\bigr\Vert^{2}\leq\bigl\ langle\nabla f（x）-\nabla f（y），x-y\bigr\ rangle\quad\textit{表示所有}x，y\in\mathbb{R}^{n}$$

(2.8)

引理2.3

让 T型 成为操作员 \（u^{*}\） 是…的固定点 T型.让 \（{u^{k+1}\}\） 是不动点迭代生成的序列 \（u^{k+1}=T（u^}k}）\）.假设（i）T型 是连续的，（ii）\（\{\|u^{k} -u个^{*}\|\} \) 不是-增加，（iii）\（\lim_｛k\ to+\infty｝\|u^｛k+1｝-u^｛k｝\|=0）.然后是序列 \（{u^{k}\}\） 有界并收敛到 T型.

引理的证明2.3是标准的，我们让读者参考中定理3.5的证明[15]了解更多详细信息。

让γ和λ是两个正数。为了简化演示，我们使用了以下符号：

$$\开始{aligned}&T_{0}（v，x）=\operatorname{近似}_{{\gamma}{{f_{3}}}\bigl（x-\gamma\nabla{{f_1}}}（x）-{\lambda}B^{T}v\bigr），\end{aligned}$$

(2.9)

$$\开始{aligned}&T_{1}（v，x）=（I-\operatorname{近似}_{\frac{\gamma}{\lambda}{{f_{2}}}}）\bigl（B\circ T_{0}（v，x）+v\bigr），\end{对齐}$$

(2.10)

$$\开始{aligned}&T_{2}（v，x）=\operatorname{近似}_{{\gamma}{{f_{3}}}\bigl（x-\gamma\nabla{{f_1}}}（x）-{\lambda}B^{T}\circ T_{1}（v，x）\bigr），\end{aligned}$$

(2.11)

$$\begin{aligned}&T（v，x）=\bigl（{T_{1}}（v，x），{T_{2}（v，x）}\bigr）。\结束{对齐}$$

(2.12)

表示

$$\begin{aligned}&g（x）=x-\gamma\nabla f_{1}（x）\quad\mbox{forall}x\in\mathbb{R}^{n}，\end{aligned}$$

(2.13)

$$\开始{aligned}&M=I-\lambda BB^{T}。\结束{对齐}$$

(2.14)

让\（\lambda_{\mathrm{max}}（A）\）表示平方矩阵的最大特征值A类.何时\（0<\lambda<1/\lambda_{\mathrm{max}}（BB^{T}）\）,M（M）是对称正定矩阵，所以我们可以定义范数

$$\|v\|_｛M｝=\sqrt｛\langle｛v｝，Mv\rangle｝\quad\mbox｛for all｝v\in\mathbb｛R｝^｛M｝$$

(2.15)

对于一对\（｛u｝=（v，x）\in\mathbb｛R｝^｛m｝\times\mathbb｛R｝^｛n｝\），我们还定义了产品空间的范数\（\mathbb｛R｝^｛m｝\times\mathbb｛R｝^｛n｝\）作为

$$\|u\|_{\lambda}=\sqrt{\lampda\|v\|^{2}+\|x\|^}2}}$$

(2.16)

2.2PDFP的推导

关于扩展PAPA在[20]和\（\mathrm｛PDFP｝^｛2｝\mathrm｛O｝\）提议于[15]，我们导出了原始-对偶不动点算法(1.3)用于解决最小化问题(1.1).

根据假设(2.1)，通过使用(1.1)和引理2.1，我们有

$$0\in\gamma\nabla{{f_{1}}}\bigl（x^{*}\bigr）+{\lambda}B^{T}\partial\biggl（\frac{\gamma}{\lampda}{f_2}}\biggr）\bigle（Bx^{**}\biger）+\gamma\ partial{f_3}}\比格尔（x^}\biggr）$$

哪里\（x^{*}\）是最佳解决方案。让

$$v^{*}\in\partial\biggl（\frac{\gamma}{\lambda}{{f{2}}}\biggr）\bigl（Bx^{*{\bigr）$$

(2.17)

通过应用(2.6)，我们有

$$\开始{aligned}&v^{*}=（I-\operatorname{近似}_{\frac{\gamma}{\lambda}{{f{2}}}}）\bigl（Bx^{*}+v^{*{}\bigr），\end{aligned}$$

（2.18）

$$\开始{aligned}&x^{*}=\operatorname{近似}_{{\gamma}{{f_{3}}}\bigl（x^{*}-\gamma\nabla{f_}1}}\bigl（x^{*{}\bigr）-\lambda B^{T} v（v）^｛*｝\bigr）。\结束{对齐}$$

(2.19)

通过插入(2.19)到(2.18)，我们得到

$$v^｛*｝=（I-\运算符名称{近似}_{\frac{\gamma}{\lambda}{{f_{2}}}}）\bigl（B\circ\operatorname｛代理｝_{{\gamma}{{f_{3}}}\bigl（x^{*}-\gamma\nabla{f_}1}}\bigl（x^{*{}\bigr）-\lambda B^{T} 五^{*}\bigr）+v^{*}\ bigr$$

或同等标准，\（v^{*}=T_{1}（v^}*}，x^{*{）\）。接下来，更换\（v^{*}\）英寸(2.19)由\（T_{1}（v^{*}，x^{*{）\），我们可以\（x^{*}=T_{2}（v^{*{，x^{**}）\）换句话说\（u^{*}=T（u^}*}）\）对于\（{u^{*}}=（v^{*{，x^{*neneneep）\）同时，如果\（u^{*}=T（u^}*}）\），我们可以看到\（x^{*}\）满足一阶最优性条件(1.1)因此\（x^{*}\）是的最小值(1.1).

总之，我们有以下定理。

定理2.1

假设 \（x^{*}\） 是的解决方案(1.1)和 \（v^{*}\在\mathbb{R}^{m}\中） 定义为(2.17).那么我们有

$$\textstyle\开始{cases}v^{*}=T_{1}（v^{}，x^{*{），\\x^{**}=T_{2}$$

我.e（电子）.\（{u^{*}}=（{v^{*{}}，{x^{**}}）\） 是的固定点 T型.反之亦然,如果 \（{u^{*}}=（{v^{*{}}，{x^{*neneneep}）在\mathbb{R}^{m}\times\mathbb{R}^{n}\中） 是的固定点 T型,然后 \（x^{*}\） 是的解决方案(1.1).

很容易确认序列\（（v^{k+1}，x^{k+1}）由PDFP算法生成(1.3)是Picard迭代\（（v^｛k+1｝，x^｛k+1｝）=｛T｝（v^｛k｝，x^｛k｝）\）。所以我们将使用运算符T型分析第节中PDFP的收敛性三.

三收敛性分析

在下面，让\（{y^{k+1}\}\）和\（{u^{k+1}=（v^{k+1}，x^{k+1}）是PDFP算法生成的序列(1.3),即 \（y^{k+1}={T}（T）_{0}（v^{k}，x^{k{）\）和\（（（v^{k+1}，x^{k+1}）={T}（v^}k}，x^{k}）\）.让\（{u^{*}}=（{v^{*{}}，{x^{**}}）\）成为操作员的固定点T型.

3.1汇聚

引理3.1

我们有以下估计:

$$\开始{aligned}&\bigl\Vert v^{k+1}-v^{*}\bigr\Vert^{2}\leq\bigl\ Vert v^{k} -v型^{*}\较大\垂直^{2}-\bigl\Vert v^{k+1}-v^{k}\bigr\Vert^{2}+2\bigl\langle B^{T}\bigl（v^{k+1}-v^}\biger），y^{k+1}-x^{*}\biger\rangle，\end{aligned}$$

(3.1)

$$\开始{对齐}&\bigl\Vert x^{k+1}-x^{*}\bigr\Vert^{2}\leq\bigl\ Vert x^{k} -x个^{*}\较大\垂直^{2}-\bigl\垂直x^{k+1}-y^{k+1}\bigr\垂直^{2}-\bigl\垂直x^{k} -年^{k+1}\bigr\Vert^{2}\\&\hphantom{\bigl\Vertx^{k+1}-x^{*}\birgr\Vert^}2}\leq{}{}+2\bigl\ langle x^{k+1}-y^{k+1{，\gamma\nabla{f{1}}\bigl（x^{k}\biger）+\lambda B^{T} v（v）^{k} \bigr\rangle\\&\hphantom{\bigl\Vert x^{k+1}-x^{*}\bigr\ Vert^{2}\leq{}}{}-2\bigl\ langle x^{k+1}-x^}}，\gamma\nabla{f_1}}\bigl（x^{k}\biger）+\lambda B^{T} v（v）^{k+1}\bigr\rangle+2\gamma\bigl。\结束{对齐}$$

(3.2)

证明

我们首先证明(3.1). 按引理2.2，我们知道\（I-\操作员姓名{近似}_｛\frac｛\gamma｝｛\lambda｝｛f_｛2｝｝｝｝｝）是绝对不可扩展的，并且使用(1.3)₂和(2.18)我们还有

$$\bigl\Vert v^{k+1}-v^{*}\bigr\Vert^{2}\leq\bigl\ langle v^{k+1}-v^{}，\bigl（By^{k+1}+v^{k}\biger）-\bigr（Bx^{*{+v^}*}\bigr）\bigr\ rangle$$

这意味着

$$\bigl\langle v^{k+1}-v^{*}，v^{k+1}-v ^{k}\bigr\rangle\leq\bigl\ langle v${k+1{-v ^}，B\bigl（y^{k+1}-x ^{*neneneep \bigr）\bigr\ rangle=\bigl\slangle B^{T}\bigl-v^{**}\biger*}\较大\范围$$

因此

$$\开始{aligned}\bigl\Vert v^{k+1}-v^{*}\bigr\Vert^{2}=&\bigl\ Vert v^{k} -v型^{*}\较大\垂直^{2}-\bigl\Vert v^{k+1}-v^{k}\bigr\Vert^{2}+2\bigl\langle v^{k+1}-v ^{*}，v ^{k+1}-v ^ k}\biger\rangle\\leq&\bigl\ Vert v^{k} -v型^{*}\较大\垂直^{2}-\bigl\Vert v^{k+1}-v^{k}\bigr\Vert^{2}+2\bigl\langle B^{T}\bigl（v^{k+1}-v^}\biger），y^{k+1}-x^{*}\biger\rangle。\结束{对齐}$$

接下来我们证明(3.2). 根据的最优性条件(1.3)_三(囊性纤维变性。(2.5))，我们有

$$\bigl（x^{k}-\γ\nabla{f_{1}}\bigl（x^{k}\bigr）-\lambda B^{T} v（v）^{k+1}\bigr）-x^{k+1}\in\gamma\partial{f{3}}\bigl（x^{k+1}\biger）$$

根据次微分的性质(囊性纤维变性。(2.3)),

$$\bigl\langle x^{*}-x^{k+1}，\bigl（x^{k}-\γ\nabla{f_{1}}\bigl（x^{k}\bigr）-\lambda B^{T} v（v）^{k+1}\bigr）-x^{k+1}\biger\rangle\leq\gamma\bigl$$

即

$$\bigl\langle x^{k+1}-x^{*}，x^{k+1}-x^{k}\bigr\rangle\leq-\bigl\ langle x*{k+1{-x^}，\gamma\nabla{f_1}}\bigl（x^{k}\biger）+\lambda B^{T} v（v）^{k+1}\bigr\rangle+\gamma\bigl$$

因此，

$$\开始{对齐}\bigl\Vert x^{k+1}-x^{*}\bigr\Vert^{2}=&\bigl\ Vert x^{k} -x个^{*}\较大\垂直^{2}-\bigl\Vert x^｛k+1｝-x^｛k｝\bigr\Vert ^｛2｝+2\bigl\langle x^｛k+1｝-x^｛*｝，x^｛k+1｝-x^｛k｝\bigr\rangle \\\leq&&bigl\Vert x^{k} -x个^{*}\较大\垂直^{2}-\bigl\垂直x^{k+1}-x^{k}\bigr\垂直^{2}-2\bigl\langle x^｛k+1｝-x^｛*｝，\gamma\nabla｛f_｛1｝｝\bigl（x^｛k｝\bigr）+\lambda B^{T} v（v）^{k+1}\bigr\rangle\\&{}+2\gamma\bigl。\结束{对齐}$$

(3.3)

另一方面，根据(1.3)₁，因此

$$\bigl（x^{k}-\γ\nabla{f_{1}}\bigl（x^{k}\bigr）-\lambda B^{T} v（v）^{k} \biger）-y^{k+1}\in\gamma\partial{f{3}}\bigl（y^{k+1}\bigr）$$

由于次微分的性质，我们有

$$\bigl\langle x^｛k+1｝-y^｛k+1｝，\bigl（x^{k}-\γ\nabla{f_{1}}\bigl（x^{k}\bigr）-\lambda B^{T} v（v）^{k} \bigr）-y^{k+1}\bigr\rangle\leq\gamma\bigl$$

所以

$$\bigl\langle x^{k+1}-y^{k+1}，x^{k} -年^{k+1}\bigr\rangle\leq\bigl\langle x^{k+1{-y^{k+1}，\gamma\nabla{f_{1}}\bigl（x^{k}\biger）+\lambda B^{T} v（v）^{k} \bigr\rangle+\gamma\bigl$$

因此

$$\开始{对齐}-\bigl\Vert x^{k+1}-x^{k}\bigr\Vert^{2}=&-\bigle\Vert x ^{k+1}-y^{k+1}\biger\Vert^{2}-\bigl\垂直x^{k} -年^{k+1}\bigr\Vert^{2}+2\bigl\langle x^{k+1{-y^{k+1}，x^{k} -年^{k+1}\bigr\rangle\\leq&-\bigl\Vert x^{k+1{-y^{k+1}\biger\Vert^{2}-\bigl\垂直x^{k} -年^{k+1}\bigr\Vert^{2}+2\bigl\langle x^{k+1{-y^{k+1}，\gamma\nabla{f_{1}}\bigl（x^{k}\biger）+\lambda B^{T} v（v）^{k} \bigr\rangle\\&{}+2\gamma\bigl。\结束{对齐}$$

替换术语\（-\|x^{k+1}-x^{k}\|^{2}）英寸(3.3)对于上述不等式的右侧项，我们立即得到(3.2).□

引理3.2

我们有

$$\开始{aligned}\bigl\Vert u^{k+1}-u^{*}\bigr\Vert_{lambda}^{2}\leq&\bigl\ Vert u^{k} -u个^{*}\bigr\Vert_{\lambda}^{2}-\lambda\bigl\垂直v^{k+1}-v^{k}\bigr\垂直^{2}_{米}-\bigl\垂直x^{k+1}-y^{k+1}+\lambda B^{T}\bigl（v^{k+1}-v^{k}\bigr）\bigr\Vert^{2}\\&{}-\bigl\Vert\bigl^{k} -年^{k+1}\bigr）-\bigl（\gamma\nabla{f{1}}\bigle（x^{k}\biger）-\gamma\nabla{f{1\}\bigl}\bigl（x^{*}\bigr）\bigr\Vert^{2}。\结束{对齐}$$

(3.4)

证明

对两个不等式求和(3.1)和(3.2)重新安排条款

$$\开始{对齐}&\lambda\bigl\Vert v^{k+1}-v^{*}\bigr\Vert^{2}+\bigl\ Vert x^{k+1}-x^{*{\bigr\ Vert^}2}\\&\quad\leq\lambda \bigl Vert v^{k} -v型^{*}\bigr\Vert^{2}+\bigl\Vert x^{k} -x个^{*}\较大\垂直^{2}-\lambda\bigl\垂直v^{k+1}-v^{k}\bigr\垂直^{2}-\bigl\垂直x^{k+1}-y^{k+1}\bigr\垂直^{2}-\bigl\垂直x^{k} -年^{k+1}\bigr\Vert^{2}\\&\qquad{}+2\bigl\langle\lambda B^{T}\bigl^{T} v（v）^{k} \bigr\rangle\\&\qquad{}-2\bigl\langle x^{k+1}-x^{*}，\gamma\nabla{f_{1}}\bigl（x^{k}\bigr）+\lambda B^{T} v（v）^{k+1}\bigr\rangle+2\gamma\bigl^{k} -v型^{*}\bigr\Vert^{2}+\bigl\Vert x^{k} -x个^{*}\较大\垂直^{2}-\lambda\bigl\垂直v^{k+1}-v^{k}\bigr\垂直^{2}-\bigl\Vert x ^｛k+1｝-y ^｛k+1｝\bigr\Vert版本^{2}-\bigl\垂直x^{k} -年^｛k+1｝\bigr\Vert^｛2｝\\&\qquad｛｝+2\bigl\langle\lambda B^｛T｝\bigl（v^｛k+1｝-v^｛k｝\bigr），y^｛k+1｝-x^｛k+1｝\bigr\rangle+2\bigl\langle x^｛k｝-y^｛k+1｝，\gamma\nabla｛f_｛1｝｝\bigl（x^｛k｝\bigr）-\gamma\nabla｛f_｛1｝｝\bigl（x^｛*｝\bigr）\bigr\rangle \\&\qquad｛｝-2\bigl\langle x^{k} -x个^｛*｝，\gamma\nabla｛f_｛1｝｝\bigl（x^｛k｝\bigr）-\gamma\nabla｛f_｛1｝｝\bigl（x^｛*｝\bigr）\bigr\ rangle\\&\qquad｛｝+2\bigl（\bigl\langle y^｛k+1｝-x^｛*｝，-\gamma\nabla｛f_｛1｝}\bigl（x^｛*｝\bigr）-\lambda B^｛T｝v^｛*｝\bigr\ rangle+\gamma\bigl（｛f_｛3｝｝\bigl（x^｛*｝\bigr）-｛f_｛3｝｝\bigl（y^｛k+1｝\bigr）\bigr）\\&&quad=\lambda\bigl\Vert v^{k} -v型^{*}\bigr\Vert^{2}+\bigl\Vert x^{k} -x个^{*}\较大\垂直^{2}-\lambda\bigl\垂直v^{k+1}-v^{k}\bigr\垂直_{M}^{2}-\bigl\垂直x^{k+1}-y^{k+1}+\lambda B^{T}\bigl（v^{k+1}-v^{k}\bigr）\bigr\Vert^{2}\\&\qquad{}-\bigl\Vert\bigl^{k} -年^{k+1}\bigr）-\bigl（\gamma\nabla{f{1}}\bigle（x^{k}\biger）-\gamma\nabla{f{1\}}\bigl r）\bigr\Vert^{2}\\&\qquad{}-2\bigl\langle x^{k} -x个^{*}，\gamma\nabla{f{1}}\bigl（x^{k}\bigr）-\gamma\nabla{f{1'}\bigle（x*{*}\biger）\bigr\rangle\\&\qquad{}+2\bigl（\bigl\langley^{k+1}-x^{*}.，-\gama\nabla{f_1}}\bigl（x^{*{}\birgr）-\lambda B^{T}v^{*neneneep \bigr\rangle+\gamma\bigl（{f_{3}}\bigr（x^{*}\biger）-{f_}3}\bigle（y^{k+1}\birg）\bicr），\end{aligned}$$

(3.5)

哪里\（\|\cdot\|_{M}\）在中给出(2.14)和(2.15). 同时，根据(2.19)，我们有

$$-\gamma\nabla{f_{1}}\bigl（x^{*}\bigr）-\lambda B^{T} v（v）^{*}\ in\gamma\部分{f{3}}\bigl（x^{*}\bigr）$$

这意味着

$$\bigl\langle y^{k+1}-x^{*}，-\gamma\nabla{f_{1}}\bigl（x^{**}\biger）-\lambda B^{T} v（v）^{*}\bigr\rangle+\gamma\bigl$$

(3.6)

另一方面，它遵循(2.8)那个

$$-\bigl\langle x美元^{k}-x^{*}，\nabla{f{1}}\bigl（x^{k}\bigr）-\nabla{f{1\bigl$$

(3.7)

回顾(2.16)，我们立即获得(3.4)就以下方面而言(3.5)-(3.7). □

引理3.3

让 \（0<\lambda<1/｛\lambda_｛\mathrm｛max｝｝（BB ^｛T｝）｝\） 和 \（0<γ<2 \β）.然后是序列 \（\{\|u^{k} -u个^｛*｝\ | _｛\lambda｝\｝\） 不是-增加和 \（\lim_{k\to+\infty}\|u^{k+1}-u^{k}\|_{lambda}=0\）.

证明

如果\（0<\lambda<1/{\lambda_{\mathrm{max}}（BB^{T}）}\）和\（0<γ<2 \β），它来自(3.4)那个\（\|u^{k+1}-u^{*}\|_{\lambda}\leq\|u^{k} -u个^{*}\|_{\lambda}\）,即顺序\（\{\|u^{k} -u个^{*}\|_{\lambda}\}\）不增加。此外，将不等式相加(3.4)来自\（k=0）到\（k=+\infty），我们得到

$$开始{aligned}&\lim_{k\to+\infty}\bigl\|v^{k+1}-v^{k}\bigr\|_{M}=0，\end{aligned}$$

(3.8)

$$\开始{对齐}&\lim_{k\to+\infty}\bigl\|x^{k+1}-y^{k+1}+\lambda B^{T}\bigle（v^{k+1}-v^{k}\bigr）\bigr\|=0，\end{aligned}$$

(3.9)

$$\开始{aligned}&\lim_{k\to+\infty}\bigl\|\bigl（x^{k} -年^{k+1}\bigr）-\bigl（\gamma\nabla{f{1}}\bigle（x^{k}\biger）-\gamma\nabla{f{1}}\bigl$$

(3.10)

$$\开始{aligned}&\lim_{k\to+\infty}\bigl\|\nabla{f{1}}\bigle（x^{k}\bigr）-\nabla{f{1\}}\bigl（x_{*}\biger）\bigr\|=0。\结束{对齐}$$

(3.11)

以下各项的组合(3.10)和(3.11)给予

$$\lim_{k\to+\infty}\bigl\Vert x^{k} -年^{k+1}\bigr\Vert=0$$

(3.12)

注意到\（0<\lambda<1/{\lambda_{\mathrm{max}}（BB^{T}）}\），我们知道M（M）对称且正定，所以(3.8)等于

$$\lim_{k\to+\infty}\bigl\Vertv^{k+1}-v^{k}\bigr\Vert=0$$

(3.13)

因此，我们从上述不等式和(3.9)那个

$$\lim_{k\to+\infty}\bigl\Vertx^{k+1}-y^{k+1}\bigr\Vert=0$$

(3.14)

组合(3.12)和(3.14)然后产生

$$\lim_{k\to+\infty}\bigl\Vertx^{k+1}-x^{k}\bigr\Vert=0$$

(3.15)

根据(3.13), (3.15)、和(2.16)，我们有\（\lim_{k\to+\infty}\|u^{k+1}-u^{k}\|_{lambda}=0\）. □

作为引理的直接结果3.3和引理2.3，我们得到PDFP的收敛性如下。

定理3.1

让 \（0<\lambda<1/{\lambda_{\mathrm{max}}（BB^{T}）}\） 和 \（0<γ<2 \β）.然后是序列 \（{u^{k}\}\） 有界并收敛到 T型,以及两者 \（{x^{k}\}\） 和 \（y^k}） 收敛到(1.1).

证明

按引理2.2，两者\（\操作员姓名{近似}_{{\gamma}{f{3}}\）和\（I-\操作员名称{近似}_{\frac{\gamma}{\lambda}{f{2}}}）是绝对非扩张的，因此运算符T型由定义(2.9)-(2.12)是连续的。从引理3.3，我们知道序列\（\{\|u^{k} -u个^{*}\|_{\lambda}\}\）无增加且\（\lim_{k\to+\infty}\|u^{k+1}-u^{k}\|_{lambda}=0\）.通过使用引理2.3，我们知道序列\（{u^{k}\}\）有界并收敛到T型.利用定理2.1和(3.14)，我们可以得出以下结论：\（{x^{k}\}\）和\（y^k}）收敛到(1.1). □

备注3.1

对于特殊情况\（f{3}=0\），PDFP自然减少为\（\mathrm{PDFP}^{2}\mathrm{O}\）(4.2)提议于[15]，其中参数的条件为\（0<\lambda\leq1/\lambda _{\mathrm{max}}（BB^{T}）\）,\（0<γ<2 \β）.在引理的证明中3.3，我们利用了M（M）以获得(3.13)来自(3.8). 所以参数的条件λ由于\（0<\lambda<1/\lambda\｛\mathrm｛max｝｝（BB ^｛T｝）\）在引理中3.3和定理3.1.何时\（f{3}=0\），引理证明中的条件3.3也可以放松\（0<\lambda\leq1/\lambda{\mathrm{max}}（BB^{T}）\）事实上，通过定义很容易检查\（y^{k+1}\）（请参见(1.3)₁)和的最优性条件(2.19)那个

$$\bigl\Vert\bigl（x^{k} -年^{k+1}\biger）-\bigl^{k} -v型^{*}\bigr）\bigr\Vert^{2}$$

(3.16)

观察到这一点\（\|v^{k+1}-v^{k}\|^{2}=\ |v^}k+1}-v^}k}\ |_{M}^{2}+\lambda \ |B^{T}（v^{k+1}-v^{k}）\ |^{2{），我们已经过了(3.16), (3.10)和(3.8)那个\（\lim_{k\to+\infty}\|v^{k+1}-v^{k}\|=0\）。因此，我们可以在任何时候导出收敛性M（M）是半正定的\（f{3}=0\）.

备注3.2

对于特殊情况\（f_{1}=0\），问题(1.1)只对应于两个适当的下半连续凸函数。收敛条件\（0<γ<2 \β）在PDFP中变为\（0<\gamma<+\infty\）。尽管γ是理论上的任意正数γ会影响收敛速度，在实践中选择最佳值也是一个难题。

3.2特殊情况下的线性收敛速度

在下面，我们将显示收敛速度结果，并对基本问题进行一些附加假设(1.1). 特别是，对于\（f{3}=0\），算法简化为\（\mathrm{PDFP}^{2}\mathrm{O}\）提议于[15]. 线性收敛的条件如中的条件3.1所示[15]如下所示：对于\（0<\lambda\leq1/\lambda{\mathrm{max}}（BB^{T}）\）和\（0<\gamma<{2}\beta\），存在\（[0,1）中的\eta_{1}，\eta_2}\）这样的话

$$\开始{aligned}&\bigl\Vert I-\lambda BB^{T}\bigr\Vert_{2}\leq\eta_{1}^{2}，\\&\bigle\Vert g（x）-g（y）\bigr\ Vert\le\ta_{2}\ Vert x-y\Vert\quad\mbox{表示所有}x，y\in\mathbb{R}^{n}，\end{aligned}$$

(3.17)

哪里\（克（x）\）在中给出(2.13). 很容易看出，一个强凸函数\（f{1}\）满足条件(3.17). 对于一个将军\（f{3}\），我们需要更强的函数条件。

定理3.2

假设(3.17)持有和 \（f{2}^{*}\） 是强凸的.那么我们有

$$\bigl\Vert u^{k+1}-u^{*}\bigr\Vert _{（1+\lambda\delta/\gamma）\lambda}\leq\eta\bigl\ Vert u^{k} -u个^{*}\bigr\Vert_{（1+\lambda\delta/\gamma）\lambda}$$

哪里 \（0<\eta<1\） 是收敛速度(证明中注明)和 \（\增量>0\） 是描述 \（\部分f_｛2｝^｛*｝\）(立方英尺(2.4)).

证明

使用莫罗的身份(囊性纤维变性。(2.7))以获得

$$（I-\操作员姓名{近似}_{\frac{\gamma}{\lambda}{f{2}}}）\bigl（按^{k+1}+v^{k}\bigr）=\frac}{\lambda}\operatorname{近似}_{\frac{\lambda}{\gamma}{f{2}^{*}}\biggl（\frac}\lambda}{\gamma}By ^{k+1}+\frac[\lambada}{\γ}v ^{k}\bigr）$$

所以(1.3)₂等于

$$\frac{\lambda}{\gamma}v^{k+1}=\operatorname{近似}_{\frac{\lambda}{\gamma}{f{2}^{*}}\biggl（\frac}\lambda}{\gamma}By ^{k+1}+\frac[\lambada}{\γ}v ^{k}\bigr）$$

(3.18)

根据的最优性条件(3.18),

$$\frac{\lambda}{\gamma}按^{k+1}+\frac}\lambda}{\gamma}v^{k}-\压裂{\lambda}{\gamma}v^{k+1}\在\压裂{\λ}{\gamma}\部分{f{2}^{*}}\biggl（\压裂{λ}{\gama}v^}k+1}\bigr）中$$

(3.19)

同样，根据(2.18),

$$\frac{\lambda}{\gamma}Bx^{*}\in\frac}\lambda}{\gamma}\partial{f{2}^{*{}\biggl（\frac\\lambda{{\gama}v^{*neneneep \biggr）$$

(3.20)

观察到这一点\（\部分f_{2}^{*}\）是δ-非常单调，我们已经(3.19)和(3.20)

$$\bigl\langle v^{k+1}-v^{*}，\bigl（By^{k+1}+v^{k} -v型^{k+1}\biger）-Bx^{*}\biger\rangle\geq\frac{\lambda}{\gamma}\delta\bigl\Vert v^{k+1{-v^{*{\bigr\Vert^{2}$$

即

$$\bigl\langle v^{k+1}-v^{*}，v^{k+1}-v ^{k}\bigr\rangle\leq\bigl\ langle B^{T}\bigl ^{2}$$

因此

$$\开始{aligned}\bigl\Vert v^{k+1}-v^{*}\bigr\Vert^{2}=&\bigl\ Vert v^{k} -v型^{*}\较大\垂直^{2}-\bigl\Vert v^｛k+1｝-v^｛k｝\bigr\Vert ^｛2｝+2\bigl\langle v^｛k+1｝-v^｛*｝，v^｛k+1｝-v^｛k｝\bigr\rangle \\leq&\bigl\Vert v^{k} -v型^{*}\较大\垂直^{2}-\bigl\Vert v^｛k+1｝-v^｛k｝\bigr\Vert ^｛2｝+2\bigl\langle B^｛T｝\bigl（v^｛k+1｝-v^｛*｝\bigr），y^｛k+1｝-x^｛*｝\bigr\rangle \\&｛｝-\frac｛\lambda｝｛\gamma｝\delta\bigl\Vert v^｛k+1｝-v^｛*｝\bigr\Vert ^｛2｝。\结束{对齐}$$

(3.21)

两个不等式的求和(3.21)和(3.2)，然后使用相同的参数驾驶(3.5)，我们到达

$$开始{对齐}\biggl（1+\frac{\lambda}{\gamma}\delta\biggr）\lambda \bigl\Vert v^{k+1}-v^{*}\bigr\Vert^{2}+\bigl\ Vert x^{k+1}-x^{*{bigr\Vert^{2\leq&\lambada\bigl Vert v^{k} -v型^{*}\bigr\Vert^{2}+\bigl\Vert g\bigl^{k} -v型^{*}\bigr\Vert^{2}+\eta_{2}^}\bigl\Vert x^{k} -x个^{*}\bigr\Vert^{2}，\end{aligned}$$

(3.22)

我们也使用了条件(3.17)和不平等(3.6).

让\（\eta_{3}=1/\sqrt{1+\lambda\delta/\gamma}\）和\（\ta=\max\{\ta{2}，\ta{3}）很明显\（0<eta<1）因此，根据符号(2.16)，估计值(3.22)可以根据需要重写。□

我们注意到强凸的线性收敛速度\（f{2}^{*}\）和\（f{3}\）在中获得[19]. 他们引入了两个预处理算子来加速算法，但收敛速度与预处理算子之间仍缺少明确的关系。同时，引入预条件算子在实践中是有益的，我们也可以引入预条件运算符来处理\（{1}）在我们的计划中。由于该分析与当前的分析非常相似，因此我们将在本文中省略它。

4与其他算法的连接

在本节中，我们介绍了PDFP算法与文献中先前提出的一些算法的联系。

特别是，当\（f_{3}=chi_{C}），由于\（\操作员姓名{近似}_｛\gamma f_｛3｝｝＝\运算符名称{项目}_{C} \），建议的算法(1.3)减少到了[20]

$$（\mathrm{PDFP}）\quad\textstyle\begin{cases}y^{k+1}=\operatorname{项目}_{C} （x）^{k}-\伽玛\nabla{{f{1}}（x^{k}）-{lambda}B^{T}v^{k{），\\v^{k+1}=（I-\运算符名称{近似}_{\frac{\gamma}{\lambda}{{f{2}}}}）（按^{k+1}+v^{k}），\\x^{k+1}=\operatorname{项目}_{C} （x）^{k}-\伽玛\nabla{{f{1}}（x^{k}）-{\lambda}B^{T}v^{k+1}），\end{cases}$$

（4.1）

哪里\（0<\lambda<1/\lambda_{\mathrm{max}}（BB^{T}）\）,\（0<γ<2 \β）我们注意到PDFP收敛的参数条件比[20]. 这里我们仍指(4.1)作为PDFP，因为PAPA最初是在[20]结合了其他技术，如对角线预处理。

对于特殊情况\（f{3}=0\），由于\（\操作员姓名{近似}_{\gamma f_{3}}=I\），我们获得\（\mathrm{PDFP}^{2}\mathrm{O}\）中提出的方案[15]

$$\bigl（\mathrm｛PDFP｝^｛2｝\mathrm｛O｝\bigr）\ quad\textstyle\ begin｛cases｝y^｛k+1｝=x^{k}-\伽玛\nabla{{f_{1}}}（x^{k}）-{\lambda}B^{T}v^{k{，\\v^{k+1}=（I-\运算符名称{近似}_{\frac{\gamma}{\lambda}{{f{2}}}}）（通过^{k+1}+v^{k}），\\x^{k+1}=x^{k}-\伽玛\nabla{{f{1}}（x^{k}）-{lambda}B^{T}v^{k+1}，\end{cases}$$

(4.2)

哪里\（0<\lambda\leq1/\lambda{\mathrm{max}}（BB^{T}）\）,\（0<γ<2 \β）。最近，我们注意到\（\mathrm{PDFP}^{2}\mathrm{O}\）简化为之前提出的算法\（f_{1}（x）=\压裂{1}{2}Ax-a\ ^{2}\）Loris和Verhoeven于[14]. 目标函数的收敛性和收敛速度在[14]，但收敛条件比[15]. 另一方面，我们强调\（\mathrm{PDFP}^{2}\mathrm{O}\）也可以从前向-后向算子分裂的角度来解释算法，如所示[15,16]. 此外，设计并分析了多块配方[16]。

基于\（\mathrm{PDFP}^{2}\mathrm{O}\），我们还提出\（\mathrm{PDFP}^{2}\mathrm{O}（O）_{C} \）英寸[23]的\（f_{3}=chi_{C}）作为

$$\bigl（\mathrm{PDFP}^{2}\mathrm{O}（O）_{C} \biger）\quad\textstyle\begin{cases}y^{k+1}=x^{k}-\γ\nabla{{f{1}}（x^{k}）-{\lambda}B^{T}v{1}^{k}-{\lambda}v_{2}^{k}，\\v_{1}^{k+1}=（I-\运算符名称{近似}_{\frac{\gamma}{\lambda}{{f{2}}}}）（按^{k+1}+v{1}^{k}），\\v{2}^{k+1}=（I-\operatorname{项目}_{C} ）（y^{k+1}+v{2}^{k}），\\x^{k+1}=x^{k}-\伽玛\nabla{{f{1}}（x^{k}）-{\lambda}B^{T}v{1}^{k+1}-{\lambda}v{2}^{k+1}，\end{cases}$$

(4.3)

哪里\（0<\lambda\leq1/（\lambda _{\mathrm{max}}（BB^{T}）+1）\）,\（0<γ<2 \β）。在[5,18,24]. 与PDFP相比(4.1)，算法\（\mathrm{PDFP}^{2}\mathrm{O}（O）_{C} \）引入了一个额外的变量，而PDFP需要两倍的投影。最重要的是，PDFP每次迭代时的原始变量是可行的，但对于\（\mathrm{PDFP}^{2}\mathrm{O}（O）_{C} \）此外，参数的允许范围在\（\mathrm{PDFP}^{2}\mathrm{O}（O）_{C} \）.

另一个有趣的特例是\（f_{1}=0\）.方案(1.3)减少到

$$（\mathrm{PDFP}）\quad\textstyle\begin{cases}y^{k+1}=\operatorname{近似}_{{\gamma}{{f{3}}}（x^｛k｝-{\lambda}B^{T}v^{k}），\\v^{k+1}=（I-\运算符名称{近似}_{\frac{\gamma}{\lambda}{{f{2}}}}）（按^{k+1}+v^{k}），\\x^{k+1}=\operatorname{近似}_{{\gamma}{{f{3}}}（x^{k}-{\lambda}B^{T}v^{k+1}），\结束{cases}$$

(4.4)

哪里\（0<\lambda<1/\lambda_{\mathrm{max}}（BB^{T}）\）,\（0<\gamma<+\infty\）很容易看出(4.4)与PDHG方法不同[10,11]和(4.4)具有对称步长(4.4)₁与PDHG方法中的外推步骤相比。

Combettes和Pesquet在年首次提出了一种完全分割算法[4]用复合、Lipschitzian和平行和型单调算子的混合物求解单调包含，其中包括(1.1)作为一种特殊情况。该问题被重新描述为两个块包含，然后使用中研究的容错原始-对偶前向-后向算法来解决[25]. 康达特[5]解决了中给出的相同问题(1.1)并提出了一种原对偶分裂方案。对于特殊情况\（f_{1}=0\），Condat的算法简化为PDHG方法[11]. 通过将多块分组为两个块，作者[24]扩展了PDHG算法[12]多复合函数之和最小化。中的作者[18]提出了一类多步不动点逼近算法，包括一些现有的算法作为特例，例如[11,12]. 在[6]Davis和Yin提出了一种三算子分裂方法，以非常巧妙的方式求解三块单调包含。解决问题时(1.1)带有\（B=I）该方案不同于Condat算法和PDFP算法。但如果满足以下条件，则需要解决子问题\（同上）.李和张[19]研究过的(1.1)基于[18]并在中包含Condat算法[5]作为一个特例，进一步引入了拟Newton和超松弛策略来加速算法。

在下面，我们主要将PDFP与Condat在[5]以简化演示。我们首先改变PDFP算法的形式(1.3)使用莫罗的身份，请参见(2.7),即

$$（I-\操作员姓名{近似}_{\frac{\gamma}{\lambda}{f{2}}}）\bigl（按^{k+1}+{v}^{k}\bigr）=\frac}{\gama}{\lambda}\operatorname{近似}_{\frac{\lambda}{\gamma}{f{2}^{*}}\biggl（由^{k+1}+\上划线{v}^{k}）$$

哪里\（\overline{v}^{k}=\frac{\lambda}{\gamma}v^{k{）表中给出了直接比较1.从表1可以看出，Condat算法中的参数范围相对小于PDFP。此外，由于Condat算法的条件与所有参数混合，因此在实践中选择它们并不总是容易的。这一点在[5]. 而PDFP中参数的规则是独立的，可以根据Lipschitz常数和\（BB^{T}\）从这个意义上讲，我们的参数规则相对更实用。在数值实验中，我们可以设置λ接近\（1/\lambda_{\mathrm{max}}（BB^{T}）和γ接近2β大多数测试。此外\（x）^｛k｝-\伽马\nabla{f{1}}（x^{k}）和\（λB^｛T｝v^｛k+1｝\）可以存储为两个可在中重用的中间变量(1.3)₁和(1.3)_三在迭代期间。然而，PDFP还有一个额外的步骤(1.3)₁与Condat算法相比，由于计算\（\operatorname{prox}_{{\gamma}{f{3}}}\）。实际上，此步骤通常与\（\ell_{1}\）收缩或投影操作易于实施，因此在实践中成本仍然可以忽略。

表1康达的比较( \（\pmb{\rho{k}=1}\） )和PDFP

5数值实验

在本节中，我们将应用PDFP算法解决两个问题：融合LASSO惩罚问题和并行磁共振成像（pMRI）重建。所有实验均在MATLAB 7.00（R14）下实现，并在Intel（R）内核（TM）i5-4300U的计算机上进行CPU@1.90G。

5.1融合LASSO惩罚问题

针对群变量选择问题，提出了融合LASSO（最小绝对收缩和选择算子）惩罚问题，并请读者参考[1,2,26]有关此模型应用程序的更多详细信息。它可以描述为

$$\min_{x\在{\mathbb{R}^{n}}\frac{1}{2}\|Ax-a\|^{2}+\mu_{1}\sum_{i=1}^{n-1}|x_{i+1}-x_{i}|+\mu_2}\|x\|{1}中$$

在这里\（A\in\mathbb{R}^{R\times n}\）,\（a \in\mathbb｛R｝^｛R｝\）.第行A类:\（A_{i}\）对于\（i=1,2，\ldots，r\）代表我自变量和\（a_｛i｝\）表示响应变量和向量\（x\in\mathbb{R}^{n}\）是要恢复的回归系数。第一项对应于数据完整性项，后两项旨在确保两者的稀疏性x个以及它们在x个.让

$$B=\begin{pmatrix}-1&1\\&-1&1\\&&\ddots&\ddot \\&&&-1&2\end{pmatricx}$$

然后，上述问题可以重新表述为

$$\min_{x\在{\mathbb{R}^{n}}\frac{1}{2}中$$

(5.1)

对于这个示例，我们可以设置\（{f{1}}（x）=\frac{1}{2}\|Ax-a\|^{2}\）,\（{f{2}}=\mu{1}\|\cdot\|{1}\）,\（{f{3}}=\mu{2}\|\cdot\|{1}\）。我们想证明PDFP算法(1.3)可以应用于解决这类一般问题(5.1)直接且容易。

以下测试是为模拟设计的。我们设置了\（r=500）,\（n=10\text{，}000\）和数据一生成为\（Ax+\alpha e），其中A类和e（电子）是随机矩阵，其元素以零均值和方差1正态分布，以及\（α=0.01）、和x个是生成的稀疏向量，其非零元素如图所示1绿色“+”。我们设置了\（\mu_{1}=200\）,\（\mu_{2}=20\），最大迭代次数为\（\mathit{Itn}=1\text{，}500\）.

图1

基于Condat算法和PDFP的融合LASSO恢复结果。

我们比较了PDFP算法和Condat算法[5]. 对于PDFP算法，参数λ和γ根据定理选择3.1。在实践中，我们设置λ接近\（1/\lambda_｛\mathrm｛max｝｝（BB ^｛T｝）\）和γ接近2β。我们在这里设置\（λ=1/4）作为\（n-1）的特征值\（BB^{T}\）可以分析计算为\（2-2\cos（i\pi/n））,\（i=1，2，\ldot，n-1）和\（伽马=1.99/\lambda_{\mathrm{max}}（A^{T} A类)\)。对于Condat算法，我们设置\（λ=0.19/4）,\（伽马=1.9/\lambda_{\mathrm{max}}（A^{T} 一个)\)，这是为了获得相对较好的数值性能而选择的。对于Condat算法和PDFP，计算时间、获得的目标函数值以及与真实解的相对误差都很接近。从图中1，我们看到Condat算法和PDFP都可以非常正确地恢复非零和值的位置。

5.2基于非负约束和稀疏正则化的图像恢复

具有非负约束和稀疏正则化的一般图像恢复问题可以写成

$$\min_{x\在{C}}\frac{1}{2}\|Ax-a\|^{2}+\mu\|Bx\|_{1}中$$

(5.2)

哪里A类是描述图像形成过程的线性算子，\（\|Bx\|_{1}\）像往常一样\（\ell_｛1｝\）基于正则化以提高变换下的稀疏性B类,\（\mu>0\）是正则化参数。这里我们使用各向同性的总变分作为正则化函数，因此矩阵B类表示离散梯度算子。对于这个示例，我们可以设置\（f_｛1｝（x）=\frac｛1｝｛2｝\|Ax-a\|^｛2｝\）,\（f_2}=\mu\|\cdot\|_{1}）、和\（｛f_｛3｝｝＝\chi_｛C｝\）.

我们考虑pMRI重建，其中\（A=（A{1}^{T}，A{2}^{T}，\ldots，A{N}^{T}）^{T{）对于每个\（A_{j}\）由对角线下采样操作符组成D类，傅里叶变换F类和对角线线圈灵敏度映射\（S_{j}\）用于接收器j个,即 \（A_{j}=DFS_{j}\）和\（S_{j}\）通常是预先估计的。众所周知，在全变差应用中\（\lambda_{\mathrm{max}}（BB^{T}）=8\）.的相关Lipschitz常数\（{1}）可以估计为\（β=1）因此，PDFP中的两个参数设置为\（λ=1/8）和\（伽马=2）。模拟设置与中相同[15]在本实验中，我们仍然使用伪影功率（AP）和双区域信噪比（SNR）来测量图像质量。我们建议读者参考[15,27]了解更多详细信息。

在下面，我们比较了PDFP算法(4.1)使用先前提出的算法\（\mathrm{PDFP}^{2}\mathrm{O}\）(4.2)和\（\mathrm{PDFP}^{2}\mathrm{O}（O）_{C} \）(4.3). 从数字2和三，我们首先可以看到模型中引入了非负约束(5.2)是有益的，我们可以用较高的双区域信噪比和较低的AP值恢复更好的解决方案。非负约束导致更快的收敛以实现稳定恢复。第二，\（\mathrm{PDFP}^{2}\mathrm{O}（O）_{C} \）和PDFP都是高效的。对于次级采样率\（R=2）,\（\mathrm{PDFP}^{2}\mathrm{O}（O）_{C} \）与相比，PDFP可以在AP值方面恢复更好的解决方案\（\mathrm{PDFP}^{2}\mathrm{O}\）在相同的迭代次数下。对于\（R=4）、解决方案\（\mathrm{PDFP}^{2}\mathrm{O}（O）_{C} \）和PDFP的AP值比\（\mathrm{PDFP}^{2}\mathrm{O}\），但仅使用的一半迭代次数\（\mathrm{PDFP}^{2}\mathrm{O}\）。PDFP的计算时间略小于\（\mathrm{PDFP}^{2}\mathrm{O}（O）_{C} \）最后，PDFP的迭代解总是可行的，这可能在实践中有用。

图2

使用子采样率从四通道活体脊柱数据中恢复结果 \（\pmb{R=2,4}\） 。对于 \（\pmb{\mathrm{PDFP}^{2}\mathrm{O}}\） 和PDFP， \（\pmb{\lambda=1/8}\） , \（pmb｛\gamma＝2｝\） ，以及 \（pmb｛\mathrm｛PDFP｝^｛2｝\mathrm{O}（O）_{C} }\） , \（\pmb{\lambda=1/9}\） , \（\pmb{\gamma=2}\） .

图3

使用子采样率从八通道活体脑数据中恢复结果 \（pmb｛R＝2，4｝\） 。对于 \（\pmb{\mathrm{PDFP}^{2}\mathrm{O}}\） 和PDFP， \（\pmb{\lambda=1/8}\） , \（\pmb{\gamma=2}\） ，以及 \（\pmb{\mathrm{PDFP}^{2}\mathrm{O}（O）_{C} }\） , \（\pmb{\lambda=1/9}\） , \（\pmb{\gamma=2}\） .

6结论

我们扩展了算法PAPA[20]和\（\mathrm｛PDFP｝^｛2｝\mathrm｛O｝\）[15]导出原对偶不动点算法PDFP（参见(1.3))求解三块凸可分函数的极小化问题(1.1). 所提出的PDFP算法是一种对称的完全分裂格式，只涉及显式梯度和线性算子，不需要任何反演和子问题求解，而非光滑函数的邻近算子很容易处理。该方案可以很容易地适用于涉及多项最小化的各种反问题，并且适合大规模并行实现。此外，收敛性分析确定的参数范围非常简单明了，对实际应用有一定的指导意义。最后，如[5]，我们还可以扩展当前的PDFP算法来解决多块组合（三个以上）最小化问题。预处理运算符，如[16,19,24,28]也可以引入，以加速PDFP，这可能是某些特定应用程序的未来工作。