一类非凸问题的正则交替方向乘子法

摘要

本文针对一类非凸优化问题，提出了一种正则化交替方向乘子法（RADMM）。该算法不要求正则项严格凸。首先，我们证明了算法的全局收敛性。其次，在增广拉格朗日函数满足Kurdyka–Łojasiewicz性质的条件下，建立了算法的强收敛性。最后，报告了一些初步的数值结果，以支持该算法的效率。

1介绍

在本文中，我们考虑以下非凸优化问题

$$\分钟\四个f（x）+g（Ax）$$

(1)

哪里\（f:R^{n}\右箭头R\杯\{+\infty\}\）是一个适当的下半连续函数，\（g:R^{m}\右箭头R\）是一个连续可微函数∇克Lipschitz连续和模量\（L>0\），同时\（A\在R^{m\次n}\中）是给定的矩阵。当函数（f）和克是凸的，问题是(1)可以转化为拆分可行性问题[1,2]. 问题(1)等价于以下约束优化问题：

$$\begin{aligned}&\min\quad f（x）+g（y），\\&\quad\mbox{s.t.}Ax-y=0。\结束{对齐}$$

(2)

的增广拉格朗日函数(2)定义如下：

$$\开始｛对齐｝\mathcal{左}_｛\beta｝（x，y，\lambda）=f（x）+g（y）-\langle\lambda，Ax-y\rangle+\frac｛\beta｝｛2｝\Vert-Ax-y\Vert^｛2｝，\end｛aligned｝$$

(3)

哪里\（R^{m}中的\lambda\）是拉格朗日参数\（测试版>0）是惩罚参数。

交替方向乘数法（ADMM）是Gabay和Mercier于20世纪70年代首次提出的，是求解两块凸问题的有效算法[三]. 经典ADMM求解问题的迭代格式(2)如下所示：

$$\textstyle\begin｛cases｝x^｛k+1｝\in\arg\main\｛\mathcal{左}_{\beta}（x，y^{k}，\lambda^{k{）\}，\\y^{k+1}\在\arg\min\{\mathcal中{左}_{β}（x^{k+1}，y，\lambda^{k}）\}，\\lambda_^{k+1}=\lambda^{k}-\β（Ax^{k+1}-y^{k+1}）。\结束{cases}$$

(4)

如果（f）,克是凸函数，则ADMM的收敛性得到了很好的理解，并且有一些最近的收敛速度分析结果[4,5,6,7,8]. 然而，当目标函数非凸时，ADMM不一定收敛。最近，一些学者针对非凸问题提出了各种改进的ADMM，并分析了它们的收敛性[9,10,11,12,13,14,15]. 特别是，Guo等人[16,17]分析了经典ADMM对非凸优化问题的强收敛性(2). Wang等人[12,14]研究了非凸优化问题的Bregman ADMM的收敛性，其中需要关于x个或Bregman距离x个-子问题是强凸的。

第一个公式(4)具有以下结构：

$$\begin{aligned}\min\biggl\{f（x）+g\bigl（y^{k}\biger）-\bigl\langle\lambda^{k{，Ax-y^{k}\bigr\rangle+\frac{beta}{2}\bigl\ Vert-Ax-y_{k}\ bigr\Vert^{2}。\结束{对齐}$$

(5)

什么时候？A类不是单位矩阵，上述问题可能并不容易。正则化是一种常用的简化优化问题的技术[12,14,18]. 例如，常规术语\（压裂{1}{2}\|x-x^{k}\|^{2}_{G} \）可能会添加到上述问题中(5)，其中G公司是对称半定矩阵。具体来说，当\（G=\alpha I-\beta A^{\top}A\），问题(5)转换为以下形式：

$$\开始{aligned}\min\biggl\{f（x）+\frac{\alpha}{2}\bigl\Vert x-b^{k}\bigr\Vert^{2}\ biggr\}，\end{aligned}$$

（6）

有一个已知的\（R^{n}中的b^{k}）自从第一个公式(4)具有以下形式(6)带有\（阿尔法=1），本文考虑以下正则化ADMM（简称RADMM）的问题(2):

$$\textstyle\begin{cases}x^{k+1}\in\arg\min\{mathcal中{左}_{\beta}（x，y^{k}，\lambda^{k{）+\frac{1}{2}\Vert x-x^{kneneneep \Vert^{2}_{G} \}，\\y^{k+1}\在\arg\min\{\mathcal中{左}_{β}（x^{k+1}，y，\lambda^{k}）\}，\\lambda_^{k+1}=\lambda^{k}-\beta（Ax^{k+1}-y^{k+1}），\结束{cases}$$

（7）

哪里G公司是对称半定矩阵，\（\|x\|^{2}_{G} ：=x^{\top}Gx\）.

本文的框架如下。在Sect。 2，我们提供了一些将在本文中使用的初步材料。在Sect。 三，我们证明了算法的收敛性(7). 在Sect。 4，我们报告了一些数值结果。在Sect。 5，我们得出了一些结论。

2前期工作

对于向量\（x=（x{1}，x{2}，\点，x{n}）^{top}\在R^{n}\中），我们让\（x=（sum{i=1}^{n}x{i}^{2}）^{frac{1}{2}\）,\（x\|{1}=\sum{i=1}^{n}|x{i}|\）、和\（\|x\|{\frac{1}{2}}=（\sum{i=1}^{n}|x{i}|^{\frac{1}{2}）^{2}\）。此外\（G\成功0\） \（（\succ 0）\）表示G公司是半正定（正定）矩阵。对于子集\（S\subseteq R^{n}\）还有一点\（x\在R^{n}\中），如果S公司是非空的，让\（d（x，S）=\inf_{y\在S}\|y-x\|\中）.何时\（S=\空集\），我们设置\（d（x，S）=+\infty\）为所有人x个.A函数\（f:R^{n}\rightarrow（-\infty，+\infty]\）如果存在至少一个\（x\在R^{n}\中）这样的话\（f（x）<+\infty\）.的有效域（f）通过定义\（\操作员姓名{dom}f=\{x\在R^{n}|f（x）<+\infty\}\）.

定义2.1

([19])

功能\（f:R^{n}\右箭头R\杯\{+\infty\}\）在下半连续x̄，如果\（f（\bar{x}）\leq\liminf_{x\rightarrow\bar{x}}f（x）\）.如果（f）每一点都是下半连续的\（x\在R^{n}\中），然后（f）称为下半连续函数。

定义2.2

([19])

让\（f:R^{n}\右箭头R\杯\{+\infty\}\）是一个适当的下半连续函数。

• （i） 的Fréchet次微分或正则次微分（f）在\（x\in\operatorname{dom}f\），表示为\（{\部分}{f（x）}\），是所有元素的集合\（u\在R^｛n｝\中）满足

  $$\hat{\partial}{f（x）}=\biggl\{u\在R^{n}\Bigm|\lim_{y\neqx}\inf_{y\rightarrowx}\frac{f（y）-f（x）-\langleu，y-x\rangle}{\Verty-x\Vert}\geq0\biggr\}中$$

  什么时候\（x\notin\operatorname{dom}f\），让\（{\partial}f（x）=\emptyset\）;

• （ii） 极限次微分，或简称次微分（f）在\（x\in\operatorname{dom}f\），表示为\（\部分f（x）\），定义为

  $$\partial f（x）=\bigl\{u\在R^{n}\mid\中存在x^{k}\rightarrow x，f\bigl（x^{k}\bigr）\rightarrow f（x$$

提议2.1

([20])

让 \（f:R^{n}\右箭头R\杯\{+\infty\}\） 是一个适当的下半连续函数,然后

• （i） \（{\partial}f（x）\subseteq\partial f（x）\） 对于每个 \（x\在R^{n}\中）,其中第一个集是封闭的凸集，而第二个集只是封闭的;

• （ii） 让 \（u^{k}\在\部分f（x^{k{）\中） 和 \（\lim_{k\rightarrow\infty}（x^{k}，u^{k{）=（x，u）\）,然后 \（u \ in \ partial f（x）\）;

• （iii） 一个必要的条件 \（x\在R^{n}\中） 成为 （f） 是

  $$\开始{aligned}0\在\部分f（x）中；\结束{对齐}$$

  （8）

• （iv） 如果 \（g:R^{n}\右箭头R\） 是连续可微的,然后 \（部分（f+g）（x）=部分f（x）+nabla g（x）） 对于任何 \（x\in\operatorname{dom}f\）.

满足以下条件的点(8)称为临界点或驻点。关键点集（f）用crit表示（f）.

引理2.1

([21])

假设 \（H（x，y）=f（x）+g（y））,哪里 \（f:R^{n}\右箭头R\杯\{+\infty\}\） 和 \（g:R^｛m｝\右箭头R\） 是适当的下半连续函数,然后

$$\开始{对齐}&\部分H（x，y）=\部分_{x}H（x、y）\times\partial_{y}H（x，y）=部分f（x）\times \partial g（y），\\&\quad\textit{for-all}（x，y）\in\operatorname{dom}H=\operator名称{dom}f\时间\操作员姓名{dom}g。\结束{对齐}$$

以下引理对于收敛性分析非常重要。

引理2.2

([22])

Let函数 \（h:R^{n}\右箭头R\） 连续可微及其梯度 ∇小时 具有模量的Lipschitz连续 \（L>0\）,然后

$$\bigl\vert h（y）-h（x）-\bigl\ langle\nabla h（x），y-x\bigr\rangle\bigr\ vert\leq\frac{L}{2}\vert y-x\vert^{2}，\quad\textit{表示R^{n}中的所有}x，y$$

定义2.3

我们这么说\（（（x^{*}，y^{*{，\lambda^{*neneneep）\）是增广拉格朗日函数的一个临界点\（\mathcal{L_{\beta}（\cdot）}\）第页，共页(2)如果它满足

$$\textstyle\begin{cases}部分f（x^{*}）中的A^{\top}\lambda^{*{，\\nabla g（y^{*neneneep）=\lambda{*}，\\Ax^{*.}-y^{**}=0。\结束{cases}$$

(9)

显然(2)等于\（0\in\partial\mathcal{L_{beta}}（x^{*}，y^{*{，\lambda^{*neneneep）\）.

定义2.4

([21]（Kurdyka–Łojasiewicz地产）

让\（f:{R}^{n}\rightarrow{R}\cup\{+\infty\}\）是一个适当的下半连续函数。如果存在\（在（0，+\输入]\中），一个街区U型属于x̂，和凹函数\（\varphi:[0，\eta）\rightarrow R_｛+｝\）满足以下条件：

• （i） \（\varphi（0）=0\）;

• （ii） φ在上连续可微\（（0，\t）\）0时连续；

• （iii） \（\varphi'>0\）为所有人\（在（0，\t）中为\）;

• （iv） \（\varphi'（f（x）-f（\hat{x}））d（0，\partialf（x））\geq1\），对于所有人\（x\在U\cap[f（\hat{x}）中,

然后（f）据说拥有Kurdyka–Łojasewicz（KL）地产x̂.

引理2.3

([23]（统一KL属性）

让 \（\varPhi_{\eta}\） 是满足以下条件的凹函数集（i） ，（ii）和（iii）定义中 2.4.假设 \（f:R^{n}\rightarrow{R}\cup\{+\infty\}\） 是一个适当的下半连续函数 Ω 是一个紧集.如果 \（f（x）等于a） 为所有人 \（x\英寸\varOmega\） 和 （f） 满足 吉隆坡 每个点的属性 Ω,那么就有了 \（\varepsilon>0\）,\（\ta>0\）,和 \（\varphi\in\varphi_{\eta}\） 这样的话

$$\varphi'\bigl（f（x）-a\bigr）d\bigl$$

为所有人 \（x\in\{x\in{R}^{n}|d（x，\varOmega）<\varepsilon\}\cap[x:a<f（x）<a+\eta]\）.

三收敛性分析

在本节中，我们证明了算法的收敛性(7). 在本节中，我们假设序列\（\{z^{k}：=（x^{k{，y^{kneneneep，\lambda^{kneneneei）\}\）由RADMM生成(7). 首先，通过单调不递增序列建立了算法的全局收敛性\（数学{左}_{\beta}（z^{k}）\}\）其次，在以下条件下证明了算法的强收敛性\（\数学{左}_{\beta}（\cdot）\）满足KL属性。从中每个子问题的最优性条件(7)，我们有

$$\textstyle\在\部分f（x^{k+1}）中开始{cases}0\-A^{top}\lambda^{k}+\betaA^{\top}（Ax^{k+1}-y^{k{）+G（x^}k+1}-x^{k}），\\0=\nabla G（y^{k+1}）+\lambda^{k}-\β（Ax^{k+1}-y^{k+1}），\\lambda^{k+1}=\lambda^{k}-\β（Ax^{k+1}-y^{k+1}）。\结束｛个案例｝$$

(10)

那就是，

$$\textstyle\begin{cases}A^{top}\lambda^{k+1}-\betaA^{\top}（y^{k+1}-y^{k}）-G（x^{k+1}-x^{k}）\在\部分f（x^}k+1}）中，\\-\lambda ^{k+1}=\nabla G（y^}k+1}），\\lambda_k+1}=\lamba^{k}-\β（Ax^{k+1}-y^{k+1}）。\结束{cases}$$

(11)

我们需要对问题进行以下基本假设(2).

假设3.1

• （i） \（f:R^{n}\右箭头R\杯\{+\infty\}\）是适当的下半连续的；

• （ii） \（g:R^{m}\右箭头R\）是连续可微的\（g（u）-g（v））,\（对于所有u，R^{n}中的v）;

• （iii） \（β>2L）和\（δ：=压裂{β-L}{2}-\裂缝{L^{2}}{\beta}>0\）;

• （iv） \（G\成功0\）和\（G+A^{\top}A\suck 0\）.

下面的引理暗示了这个序列\（{\mathcal{L_{\beta}}（z^{k}）单调地不增加。

引理3.1

$$\开始{aligned}\mathcal{左}_{\beta}\bigl（z^{k+1}\bigr）\leq\mathcal{左}_{\beta}\bigl（z^{k}\bigr）-\delta\bigl\垂直^{k} -年^{k+1}\较大\垂直^{2}-\裂缝{1}{2}\bigl\Vert x^{k+1}-x^{k}\bigr\Vert^{2}_{G} ●●●●。\结束｛对齐｝$$

(12)

证明

从增广拉格朗日函数的定义\（\mathcal{L_{\beta}（\cdot）}\）和第三个公式(11)，我们有

$$\开始{aligned}[b]\mathcal{左}_{\beta}\bigl（x^{k+1}，y^{k+1}，\lambda^{k+1}\bigr）&=\mathcal{左}_{\beta}\bigl（x^{k+1}，y^{k+1}，\lambda^{k}\bigr）+\bigl\langle\lambda^{k}-\lambda^{k+1}，Ax^{k+1}-y^{k+1}\bigr\rangle\\&=\mathcal{左}_{\beta}\bigl（x^{k+1}，y^{k+1}，\lambda^{k}\bigr）+\frac{1}{\beta}\bigle\Vert\lambda^{k}-\lambda^{k+1}\bigr\Vert^{2}\end{aligned}$$

(13)

和

$$\开始｛对齐｝[b]&\mathcal{左}_{\beta}\bigl（x^{k+1}，y^{k+1}，\lambda^{k}\bigr）-\mathcal{左}_{\beta}\bigl（x^{k+1}，y^{k}，\lambda^{k{bigr^{k} -年^{k+1}\bigr\rangle-\frac{\beta}{2}\bigl\Vert-Ax^{k+1}-y^{k}\biger\Vert^{2}\\&\qquad{}+\frac}\beta{2}\bigl\ Vert-Ax ^{k+1{-y^ k+1}\ bigr\Vert-^{2}。\结束{对齐}$$

(14)

来自假设3.1（ii），引理2.2和(11)，我们有

$$开始{对齐}g\bigl（y^{k+1}\bigr）-g\bigle（y_{k}\biger）\leq\bigl\langle-\lambda^{k+1}，y^{k+1}-y^{k}\biger\rangle+\frac{L}{2}\bigl\垂直y^{k} -年^{k+1}\bigr\Vert^{2}。\结束{对齐}$$

(15)

插入(15)到(14)收益率

$$\开始{对齐}[b]&\mathcal{左}_{\beta}\bigl（x^{k+1}，y^{k+1}，\lambda^{k}\bigr）-\mathcal{左}_{\beta}\bigl（x^{k+1}，y^{k}，\lambda^{k{bigr）\\&\quad\leq\bigl\langle\lambda^{k}-\lambda^{k+1}，y^{k+1}-y^{k}\bigr\rangle-\frac{beta}{2}\bigl\Vert-Ax^{k+1}-y ^{k}\biger\Vert^{2}\\&\qquad{}+\frac}\beta}{2}\bigl\ Vert-Ax ^{k|1}-y \垂直^{k} -年^{k+1}\bigr\Vert^{2}。\结束{对齐}$$

(16)

自\（\lambda^{k+1}=\lambda^{k}-\β（Ax^{k+1}-y^{k+1}）\），我们有

$$\开始{对齐}Ax^{k+1}-y^{k+1}=\frac{1}{\beta}\bigl（\lambda^{k}-\lambda ^{k+1}\biger）\end{对齐}$$

(17)

和

$$Ax^{k+1}-y^{k}=\frac{1}{\beta}\bigl（\lambda^{k}-\λ^{k+1}\bigr）-\bigl（y^{k} -年^{k+1}\biger）$$

由此可见

$$\begin｛aligned｝\bigl\langle\lambda^{k}-λ^｛k+1｝，y ^｛k+1｝-y ^｛k｝\bigr\rangle-\frac｛\beta｝｛2｝\bigl\Vert Ax^｛k+1｝-y ^｛k｝\bigr\Vert ^｛2｝\=-\frac｛\beta｝｛2｝\bigl\Vert y ^｛k+1｝-y ^｛k｝\bigr\Vert^{2}-\裂缝{1}{2\beta}\bigl\Vert\lambda^{k}-\lambda^{k+1}\bigr\Vert^{2}。\结束{对齐}$$

(18)

组合(16), (17)和(18)，我们有

$$\开始{aligned}\mathcal{左}_{\beta}\bigl（x^{k+1}，y^{k+1}，\lambda^{k}\bigr）-\mathcal{左}_{\beta}\bigl（x^{k+1}，y^{k}，\lambda^{k{bigr）\leq-\frac{\beta-L}{2}\bigle\Verty^{k+1}-y^{k}\bigr\Vert^{2}。\结束{对齐}$$

(19)

发件人\（-\lambda ^｛k+1｝=\nabla g（y^｛k+1｝）\）和假设3.1（ii），我们有

$$\开始{aligned}\frac{1}{\beta}\bigl\Vert\lambda^{k}-\lambda^{k+1}\bigr\Vert^{2}\leq\frac{L^{2{{beta}\bigl\Verty^{k+1}-y^{k}\biger\Vert${2}。\结束{对齐}$$

(20)

正在添加(13), (19)和(20)，一个有

$$\马塔尔{左}_{\beta}\bigl（x^{k+1}，y^{k+1}，\lambda^{k+1}\biger）\leq\mathcal{L}_{\beta}\bigr{2}-\裂缝{L^{2}}{\beta}\biggr）\bigl\Verty^{k+1}-y^{k}\bigr\Vert^{2{$$

自\（x^{x+1}\）是的第一个子问题的最优解(7)，一个有

$$\马塔尔{左}_{\beta}\bigl（x^{k+1}，y^{k}，\lambda^{k{\bigr）\leq\mathcal{左}_{\beta}\bigl（x^{k}，y^{k{，\lambda^{kneneneep \bigr）-\frac{1}{2}\bigle\Vertx^{k+1}-x^{k}\bigr\Vert^{2}_{G} ●●●●$$

因此

$$\开始{aligned}&\mathcal{左}_{\beta}\bigl（x^{k+1}，y^{k+1}，\lambda^{k+1}\bigr）\\&\quad\leq\mathcal{左}_{\beta}\bigl（x^{k}，y^{k{，\lambda^{kneneneep \bigr）-\biggl（\frac{\beta-L}{2}-\压裂{L^{2}}{\beta}\biggr）\bigl\垂直^{k} -年^{k+1}\较大\垂直^{2}-\压裂{1}{2}\bigl\Vert x^{k+1}-x^{k}\bigr\Vert^{2}_{G} ●●●●。\结束{对齐}$$

 □

引理3.2

如果序列 \（{z^{k}\}\） 是有界的,然后

$$\开始{aligned}\sum_{k=0}^{+\infty}\bigl\Vertz^{k} -z（-z）^{k+1}\bigr\Vert^{2}<+\infty。\结束{对齐}$$

证明

自\（{z^{k}\}\）有界，\（\｛z ^｛k｝\｝\）至少有一个群集点。让\（z^{*}=（x^{*{，y^{*$，\lambda^{*neneneep）\）是的群集点\（{z^{k}\}\）然后让一个子序列\（{z^{k{j}}）汇聚到\（z^{*}\）.自（f）是下半连续的克是连续可微的，那么\（\数学{左}_{\beta}（\cdot）\）是下半连续的，因此

$$\马塔尔{左}_{\beta}\bigl（z^{*}\bigr）\leq\liminf_{k{j}\rightarrow+\infty}\mathcal{左}_{\beta}\bigl（z^{k{j}}\bigr）$$

(21)

因此\（\{\mathcal{左}_{\beta}（z^{k{j}}）从下方限定。此外，通过引理3.1，序列\（\{\mathcal{左}_{\beta}（z^{k}）\}\）没有增加，所以\（\{\mathcal{左}_{\beta}（z^{k}）\}\）是收敛的。此外，\（\数学{左}_{\beta}（z^{*}）\leq\mathcal{左}_｛\beta｝（z ^｛k｝）\），对于所有人k个.

另一方面(12)的\（k=0,1,2，\点，p），因此

$$\开始{对齐}和\frac{1}{2}\sum_{k=0}^{p}\bigl\Vertx^{k+1}-x^{k}\bigr\Vert^{2}_{G} +\delta\sum_{k=0}^{p}\bigl\Verty^{k+1}-y^{k}\bigr\Vert^{2}\leq\mathcal{左}_{\beta}\bigl（z^{0}\bigr）-\mathcal{左}_{\beta}\bigl（z^{p+1}\bigr）\\&\quad\leq\mathcal{左}_{\beta}\bigl（z^{0}\bigr）-\mathcal{左}_{\beta}\bigl（z^{*}\bigr）\\&\quad<+\infty。\结束{对齐}$$

自\（\增量>0\）,\（G\成功0\）、和第页被任意选择，

$$\开始{对齐}\sum_{k=0}^{+\infty}\bigl\Verty^{k+1}-y^{k}\bigr\Vert^{2}<+\inft，\qquad\sum_k=0{^{+\ inftyneneneep \bigl\ Vertx^{k+1}-x^{k{bigr\Vert^{2}_{G} <+\infty。\结束{对齐}$$

(22)

发件人(20)我们有

$$\sum_{k=0}^{+\infty}\bigl\Vert\lambda^{k+1}-\lambda_{k}\bigr\Vert^{2}<+\inft$$

接下来我们证明\（\sum_{k=0}^{+\infty}\|x^{k+1}-x^{k}\|^{2}<+\inffy\）.来自\（\lambda^{k+1}=\lambda^{k}-\β（Ax^{k+1}-y^{k+1}）\），我们有

$$\lambda^{k+1}-\lambda^{k}=\lambda^{k}-\lambda^{k-1}+\beta\bigl（Ax^{k} -轴^{k+1}\bigr）+\beta\bigl（y^{k+1}-y^{k}\biger）$$

然后

$$\开始{aligned}[b]&\bigl\Vert\beta\bigl（Ax^{k} -轴^{k+1}\bigr）\bigr\Vert^{2}\\&\quad=\bigl\Vert\bigl（\lambda^{k+1}-\lambda ^{k}\biger）-\bigl^{k}-\lambda^{k-1}\biger）-\beta\bigl^{k}-\λ^{k-1}\bigr\Vert^{2}+\beta^{2{\bigl\Verty^{k} -年^{k+1}\bigr\Vert^{2}\biger）。\结束{对齐}$$

(23)

因此，我们有\（\sum_{k=0}^{+\infty}\|x^{k+1}-x^{kg}\|^{2}_{A^{\top}A}<+\inffy\）.考虑到(22)，我们有

$$\sum_{k=0}^{+\infty}\bigl\Vert x^{k+1}-x^{k}\bigr\Vert^{2}_｛（A^｛\top｝A+G）｝<+\infty$$

自\（A^｛\top｝A+G\succ 0\）（见假设3.1（iv），其中一人\（\sum_{k=0}^{+\infty}\|x^{k+1}-x^{k}\|^{2}<+\inffy\）.

因此，\（\sum_{k=0}^{+\infty}\|z^{k+1}-z^{k}\|^{2}<+\inffy\）. □

引理3.3

定义

$$\textstyle\begin{cases}\varepsilon^{k+1}_{x}=\betaA^{top}（y^{k} -年^{k+1}）+A^{top}（\lambda^{k}-\λ^｛k+1｝）-G（x^｛k+1｝-x^｛k｝），\\\\varepsilon^｛k+1｝_｛y｝=λ^｛k+1｝-λ^｛k｝，\\\\varepsilon^｛k+1｝_｛\lambda｝=λ｛1｝｛\beta｝（λ^｛k+1｝-λ^｛k｝）。\结束{cases}$$

然后 \（（varepsilon^{k+1}_{x}，varepsilen^{k+1}_{y}，\varepsilon^{k+1}_{lambda}）^{top}\in\partial\mathcal{L_{beta}}（z^{k=1}）\）.此外,如果 \（^{\top}A\suck 0\）,那么就有了 \（\tau>0\） 这样的话

$$d\bigl（0，\partial\mathcal{L_{\beta}}\bigl^{k} -年^{k-1}\bigr\Vert\bigr），\quad k\geq 1$$

证明

根据的定义\（\数学{左}_{\beta}（\cdot）\），一个有

$$\textstyle\begin{cases}\partial_{x}\mathcal{左}_{β}（z^{k+1}）=\部分f（x^{k+1}）-A^{top}\lambda^{k+1}+\βA^{top{（Ax^{k+1}-y^{k*1}），\\部分_{y}\mathcal{左}_{\beta}（z^{k+1}）=nabla g（y^{k+1}）+\lambda^{k+1}-\beta（Ax^{k+1}-y^{k+1}），\\partial_{lambda}\mathcal{左}_{\beta}（z^{k+1}）=-（Ax^{k+1}-y^{k+1}）。\结束{cases}$$

(24)

组合(24)和(11)，我们得到

$$\textstyle\begin{cases}\beta A^{top}（y^{k} -年^{k+1}）+A^{top}（\lambda^{k}-\lambda^{k+1}）-G（x^{k+1}-x^{k}）在\部分_{x}\mathcal中{左}_{β}（z^{k+1}），\\lambda^{k+1}-\lambda_{k}在\partial_{y}\mathcal中{左}_{β}（z^{k+1}），\\frac{1}{β{左}_{\beta}（z^{k+1}）。\结束{cases}$$

(25)

从引理2.1，一个有\（（varepsilon^{k+1}_{x}，varepsilen^{k+1}_{y}，\varepsilon^{k+1}_{lambda}）^{top}\in\partial\mathcal{L_{beta}}（z^{k=1}）\）.

另一方面，很容易看出存在\（tau_{1}>0\）这样的话

$$\begon｛aligned｝\bigl\Vert\bigl（\varepsilon ^｛k+1｝_｛x｝，\varepsilon ^｛k+1｝_｛y｝，\varepsilon ^｛k+1｝_｛\lambda｝\bigr）^｛\top｝\bigr\Vert\leq\tau _｛1｝\bigl tx^｛k+1｝-x^｛k｝\bigr\Vert\bigr）。\结束｛对齐｝$$

(26)

由于\（^{\top}A\suck 0\）和(23)，存在\（tau_{2}>0\）这样的话

$$开始{对齐}\bigl\Vert x^{k+1}-x^{k}\bigr\Vert\leq\tau_{2}\bigle^{k}-\lambda ^{k-1}\bigr\Vert\bigr），\quad k\geq 1。\结束{对齐}$$

(27)

自\（（varepsilon^{k+1}_{x}，varepsilen^{k+1}_{y}，\varepsilon^{k+1}_{lambda}）^{top}\in\partial\mathcal{L_{beta}}（z^{k=1}）\），来自(26), (20)和(27)，存在\（\tau>0\）这样的话

$$\开始{aligned}&d\bigl（0，\partial\mathcal{左}_{\beta}\bigl（z^{k+1}\bigr）\biger）\leq\bigl\Vert\bigl l \垂直^{k} -年^{k-1}\bigr\Vert\bigr），\\&\quad k\geq 1。\结束{对齐}$$

 □

定理3.1

（全球趋同）

让 Ω 表示序列的簇点集 \（{z^{k}\}\）.如果 \（{z^{k}\}\） 是有界的,然后

• （i） Ω 是非空紧集,和\（d（z^{k}，\varOmega）\rightarrow 0\）,作为 \（k\rightarrow+\infty\）,

• （ii） \（\varOmega\subseteq\operatorname{crit}\mathcal{L_{\beta}}\）,

• （iii） \（\mathcal{L_{\beta}}（\cdot）\） 持续打开 Ω,和 \（\lim_{k\rightarrow+\infty}\mathcal{L_{beta}}（z^{k}）=\mathcal{L_}\beta}（z ^{*}）\） 为所有人 \（z^{*}\在\varOmega\中）.

证明

（i） 根据的定义Ω和\（d（z^{k}，\varOmega）\），这一主张无足轻重。

（ii）出租\（z^{*}=（x^{*{，y^{*neneneep，\lambda^{**}）在\varOmega\中，则有一个子序列\（{z^{k{j}}）属于\（\｛z ^｛k｝\｝\），因此\（\lim_｛k_{j｝\rightarrow+\infty｝z ^｛k_{j｝｝=z ^｛*｝\）.自\（x^{k+1}\）是函数的极小值\（\数学{左}_{β}（x，y^{k}，\lambda^{k{）+\frac{1}{2}\|^{2}_{G} \）对于变量x个，一个有

$$\马塔尔{左}_{\beta}\bigl（x^{k+1}，y^{k}，\lambda^{k{bigr）+\frac{1}{2}\bigle\Vertx^{k+1}-x^{k}\bigr\Vert^{2}_{G} \leq\mathcal公司{左}_｛\beta｝\bigl（x^｛*｝，y^｛k｝，λ^｛k｝\bigr）+\frac｛1｝｛2｝\bigl\Vert x^｛*｝-x^｛k｝\bigr\Vert^{2}_{G} $$

也就是说，

$$\开始{aligned}\mathcal{左}_{\beta}\bigl（x^{k+1}，y^{k}，\lambda^{k{\bigr）\leq\mathcal{左}_{\beta}\bigl（x^{*}，y^{k}，\lambda^{k{bigr）+\frac{1}{2}\bigle\Vertx^{**}-x^{kneneneep \bigr\Vert^{2}_{希腊}-\压裂{1}{2}\bigl\Vert x^{k+1}-x^{k}\bigr\Vert^{2}_{G} ●●●●。\结束{对齐}$$

(28)

引理3.1意味着\（\lim_{k\rightarrow\infty}\|x^{k+1}-x^{k}\|^{2}_{G} =0\）.自\（\数学{左}_{\beta}（\cdot）\）在以下方面是连续的年和λ，我们有

$$\开始{对齐}[b]\limsup_{k_{j}\rightarrow+\infty}\mathcal{左}_{\beta}\bigl（z^{k{j}+1}\bigr）&=\limsup{k{j}\rightarrow+\infty}\mathcal{左}_{\beta}\bigl（x^{k{j}+1}，y^{k}}，\lambda^{k_j}}\bigr）\\&\leq\limsup{k{j}\rightarrow+\infty}\mathcal{左}_{\beta}\bigl（x^{*}，y^{k}，\lambda^{k{bigr）\\&=\mathcal{左}_{\beta}\bigl（z^{*}\bigr）。\结束{对齐}$$

(29)

另一方面，因为\（\mathcal{L}（\cdot）\）是下半连续的，

$$\liminf_{k_{j}\rightarrow+\infty}\mathcal{左}_{\beta}\bigl（z^{k{j}+1}\bigr）\geq\mathcal{左}_{\beta}\bigl（z^{*}\bigr）$$

(30)

组合(29)和(30)，我们得到\（\lim_{k_{j}\rightarrow+\infty}\mathcal{左}_{\beta}（z^{k{j}}）=\mathcal{左}_{\beta}（z^{*}）.然后\（\lim_｛k_{j｝\rightarrow+\infty｝f（x^｛k_{j｝｝）=f（x^｛*｝）\）。通过采取限制\（k{j}\rightarrow+\infty\）英寸(11)，我们有

$$\textstyle\begin{cases}部分f（x^{*}）中的A^{\top}\lambda^{*{，\\nabla g（y^{*neneneep）=-\lambda ^{*$，\\Ax^{**}-y^{*.}=0。\结束{cases}$$

也就是说，\（z^{*}\in\rm{crit}\mathcal{左}_{\测试}\）.

（iii）出租\（z^{*}\在\varOmega\中）。存在\（{z^{k{j}}）这样的话\（\lim_｛k_{j｝\rightarrow+\infty｝z ^｛k_{j｝｝=z ^｛*｝\）.组合\（\lim_{k_{j}\rightarrow+\infty}\mathcal{左}_{\beta}（z^{k{j}}）=\mathcal{左}_{\beta}（z^{*}）事实上\（\{\mathcal{左}_{\beta}（z^{k}）\}\）总的来说是单调无增量的\（z^{*}\在\varOmega\中），我们有

$$\lim_{k\rightarrow+\infty}\mathcal{左}_{\beta}\bigl（z^{k}\bigr）=\mathcal{左}_{\beta}\bigl（z^{*}\bigr）$$

等等\（\数学{左}_{\beta}（\cdot）\）持续打开Ω. □

定理3.2

（强收敛）

如果 \（{z^{k}\}\） 是有界的,\（^{\top}A\suck 0\）,和\（\数学{左}_{\测试}（z）\） 在每个点满足KL属性 Ω,然后

• （i） \（\sum_{k=0}^{+\infty}\|z^{k+1}-z^{k}\|<+\inffy\）,

• （ii） 序列\（{z^{k}\}\） 收敛到\（\数学{左}_{\beta}（\cdot）\）.

证明

（i） 让\（z^{*}\在\varOmega\中）.从定理3.1，我们有\（\lim_｛k\rightarrow+\infty｝\mathcal）{左}_｛\beta｝（z ^｛k｝）=数学{左}_{\beta}（z^{*}）。我们考虑两种情况：

（a） 存在一个整数\（k{0}\），因此\（\数学{左}_｛\beta｝（z^｛k_｛0｝｝）=\mathcal{左}_{\beta}（z^{*}）.来自引理3.1，我们有

$$\开始｛对齐｝&&frac｛1｝｛2｝\bigl\Vert x^｛k+1｝-x^｛k｝\bigr\Vert^{2}_{G} +\delta\bigl\垂直y^{k+1}-y^{k}\bigr\Vert^{2}\\&\quad\leq\mathcal{左}_{\beta}\bigl（z^{k}\bigr）-\mathcal{左}_{\beta}\bigl（z^{k+1}\bigr）\leq\mathcal{左}_{\beta}\bigl（z^{k{0}}\bigr）-\mathcal{左}_{\beta}\bigl（z^{*}\bigr）=0，\quad k\geq k{0}。\结束{对齐}$$

那么，有一个\（\|x^{k+1}-x^{k}\|^{2}_{G} =0\）,\（y^{k+1}=y^{k}\）,\（k\geq-k{0}\）.来自(20)，一个有\（\lambda^{k+1}=\lambda ^{k}\）,\（k>k{0}\）此外，来自(23)以及\（^{\top}A\suck 0\），我们有\（x^{k+1}=x^{k}\）,\（k>k{0}+1）.因此\（z^{k+1}=z^{k}\）,\（k>k{0}+1）因此，结论成立。

（b） 假设\（\数学{左}_{\beta}（z^{k}）>\mathcal{左}_{\beta}（z^{*}）,\（k\geq 1）.从定理3.1（i） ，因此\（\varepsilon>0\），存在\（k{1}>0\），因此\（d（z^{k}，\varOmega）<\varepsilon\），对于所有人\（k>k{1}\）.自\（\lim_{k\rightarrow+\infty}\mathcal{左}_{\beta}（z^{k}）=\mathcal{左}_{\beta}（z^{*}），对于给定\（\ta>0\），存在\（k{2}>0\），因此\（\数学{左}_｛\beta｝（z ^｛k｝）<\mathcal{左}_{\beta}（z^{*}）+\eta\），对于所有人\（k>k{2}\）。因此

$$d\bigl（z^{k}，\varOmega\bigr）<\varepsilon，\mathcal{左}_{\beta}\bigl（z^{*}\bigr）<\mathcal{左}_{\beta}\bigl（z^{k}\bigr）<\mathcal{左}_{\beta}\bigl（z^{*}\bigr）+\eta，\quad\mbox{表示所有}k>\tilde{k}=\max\{k{1}，k{2}$$

根据KL地产

$$\开始{aligned}\varphi'\bigl（\mathcal{左}_{\beta}\bigl（z^{k}\bigr）-\mathcal{左}_{\beta}\bigl（z^{*}\biger）\bigr）d\bigl{左}_{\beta}\bigl（z^{k}\bigr）\biger）\geq 1，\quad\mbox{表示所有}k>\波浪线{k}。\结束{对齐}$$

(31)

通过凹形φ从那以后\（\数学{左}_{\beta}（z^{k}）-\mathcal{左}_{\beta}（z^{k+1}）=（\mathcal{左}_{\beta}（z^{k}）-\mathcal{左}_{\beta}（z^{*}））-（\mathcal{左}_{\beta}（z^{k+1}）-\mathcal{左}_{\beta}（z^{*}），我们有

$$\开始{aligned}&\varphi\bigl（\mathcal{左}_{\beta}\bigl（z^{k}\bigr）-\mathcal{左}_{\beta}\bigl（z^{*}\bigr）\biger）-\varphi\bigl-（\mathcal{左}_{\beta}\bigl（z^{k+1}\bigr）-\mathcal{左}_{\beta}\bigl（z^{*}\bigr）\biger）\\&\quad\geq\varphi'\bigl（\mathcal{左}_{\beta}\bigl（z^{k}\bigr）-\mathcal{左}_｛\beta｝\bigl（z ^｛*｝\bigr）\bigr）\bigl（\mathcal{左}_｛\beta｝\bigl（z ^｛k｝\bigr）-数学{左}_{\beta}\bigl（z^{k+1}\biger）\bigr）。\结束{对齐}$$

(32)

让\（\bigtriangleup _｛p，q｝=\varphi（\mathcal{左}_{\beta}（z^{p}）-\mathcal{左}_{\beta}（z^{*}））-\varphi（\mathcal{左}_{\beta}（z^{q}）-\mathcal{左}_{\beta}（z^{*}）.组合\（\varphi'（\mathcal{左}_{\beta}（z^{k}）-\mathcal{左}_{\beta}（z^{*}）>0\）, (31)和(32)，我们有

$$\开始{aligned}\mathcal{左}_{\beta}\bigl（z^{k}\bigr）-\mathcal{左}_{\beta}\bigl（z^{k+1}\bigr）\leq\frac{\bigtriangleup_{k，k+1}}{\varphi'（\mathcal{左}_{\beta}（z^{k}）-\mathcal{左}_{\beta}（z^{*}）}\leqd\bigl（0，\partial\mathcal{左}_{\beta}\bigl（z^{k}\bigr）\bigtriangleup_{k，k+1}。\结束{对齐}$$

从引理3.3，我们获得

$$\开始{aligned}\mathcal{左}_{\beta}\bigl（z^{k}\bigr）-\mathcal{左}_{\beta}\bigl（z^{k+1}\bigr）\leq\tau\bigle（\bigl\Verty）^{k} -年^{k-1}\bigr\垂直+\bigl\垂直^{k-1}-y^{k-2}\bigr\Vert\bigr）\bigtrianglup_{k，k+1}。\结束{对齐}$$

从引理3.1和上述不等式，我们有

$$\开始{对齐}和\frac{1}{2}\bigl\Vertx^{k+1}-x^{k}\bigr\Vert_{G}^{2}+\delta\bigl\ Verty^{k+1}-y^{k｝\bigr\ Vert^{2}\\&\quad\leq\tau\bigl（\bigl\\Verty^{k} -年^{k-1}\bigr\垂直+\bigl\垂直^{k-1}-y^{k-2}\bigr\Vert\bigr）\triangle_{k，k+1}，\quad\mbox{表示所有}k>\波浪线{k}。\结束{对齐}$$

因此

$$\bigl\Verty^{k+1}-y^{k}\bigr\Vert^{2}\leq\frac{\tau}{delta}\bigl（\bigl\ Verty^{k} -年^｛k-1｝\bigr\垂直+\bigl\垂直^{k-1}-y^{k-2}\bigr\Vert\bigr）\triangle_{k，k+1}，\quad\mbox{表示所有}k>\波浪线{k}$$

此外，

$$\开始{对齐}&3\bigl\垂直^{k+1}-y^{k}\bigr\Vert\\&\quad\leq 2\bigl（\bigl\Verty^{k} -年^{k-1}\bigr\垂直+\bigl\垂直^{k-1}-y^{k-2}\bigr\Vert\biger）^{\frac{1}{2}}\biggl（\frac{3}{2{sqrt{\frac{tau}{delta}}\triangle_{k，k+1}^{\frac{1{2}\biggr），\quad\mbox{forall}k>\tilde{k}。\结束{对齐}$$

利用以下事实\（2ab\leq a^｛2｝+b^｛2｝），我们获得

$$\开始{对齐}[b]&3\bigl\Verty^{k+1}-y^{k}\bigr\Vert\\&\quad\leq\bigl（\bigl\ Verty^{k} -年^{k-1}\bigr\垂直+\bigl\垂直^{k-1}-y^{k-2}\bigr\Vert\bigr）+\frac{9\tau}{4\delta}\triangle_{k，k+1}，\quad\mbox{表示所有}k>\tilde{k}。\结束{对齐}$$

(33)

总结上述不等式\（k=\波浪线{k}+1，\点，s），收益率

$$3\sum_{k=\tilde{k}+1}^{s}\bigl\Verty^{k+1}-y^{k}\bigr\Vert\leq\sum_{k=\tilde}k}+1{s}\ bigl（\bigl\ Verty^{k} -年^{k-1}\bigr\垂直+\bigl\垂直^{k-1}-y^{k-2}\bigr\Vert\bigr）+\frac{9\tau}{4\delta}\triangle_{tilde{k}+1，s+1}$$

因此

$$\sum_{k=\tilde{k}+1}^{s}\bigl\Verty^{k+1}-y^{k}\bigr\Vert\leq\bigl{k} -1个}\bigr\Vert\bigr）+\frac{9\tau}{4\delta}\triangle_{\波浪线{k}+1，s+1}$$

请注意\（\varphi（\mathcal{左}_{\beta}（z^{s+1}）-\mathcal{左}_{\beta}（z^{*}）>0\），所以接受限制\（s\rightarrow+\infty\），我们有

$$开始{对齐}[b]&\sum_{k=\tilde{k}+1}^{+\infty}\bigl\Verty^{k+1}-y^{k}\bigr\Vert\&\quad\leq\bigl{k} -1个}\bigr\Vert\bigr）+\frac{9\tau}{4\delta}\varphi\bigl（\mathcal{左}_{\beta}\bigl（z^{\tilde{k}+1}\bigr）-\mathcal{L}\bigle。\结束{对齐}$$

(34)

因此

$$\sum_{k=\tilde{k}+1}^{+\infty}\bigl\Verty^{k+1}-y^{k}\bigr\Vert<+\inft$$

它源自(20)那个

$$\sum_{k=\tilde{k}+1}^{+\infty}\bigl\Vert\lambda^{k+1}-\lambda_{k}\bigr\Vert<+\inft$$

发件人\（A^｛\top｝A\succ 0\）, (23)和上述两个公式，我们得到

$$\sum_{k=\tilde{k}+1}^{+\infty}\bigl\Vertx^{k+1}-x^{k}\bigr\Vert<+\inffy$$

自

$$\开始{对齐}\bigl\Vert z^{k+1}-z^{k}\bigr\Vert&=\bigl（\bigl\ Vert x^{k+1}-x^{k{bigr\Vert^{2}+\bigl\\Vert y^{k+1}-y^{k｝\bigr\ Vert^{2}+\bigl\Vert\lambda^{k+1}-\lambda ^{k}\biger\Vert^2}\biger）^{\frac{1}{2}}\\&\leq\bigl\Vertx^{k+1}-x^{k}\bigr\Vert+\bigl\ Verty^{k+1}-y^{k{bigr\Vert+\bigl\Vert\lambda^{k+1}-\lambda|k}\bigr\Vert，\end{对齐}$$

我们知道

$$\sum_{k=\tilde{k}+1}^{m}\bigl\Vertz^{k+1}-z^{k}\bigr\Vert<+\infty$$

（ii）根据（i），我们知道\（{z^{k}\}\）是Cauchy序列，因此是收敛的。定理3.2（ii）紧跟定理3.1（ii）。 □

在上述结果中，我们假设了序列的有界性\（{z^{k}\}\）接下来，我们给出了两个确保这一要求的充分条件。

引理3.4

假设 \（^{\top}A\suck 0\） 和

$$\开始{aligned}\varGamma:=\inf_{y\在R^{m}}\biggl\{g（y）-\frac{1}{2L}\bigl\Vert\nabla g（y。\结束{对齐}$$

如果下列陈述之一为真:

• （i） （f） 是强制性的,我.e（电子）.,\（\lim_{\|x\|\rightarrow+\infty}f（x）=+\inffy\）,

• （ii） （f） 从下方限定 克 是强制性的,我.e（电子）., \（在R^{n}}f（x）>-\infty\中为inf_{x\） 和 \（\lim_{\|x\|\rightarrow+\infty}g（x）=+\inffy\）,

然后 \（{z^{k}\}\） 是有界的.

证明

（i） 假设（f）是强制性的。从引理3.1，我们知道\（\数学{左}_{\beta}（z^{k}）\leq\mathcal{左}_{\beta}（z^{1}）<+\infty\），对于所有人\（k\geq 1）.与结合\（\nabla g（x^{k}）=-\lambda^{k{），一个有

$$\开始｛对齐｝[b]\mathcal{左}_｛\beta｝\bigl（z^｛1｝\bigr）\geq｛｝&f\bigl（x^｛k｝\bigr）+g\bigl（y^｛k｝\bigr）-\bigl\langle\lambda ^｛k｝，Ax^{k} -年^{k} \bigr\rangle+\frac{\beta}{2}\bigl\Vert-Ax^{k} -年^{k} \bigr\Vert^{2}\\={}&f\bigl^{k} -年^{k}-\frac{1}{\beta}\lambda^{k}\biggr\Vert^{2}\\={}&f\bigl{2L}-\frac{1}{2\beta}\biggr）\bigl\Vert\lambda^{k}\bigr\Vert^{2}\\&{}+\frac}\beta}{2}\bigl\ VertAx^{k} -年^{k}-\压裂{1}{\beta}\lambda^{k}\biggr\Vert^{2}\\geq{}&f\bigl（x^{k{\bigr）+\varGamma+\biggl（\frac{1}{2L}-\frac{1}{2\beta}\biggr）\bigl\Vert\lambda^{k}\bigr\Vert^{2}+\frac{beta}{2}\biggl\Vert-Ax^{k} -年^{k}-\frac{1}{\beta}\lambda^{k}\biggr\Vert^{2}。\结束{对齐}$$

(35)

自\（β>2L）和（f）是强制性的，很容易看出\（{x^{k}\}\）,\（\{\lambda^{k}\}\）、和\（{\frac{\beta}{2}\|Ax^{k} -年^{k}-\裂缝{1}{\beta}\lambda^{k}\|^{2}\}\）有界。此外，\（y^k}）有界。因此\（{z^{k}\}\）有界。

（ii）与（i）类似，我们有

$$\开始{aligned}\mathcal{左}_{\beta}\bigl（z^{1}\bigr）\geq{}&f\bigle（x^{k}\birr）+g\bigl（y^{k{\biger）-\frac{1}{2\beta}\bigl\Vert\lambda^{kneneneep \bigr\Vert^{2}+\frac}\beta{2}\biggl\Vert-Ax^{k} -年^{k}-\frac{1}{\beta}\lambda^{k}\biggr\Vert^{2}\\geq{}&f\bigl（x^{k{\bigr）+\frac}{2} 克\bigl（y^{k}\bigr）+\frac{1}{2}\varGamma+\frac{1}{4L}\bigl\Vert\nabla g\bigl（y^}\biger）\bigr\Vert^{2}-\frac{1}{2\beta}\bigl\Vert\lambda^{k}\bigr\Vert^{2}\\&{}+\fracc{beta}{2}\biggl\VertAx^{k} -年^{k}-\frac{1}{\beta}\lambda^{k}\biggr\Vert^{2}\\geq{}&f\bigl（x^{k{\bigr）+\frac}{2} 克\bigl（y^｛k｝\bigr）+\frac｛1｝｛2｝\varGamma+\biggl（\frac｛1｝{4L}-\压裂{1}{2\beta}\biggr）\bigl\Vert\lambda^{k}\bigr\Vert^{2}+\frac{\beta}{2}\biggl\Vert-Ax^{k} -年^{k}-\压裂{1}{\beta}\lambda^{k}\biggr\Vert^{2}。\结束{对齐}$$

请注意\（β>2L），函数（f）从下方限定，克是强制性的和假设3.1（ii）持有，因此\（y^k}）,\（\{\lambda^{k}\}\）、和\（{\frac{\beta}{2}\|Ax^{k} -年^{k}-\裂缝{1}{\beta}\lambda^{k}\|^{2}\}\）有界。自\（^{\top}A\suck 0\）,\（{x^{k}\}\）有界。因此\（{z^{k}\}\）有界。 □

4数值示例

在压缩感知中，需要找到线性系统的最稀疏解，可以建模为

$$\开始{aligned}&\min\quad\Vert x\Vert_{0}，\\&\quad_mbox{s.t.}Dx=b，\end{aligned}$$

(36)

哪里\（D\在R^{m\次n}\中）是测量矩阵，\（b\在R^{m}\中）是观测数据，\（\|x\|_{0}\）表示非零元素的数量x个，称为\（l_{0}\）规范。

问题(36)是NP-hard。在实际应用中，可以放松\（l_{0}\）规范\（l{1}\）规范或\（l_｛\frac｛1｝｛2｝｝\）范数，并考虑它们的正则化版本，这将导致以下凸问题(37)和非凸问题(38):

$$\开始{aligned}&\min\quad\gamma\Vert x\Vert_{1}+\Vert y\Vert^{2}，\\&\quad_mbox{s.t.}Dx-y=b，\end{aligned}$$

(37)

和

$$\开始{aligned}&\min\quad\gamma\Vert x\Vert^{\frac{1}{2}}_{\frac{1}{2}{+\Vert y\Vert ^{2}，\\&\quad\\mbox{s.t.}Dx-y=b.\end{aligned}$$

(38)

在本节中，我们将应用RADMM(7)解决上述两个问题。为了简单起见，我们设置\（b=0）贯穿本节。应用RADMM(7)到问题(37)带有\（G=\alpha I-\beta D^{\top}D\）产量

$$\textstyle\以S（x）开头{cases}x^{k+1}\^{k}-\压裂{\beta}{\alpha}D^{\top}Dx^{k}+\frac{1}{\alpha}D^{top}（\betay^{k{+\lambda^{kneneneep）；\压裂{\gamma}{2\alpha}），\\y^{k+1}=\压裂{1}{2+\beta}（βD x ^{k+1}-\lambda^{k}）^{k}-\beta（Dx^{k+1}-y^{k+1}），\结束{cases}$$

(39)

哪里\（S（\cdot；\mu）=\{S{\mu}（x{1}是软收缩操作员[24]定义如下：

$$s_{\mu}（x_{i}）=\textstyle\begin{cases}x_{i}+\frac{\muneneneep{2}，&\mbox{if}x_}i}\leq-\frac}\mu}{2}，\\0，&\mbox{if}|x|<\frac{\mu{2}，\\x_{我}-\压裂{\mu}{2}，&\mbox{if}x{i}\geq\frac{\mu{2}。\结束{cases}$$

应用RADMM(7)到问题(38)带有\（G=\alpha I-\beta D^{\top}D\）产量

$$\textstyle\以H（x）开头{cases}x^{k+1}\^{k}-\压裂{\beta}{\alpha}D^{\top}Dx^{k}+\frac{1}{\alpha}D^{top}（\betay^{k{+\lambda^{kneneneep）；\压裂{\gamma}{\alpha}），\\y^{k+1}=\frac{1}{2+\beta}（βDx^{k+1}-\lambda^{k}）^{k}-\beta（Dx^{k+1}-y^{k+1}），\结束{cases}$$

(40)

哪里\（H（\cdot；\mu）=\{H{\mu}（x{1}），H{\mu}（x{2}）是半收缩操作员[25]定义如下：

$$h｛\mu｝（x_｛i｝）=\textstyle\bbegin｛cases｝\frac｛2x_｛i｝｝｛3｝（1+\cos\frac｛2｝｛3｝（\pi-\varphi（\vert x_｛i｝\vert）），&&vert x_｛i｝\vert>\frac｛\sqrt[3]｛54｝｝｛4｝\mu ^｛\frac｛2｝｛3｝｝｝，\\0，&&text｛otherwise｝，\ end｛cases｝$$

带有\（\varphi（x）=\arccos（\frac{\mu}{8}（\frac{x{i}}{3}）^{-\frac}{3{2}}）.

为了简单起见，我们表示算法(39)和(40)分别由SRADMM和HRADMM负责。下面给出了数值实验中相关参数的选择。我们现在进行了一个实验来验证非凸RADMM的收敛性，并通过比较HRADMM和SRADMM的性能来揭示其在稀疏性诱导和效率方面的优势。在实验中，\（m=511）,\（n=512），矩阵\（D\在R^｛511｝乘以512｝中）通过将矩阵与服从正态分布的随机生成的条目合并得到\（\mathcal{N}（0,1）\），噪声矢量\（\varepsilon\sim\mathcal{N}（0,1）\），恢复向量\（r=Dx^{0}+\varepsilon\），正则化参数为\（伽马=0.0015）,\（β=0.8）,\（α=2.5）.

实验结果如图所示1，其中通过均方误差测量恢复精度：

$$\begin{aligned}和\operatorname{MSE}\bigl（\bigl\Vert x^{*}-x^{k}\bigr\Vert\bigr）=\frac{1}{n}\bigl\Vert x ^{*{-x^}\biger\Vert，\\&\operator name{MSE}\bigle（\bigl\Verty^{**}-y^{k{\bigr Vert\biger）=\frac{1{n}\ bigl \垂直^{*}-y^{k}\较大\垂直，\结束{对齐}$$

其中\（（x^{*}，y^{*{）=（0,0）\）是问题的最佳解决方案(37)和(38)分别是。

图1

HRADMM和SRADMM的性能比较

在Matlab R2014a上执行编程，运行该程序的计算机配置如下：Windows 7系统，Inter（R）Core（TM）i7-4790 CPU 3.60 GHz，4GB内存。数值结果表明，该算法(7)高效稳定。如图所示1，两个序列\（x^{k}\）和\（y^{k}\）非常接近真正的解决方案。也就是说，收敛是合理的。很容易看出，HRADMM比SRADMM收敛得更快。

5结论与展望

本文针对一类非凸问题，提出了一种正则交替方向乘法器方法。首先，分析了算法的全局收敛性。其次，在增广拉格朗日函数的条件下\（\数学{左}_{\beta}（\cdot）\）满足Kurdyka–Łojasiewicz性质，分析了算法的强收敛性。最后，通过数值实验验证了算法的有效性。