×
文波;陈晓军;彭廷基

带外推的近似凸差分算法。 （英语） Zbl 1401.90175号

计算。最佳方案。申请。 69，编号：297-324（2018）.
摘要：我们考虑了一类目标是水平边界的差分凸优化问题，其目标是具有Lipschitz梯度的光滑凸函数、适当的闭凸函数和连续凹函数的和。而这类问题可以用经典的微分凸算法（DCA）来解决[潘丁涛和Le Thi Hoai An先生《数学学报》。越南。22，第1期，289–355（1997年；Zbl 0895.90152号)]，该算法子问题的难度很大程度上取决于DC分解的选择。通过使用中描述的特定DC分解，可以获得更简单的子问题[P.D.陶和Le Thi Hoai An先生，SIAM J.Optim。8，第2期，476–505（1998年；Zbl 0913.65054号)]. 这种分解已经在许多工作中提出，例如[J.-y.Gotoh先生等，数学。程序。169，第1（B）号，141-176（2018年；兹伯利06869181)]，我们将生成的DCA称为近端DCA。虽然子问题更简单，但当目标的凹部无效时，近端DCA与近端梯度算法相同，因此在实践中可能速度较慢。本文基于在凸环境中加速近似梯度算法的外推技术，考虑了一种带外推的近似凸差分算法，以可能加速近似DCA。我们表明，对于外推参数的一般选择，由我们的算法生成的序列的任何簇点都是DC优化问题的一个稳定点：特别是，参数可以像FISTA中的固定重启那样选择[B.奥多诺休和E.坎迪斯，找到。计算。数学。第15期，第3期，715–732页（2015年；Zbl 1320.90061号)]. 此外，通过假设目标的Kurdyka-Łojasiewicz性质和凹部分的可微性，我们建立了由我们的算法生成的序列的全局收敛性，并分析了其收敛速度。我们在两个差分凸正则化最小二乘模型上的数值实验表明，我们的算法通常优于最近邻DCA和在[P.龚等，“非凸正则优化问题的通用迭代收缩和阈值算法”，载于：ICML（2013）]。

引用于三评论
引用于61文件

MSC公司：

90C26型 非凸规划，全局优化
90立方 非线性规划
65千5 数值数学规划方法

关键词：

凸微分问题;非凸;非光滑的;外推;Kurdyka-Łojasiewicz不等式

引文：

Zbl 0895.90152号;Zbl 0913.65054号;Zbl 06869181号;Zbl 1320.90061号

软件：

取消锁定BoX;TFOCS公司
PDF格式BibTeX公司 XML格式引用
\textit｛B.Wen｝等人，计算机。最佳方案。申请。69，第2号，297--324（2018；Zbl 1401.90175）
全文： 内政部 arXiv公司 链接

参考文献：

[1] Ahn，M.，Pang，J.S.，Xin，J.：凸学习的差异：方向平稳性、最优性和稀疏性。SIAM J.Optim公司。27, 1637-1665 (2017) ·Zbl 1369.90130号
[2] Alvarado，A.，Scutari，G.，Pang，J.S.：多用户DC编程的一种新分解方法及其应用。IEEE传输。信号处理。62, 2984-2998 (2014) ·Zbl 1393.90091号 ·doi:10.1109/TSP.2014.2315167
[3] Attouch，H.，Bolt，J.：关于涉及分析特征的非光滑函数的近似算法的收敛性。数学。程序。序列号。B 116，5-16（2009）·兹比尔1165.90018 ·文件编号：10.1007/s10107-007-0133-5
[4] Attouch，H.，Bolt，J.，Redont，P.，Soubeyran，A.：非凸问题的近似交替最小化和投影方法：基于Kurdyka-Łojasiewicz不等式的方法。数学。操作。第35号决议，第438-457号决议（2010年）·Zbl 1214.65036号 ·doi:10.1287/门.1100.0449
[5] Attouch，H.，Bolt，J.，Svaiter，B.F.：半代数和驯化问题下降方法的收敛性：近似算法，前向-后向分裂和正则高斯-赛德尔方法。数学。程序。序列号。A 137，91-129（2013）·Zbl 1260.49048号 ·doi:10.1007/s10107-011-0484-9
[6] Banert，S.，Boţ，R.I.：用于直流编程的通用双近似梯度算法。arXiv预打印arXiv:1610.06538v1·Zbl 1423.90195号
[7] Beck，A.，Teboulle，M.：线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2, 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[8] Becker，S.、CandèS，E.J.、Grant，M.C.：凸锥问题的模板及其在稀疏信号恢复中的应用。数学。程序。计算。3, 165-218 (2011) ·兹比尔1257.90042 ·doi:10.1007/s12532-011-0029-5
[9] Bian，W.，Chen，X.：带非凸正则化约束优化问题的最优性和复杂性。数学。操作。Res.（2017）。doi:10.1287/门.2016.0837·Zbl 1386.90167号
[10] Bolt，J.，Danilidis，A.，Lewis，A.：非光滑子分析函数的Łojasiewicz不等式及其在次梯度动力系统中的应用。SIAM J.Optim公司。17, 1205-1223 (2007) ·Zbl 1129.26012号 ·doi:10.1137/050644641
[11] Bolt，J.，Sabach，S.，Teboulle，M.：非凸和非光滑问题的近似交替线性化最小化。数学。程序。序列号。A 146，459-494（2014）·Zbl 1297.90125号 ·doi:10.1007/s10107-013-0701-9
[12] Candès，E.J.，Wakin，M.，Boyd，s.：通过重新加权\[\ell_1\]У1最小化增强稀疏性。J.傅里叶分析。申请。14877-905（2008年）·Zbl 1176.94014号 ·doi:10.1007/s00041-008-9045-x
[13] Chen，X.，Lu，Z.，Pong，T.K.：一类非Lipschitz优化问题的惩罚方法。SIAM J.Optim公司。26, 1465-1492 (2016) ·Zbl 1342.90181号 ·doi:10.1137/15M1028054
[14] Combettes，P.L.，Pesquet，J.-C.：信号处理中的近距离分裂方法。定点算法逆问题。科学。工程49，185-212（2011）·Zbl 1242.90160号 ·doi:10.1007/978-1-4419-9569-810
[15] Fan，J.，Li，R.：通过非冲突惩罚似然及其预言属性进行变量选择。《美国统计协会期刊》96，1348-1360（2001）·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[16] Gong，P.，Zhang，C.，Lu，Z.，Huang，J.，Ye，J.:非凸正则优化问题的通用迭代收缩和阈值算法。In:ICML（2013）·Zbl 1320.90061号
[17] Gotoh，J.、Takeda，A.、Tono，K.：稀疏优化问题的DC公式和算法。数学。程序。序列号。B.（2017年）。doi:10.1007/s10107-017-1181-0·Zbl 06869181号
[18] Le Thi，H.A.，Pham，D.T.：用现实世界非凸优化问题的DC模型重新审视了DC（凸函数的差分）编程和DCA。安·Oper。第133、23-46号决议（2005年）·Zbl 1116.90122号 ·doi:10.1007/s10479-004-5022-1
[19] Le Thi，H.A.，Pham，D.T.，Le，D.M.：哥伦比亚特区编程中的精确惩罚。越南J.数学。27, 169-178 (1999) ·Zbl 1006.90062号
[20] Le Thi，H.A.，Pham，D.T.，Huynh，V.N.：DC编程中的精确惩罚和错误界限。J.全球。最佳方案。52, 509-535 (2012) ·Zbl 1242.49037号 ·doi:10.1007/s10898-011-9765-3
[21] Li，G.，Pong，T.K.：Kurdyka-Łojasiewicz不等式的指数演算及其在一阶方法线性收敛中的应用。找到。计算。数学。(2017). doi:10.1007/s10208-017-9366-8·兹比尔1405.90076
[22] Liu，T.，Pong，T.K.：前向背向包络的进一步性质及其在差分凸规划中的应用。计算。最佳方案。申请。67, 489-520 (2017) ·Zbl 1400.90279号 ·doi:10.1007/s10589-017-9900-2
[23] Nesterov，Y.：一种求解收敛速度为[O（frac{1}{k^2}）O]（1k2）的凸规划问题的方法。苏联。数学。多克。27, 372-376 (1983) ·Zbl 0535.90071号
[24] Nesterov，Y.：凸优化入门讲座：基础课程。Kluwer学术出版社，波士顿（2004）·Zbl 1086.90045号 ·doi:10.1007/978-1-4419-8853-9
[25] Nesterov，Y.：对偶外推及其在求解变分不等式和相关问题中的应用。数学。程序。序列号。B 109、319-344（2007）·Zbl 1167.90014号 ·doi:10.1007/s10107-006-0034-z
[26] Nesterov，Y.：最小化复合函数的梯度方法。数学。程序。序列号。B 140125-161（2013）·兹比尔1287.90067 ·doi:10.1007/s10107-012-0629-5
[27] O'Donoghue，B.，Candès，E.J.：加速梯度方案的自适应重启。找到。计算。数学。2015年7月15日至732日·Zbl 1320.90061号 ·doi:10.1007/s10208-013-9150-3
[28] Pham，D.T.，Le Thi，H.A.：D.C.编程的凸分析方法：理论、算法和应用。数学学报。越南。22, 289-355 (1997) ·Zbl 0895.90152号
[29] Pham，D.T.，Le Thi，H.A.：解决信任区域子问题的D.C.优化算法。SIAM J.Optim公司。8, 476-505 (1998) ·Zbl 0913.65054号 ·doi:10.1137/S1052623494274313
[30] Polyak，B.T.：加速迭代方法收敛的一些方法。苏联计算。数学。数学。物理学。4, 1-17 (1964) ·Zbl 0147.35301号 ·doi:10.1016/0041-5553（64）90137-5
[31] Rockafellar，R.T.，Wets，R.J.-B.：变分分析。柏林施普林格（1998）·兹比尔0888.49001 ·doi:10.1007/978-3-642-02431-3
[32] Sanjabi，M.，Razaviyayn，M..，Luo，Z.-Q.：异构网络的最佳联合基站分配和波束形成。IEEE传输。信号处理。62, 1950-1961 (2014) ·Zbl 1394.94499号 ·doi:10.1109/TSP.2014.2303946
[33] Tuy，H.：凸分析与全局优化，第2版。柏林施普林格出版社（2016）·Zbl 1362.90001号 ·doi:10.1007/978-3-319-31484-6
[34] Wright，S.J.，Nowak，R.，Figueiredo，M.A.T.：通过可分离近似进行稀疏重建。IEEE传输。信号处理。57, 2479-2493 (2009) ·Zbl 1391.94442号 ·doi:10.1109/TSP.2009.2016892
[35] Yin，P.，Lou，Y.，He，Q.，Xin，J.：压缩传感的\[\ell_{1-2}\]У1-2最小化。SIAM J.科学。计算。37，A536-A563（2015）·Zbl 1316.90037号 ·数字对象标识代码：10.1137/140952363
[36] Zhang，C.：极小极大凹罚下的几乎无偏变量选择。Ann.Stat.38，894-942（2010年）·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
[37] Zhang，S.，Xin，J.：变换后L1惩罚的最小化：理论、凸函数算法的差异以及在压缩感知中的稳健应用。arXiv预印本arXiv:11411.5735v3·Zbl 1386.94049号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。