×
刘亚峰；马世谦；戴玉红；张树忠

多面体上一类复合（L_q）极小化的光滑SQP框架。 （英语） Zbl 1346.90684号

数学。程序。 158，第1-2（A）号，467-500（2016）.
摘要：一般多面体上的复合（L_q）（（0<q<1））最小化问题在机器学习、无线通信、图像恢复、信号重建等方面有着广泛的应用。本文旨在对该问题进行理论研究。首先，我们导出了该问题局部极小值的Karush-Kuhn-Tucker（KKT）最优性条件。其次，我们提出了一个平滑序列二次规划框架来解决这个问题。该框架在每次迭代时都需要一个凸二次规划的（近似）解。最后，我们分析了返回（epsilon）-KKT点的框架的最坏情况迭代复杂性；即，满足导出的KKT最优性条件的扰动版本的可行点。据我们所知，所提出的框架是第一个具有最坏情况迭代复杂性保证的框架，用于解决一般多面体上的复合（L_q）最小化问题。

引用于18文件

MSC公司：

90C26型 非凸规划，全局优化
90立方 非线性规划
90立方厘米 数学规划中的最优性条件和对偶性
65千5 数值数学规划方法

关键词：

复合（L_q）最小化；\（epsilon）-KKT点；非光滑非凸非Lipschitzian优化；最优性条件；平滑近似；最坏情况迭代复杂性

软件：

SPGL1型；质量策划（QP）
PDF格式BibTeX公司 XML格式引用
\textit{Y.-F.Liu}等人，数学。程序。158，编号1--2（A），467--500（2016；Zbl 1346.90684）
全文： DOI程序 arXiv公司

参考文献：

[1] Barzilai，J.，Borwein，J.M.：两点步长梯度法。IMA J.数字。分析。8（1），141-148（1988）·Zbl 0638.65055号
[2] Beck，A.，Teboulle，M.：线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2(1), 183-202 (2009) ·Zbl 1175.94009号
[3] Ben-Tal，A.，Nemirovski，A.：现代凸优化讲座。MPS-SIAM优化系列。SIAM，费城（2001）·Zbl 0986.90032号
[4] Berg，E.V.D.，Friedlander，M.P.：探索帕累托边界的基础追踪解决方案。SIAM J.科学。计算。31(2), 890-912 (2008) ·Zbl 1193.49033号
[5] Bertsekas，D.P.：凸分析与优化。马萨诸塞州雅典娜科学公司（2003）·Zbl 1140.90001号
[6] Bian，W.，Chen，X.：非Lipschitzian优化的平滑二次正则化方法的最坏情况复杂性。SIAM J.Optim公司。23(3), 1718-1741 (2013) ·Zbl 1282.90175号
[7] Bian，W.，Chen，X.：图像恢复中盒约束非Lipschitz优化的平滑二次正则化方法。香港理工大学技术报告（2014）·Zbl 1391.94442号
[8] Bian，W.，Chen，X.，Ye，Y.：非Lipschitz和非凸极小化内点算法的复杂性分析。数学。程序。149(1-2), 301-327 (2015) ·Zbl 1318.90075号
[9] Birbil，S.I.，Fang，S.C.，Frenk，J.B.G.，Zhang，S.：高维极大值函数的递归逼近。操作。Res.Lett公司。33(5), 450-458 (2005) ·兹比尔1195.90079
[10] Birgin，E.G.，Martínez，J.M.，Raydan，M.：凸集上的非单调谱投影梯度方法。SIAM J.Optim公司。10(4), 1196-1211 (2000) ·Zbl 1047.90077号
[11] Boser，B.E.，Guyon，I.，Vapnik，V.：最佳边缘分类器的训练算法。摘自：第五届计算学习理论年度研讨会，第144-152页（1992年）
[12] Bruckstein，A.M.，Donoho，D.L.，Elad，M.：从方程组的稀疏解到信号和图像的稀疏建模。SIAM版本51（1），34-81（2009）·Zbl 1178.68619号
[13] Candès，E.J.，Tao，T.：线性编程解码。IEEE传输。《信息论》51（12），4203-4215（2005）·Zbl 1264.94121号
[14] Candès，E.J.，Wakin，M.B.，Boyd，s.P.：通过重新加权\[\ell_1\]У1最小化增强稀疏性。J.傅立叶分析。申请。14(5), 877-905 (2008) ·Zbl 1176.94014号
[15] Cartis，C.，Gould，N.I.M.，Toint，P.L.：无约束优化的自适应立方正则化方法。第一部分：动机、收敛性和数值结果。数学。程序。127(2), 245-295 (2011) ·Zbl 1229.90192号
[16] Cartis，C.，Gould，N.I.M.，Toint，P.L.：无约束优化的自适应立方正则化方法。第二部分：最坏情况下函数和派生估值的复杂性。数学。程序。130(2), 295-319 (2011) ·Zbl 1229.90193号
[17] Cartis，C.，Gould，N.I.M.，Toint，P.L.：关于复合函数最小化的评估复杂性及其在非凸非线性规划中的应用。SIAM J.Optim公司。21(4), 1721-1739 (2011) ·Zbl 1236.90118号
[18] Chartrand，R.：通过非凸最小化精确重建稀疏信号。IEEE信号处理。莱特。14(10), 707-710 (2007)
[19] Chartrand，R.，Staneva，V.：受限等距特性和非凸压缩传感。反向探测。24(3), 1-14 (2008) ·Zbl 1143.94004号
[20] Chartrand，R.，Yin，W.：压缩传感的迭代重加权算法。在：声学、语音和信号处理内部会议（ICASSP），第3869-3872页（2008）
[21] Chen，X.：非光滑、非凸最小化的平滑方法。数学。程序。134(1), 71-99 (2012) ·Zbl 1266.90145号
[22] Chen，X.，Ge，D.，Wang，Z.，Ye，Y.：无约束\[l_2\]l\[2-l_p\]lp最小化的复杂性。数学。程序。143(1-2), 371-383 (2014) ·Zbl 1285.90039号
[23] Chen，X.，Ng，M.K.，Zhang，C.：图像恢复的非Lipschitz\[l_{{p}}\]lp正则化和盒约束模型。IEEE传输。图像处理。21（12），4709-4721（2012）·Zbl 1373.94080号
[24] Chen，X.，Niu，L.，Yuan，Y.：非Lipschitz优化的最优性条件和光滑信赖域牛顿法。SIAM J.Optim公司。23(3), 1528-1552 (2013) ·Zbl 1291.90238号
[25] Chen，X.，Xu，F.，Ye，Y.：\[\ell_2\]▽\[2-\ell_p\]Уp最小化解中非零项的下限理论。SIAM J.科学。计算。32(5), 2832-2852 (2010) ·Zbl 1242.90174号
[26] Chen，X.，Zhou，W.：使用非光滑非凸最小化平滑非线性共轭梯度法进行图像恢复。SIAM J.成像科学。3(4), 765-790 (2010) ·Zbl 1200.65031号
[27] Clarke，F.H.：优化和非光滑分析。约翰·威利，纽约（1983）·Zbl 0582.49001号
[28] Cortes，C.，Vapnik，V.：支持向量网络。机器。学习。20(3), 273-297 (1995) ·Zbl 0831.68098号
[29] Dai，Y.H.，Liao，L.Z.：Barzilai和Borwein梯度法的R-线性收敛性。IMA J.数字。分析。22(1), 1-10 (2002) ·Zbl 1002.65069号
[30] Daubechies，I.、DeVore，R.、Fornasier，M.、Güntürk，C.S.：稀疏恢复的迭代加权最小二乘最小化。Commun公司。纯应用程序。数学。63(1), 1-38 (2010) ·兹比尔1202.65046
[31] Fan，J.，Li，R.：通过非冲突惩罚似然及其预言属性进行变量选择。《美国统计协会杂志》96（456），1348-1359（2001）·Zbl 1073.62547号
[32] Foucart，S.，Lai，M.J.：基于[0<q\le 10\]<q≤1的欠定线性系统的最稀疏解。申请。计算。哈蒙。分析。26(3), 395-407 (2009) ·Zbl 1171.90014号
[33] Foucart，S.、Rauhut，H.：压缩传感的数学导论。施普林格，纽约（2013）·Zbl 1315.94002号
[34] Garey，M.R.，Johnson，D.S.：《计算机与难治性：NP-完备性理论指南》。W.H.Freeman，纽约（1979）·Zbl 0411.68039号
[35] Garmanjani，R.，Vicente，L.：非光滑优化中直接搜索方法的平滑和最坏情况复杂性。IMA J.数字。分析。33(3), 1008-1028 (2013) ·兹比尔1272.65050
[36] Ge，D.，Jiang，X.，Ye，Y.：关于lp最小化复杂性的注记。数学。程序。129(2), 285-299 (2011) ·Zbl 1226.90076号
[37] Ghadimi，S.，Lan，G.：非凸非线性随机规划的加速梯度法。数学。项目。(2015). doi:10.1007/s10107-015-0871-8·Zbl 1335.62121号
[38] Gould，N.I.M.，Toint，P.L.：二次规划的预处理。数学。程序。100（1），95-132（2004）·Zbl 1146.90491号
[39] Hale，E.T.，Yin，W.，Zhang，Y.：应用于压缩感知的定点延拓：实现和数值实验。J.计算。数学。28(2), 170-194 (2010) ·Zbl 1224.65153号
[40] Huang，J.，Ma，S.，Xie，H.，Zhang，C.H.：变量选择的群桥方法。生物特征96（2），339-355（2009）·Zbl 1163.62050
[41] Ji，S.，Sze，K.F.，Zhou，Z.，So，A.M.C.，Ye，Y.：超越凸松弛：网络定位的多项式时间非凸优化方法。摘自：IEEE计算机通信会议（INFOCOM），第2499-2507页（2013）·Zbl 1079.90102号
[42] Jiang，B.，Dai，Y.H.：用于stiefel流形优化的约束保持更新方案框架。数学。程序。(2015). doi:10.1007/s10107-014-0816-7·Zbl 1325.49037号
[43] Jiang，B.，Zhang，S.：寻找结构非凸优化\[\epsilon\]\-平稳点的迭代界。明尼苏达大学技术报告（2014）·Zbl 1220.65051号
[44] Lai，M.J.，Wang，J.：欠定线性系统稀疏解具有[0<q\le 10\]<q≤1的无约束[\ell_q\]Уq最小化。SIAM J.Optim公司。21(1), 82-101 (2011) ·Zbl 1220.65051号
[45] Lai，M.J.，Xu，Y.，Yin，W.：无约束光滑lq最小化的改进迭代加权最小二乘法。SIAM J.数字。分析。51(2), 927-957 (2013) ·Zbl 1268.49038号
[46] Liu，Y.F.，Dai，Y.H.，Luo，Z.Q.：通过线性规划通缩实现联合权力和准入控制。IEEE传输。信号处理。61(6), 1327-1338 (2013) ·Zbl 1393.94054号
[47] Liu，Y.F.，Dai，Y.H.，Ma，S.：联合功率和准入控制：非凸lq近似和有效的多项式时间收缩方法。IEEE传输。信号处理。63(14), 3641-3656 (2015) ·Zbl 1394.94340号
[48] Lu，Z.：lp正则无约束非线性规划的迭代重加权极小化方法。数学。程序。147(1-2), 277-307 (2014) ·兹比尔1308.90170
[49] Mitliagkas，I.，Sidiropoulos，N.D.，Swami，A.：自组织和认知底层网络的联合功率和准入控制：凸近似和分布式实现。IEEE传输。无线通信。10(12), 4110-4121 (2011)
[50] Mourad，N.，Reilly，J.P.：稀疏向量重建中最小化非凸函数。IEEE传输。信号处理。58(7), 3485-3496 (2010) ·Zbl 1391.90492号
[51] Nesterov，Y.：一种求解收敛速度为\[\text｛O｝（1/k^2）O\]（1/k2）的凸规划问题的方法。苏联。数学。多克。27（2），372-376（1983）·Zbl 0535.90071号
[52] Nesterov，Y.：非光滑函数的平滑最小化。数学。程序。103(1), 127-152 (2005) ·Zbl 1079.90102号
[53] Nikolova，M.，Ng，M.K.，Zhang，S.，Ching，W.K.：使用非光滑非凸最小化高效重建分段常量图像。SIAM J.成像科学。1(1), 2-25 (2008) ·Zbl 1207.94017号
[54] Nocedal，J.，Wright，S.J.：《数值优化》，第二版。施普林格，纽约（2006）·Zbl 1104.65059号
[55] Papadimitriou，C.H.：计算复杂性。马萨诸塞州艾迪森·韦斯利（1994）·Zbl 0833.68049号
[56] Rao，B.D.，Kreutz-delgado，K.：最佳基选择的仿射缩放方法。IEEE传输。信号处理。47(1), 187-200 (1999) ·Zbl 0984.94010号
[57] Sun，Q.：通过[\ell_Q\]УQ最小化恢复稀疏信号。申请。计算。哈蒙。分析。32(3), 329-341 (2012) ·Zbl 1266.94017号
[58] 孙伟、袁毅：优化理论与方法：非线性规划。施普林格，纽约（2006）·邮编1129.90002
[59] Vazirani，V.V.：近似算法。施普林格，纽约（2001）·Zbl 0999.68546号
[60] Wagner，M.，Meller，J.，Elber，R.：蛋白质折叠势设计的大尺度线性规划技术。数学。程序。101(2), 301-318 (2004) ·Zbl 1055.92021号
[61] Wright，S.J.、Nowak，R.D.、Figueiredo，M.A.T.：通过可分离近似进行稀疏重建。IEEE传输。信号处理。57(7), 2479-2493 (2009) ·Zbl 1391.94442号
[62] Ye，Y.：内点算法——理论与分析。威利，纽约（1997）·Zbl 0943.90070号
[63] Yun，S.，Toh，K.C.：用于\[l_1\]l1-正则凸极小化的坐标梯度下降法。计算。最佳方案。申请。48（2），273-307（2011）·Zbl 1220.90092号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。