×

关于有效解决融合套索问题的水平集方法的子问题。 (英语) Zbl 1401.90145号

总结:在应用于[E.范登伯格M.P.弗里德兰德,SIAM J.科学。计算。31,第2期,890–912页(2008年;Zbl 1193.49033号)]和[E.范登伯格M.P.弗里德兰德,SIAM J.Optim。21,第4期,1201–1229(2011年;Zbl 1242.49061号)]要解决融合lasso问题,需要求解一系列正则化最小二乘子问题。为了使水平集方法实用,我们开发了一种高效的非精确半光滑牛顿增广拉格朗日方法来求解这些子问题。我们方法的效率基于构成本文主要贡献的几个要素。首先,导出了构造融合拉索正则化子近端映射的广义雅可比矩阵的显式公式。其次,为了半光滑牛顿方法的有效实现,仔细提取并分析了广义雅可比的特殊结构。最后,在实际数据集上给出了数值结果,包括我们的方法与几种最先进的求解器的比较,以证明我们提出的算法在解决具有挑战性的大规模融合套索问题时的高效性和鲁棒性。

MSC公司:

90C20个 二次规划
90C22型 半定规划
90C06型 数学规划中的大尺度问题
90C25型 凸面编程
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] A.Y.Aravkin、J.V.Burke、D.Drusvyatskiy、M.P.Friedlander和S.Roy,凸优化的水平集方法,预印本,2016年。
[2] Aλ。Barbero和S.Sra,多维全变分正则化的模块逼近优化,预印本,2014年。
[3] A.Beck和M.Teboulle,线性反问题的快速迭代收缩阈值算法,SIAM J.成像科学。,2(2009年),第183-202页·Zbl 1175.94009号
[4] M.S.Bazaraa、H.D.Sherali和C.M.Shetty,非线性规划:理论与算法《威利父子》,纽约,1993年·Zbl 0774.90075号
[5] V.Chandrasekaran、B.Recht、P.A.Parrilo和A.S.Willsky,线性反问题的凸几何,找到。计算。数学。,12(2012),第805-849页·Zbl 1280.52008年
[6] C.-C.Chang和C.-J.Lin,LIBSVM:支持向量机库,ACM变速器。智能系统。技术,2(2011),27。
[7] L.Chen、D.F.Sun和K.-C.Toh,基于非精确对称高斯-赛德尔优化ADMM的高维凸组合锥规划,数学。程序。,161(2017),第237–270页·Zbl 1356.90105号
[8] F.H.克拉克,优化和非光滑分析《威利父子》,纽约,1983年·Zbl 0582.49001号
[9] L.康达特,一种直接的一维全变分去噪算法,IEEE信号处理。莱特。,20(2013年),第1054–1057页。
[10] Y.Cui、D.F.Sun和K.-C.Toh,凸复合锥规划增广拉格朗日方法生成的KKT残差的R-超线性收敛性,数学。程序。,将于2018年上市。
[11] P.L.Davies和A.Kovac,局部极值、运行、字符串和多分辨率,安.统计师。,29(2001),第1-48页·Zbl 1029.62038号
[12] F.Facchinei和J.-S.Pang,有限维变分不等式与互补问题,Springer,纽约,2003年·Zbl 1062.90002号
[13] M.P.Friedlander、I.Macêdo和T.K.Pong,轨距优化和对偶性、SIAM J.Optim.、。,24(2014),第1999-2022页·Zbl 1333.90083号
[14] J.Friedman、T.Hastie、H.Hoöfling和R.Tibshirani,路径坐标优化,Ann.应用。统计人员。,1(2007年),第302-332页·兹比尔1378.90064
[15] D.Gabay和B.Mercier,有限元逼近求解非线性变分问题的对偶算法,计算。数学。申请。,2(1976),第17-40页·Zbl 0352.65034号
[16] R.Glowinski和A.Marroco,Sur l’a近似,par eleíments finis d’ordre un,et la reísolution,par pe⁄nalisation-duale⁄d’une classe de problèmes de Dirichlet non-lineñaires,Revue Française Automat。通知。Recherche Ope⁄rationnelle公司。塞拉。《胭脂分析》。努姆河。,9(1975年),第41-76页·Zbl 0368.65053号
[17] G.H.Golub和C.F.Van Loan,矩阵计算第四版,约翰霍普金斯大学数学研究生。科学。,约翰·霍普金斯大学出版社,马里兰州巴尔的摩,2013年·Zbl 1268.65037号
[18] J.Han和D.F.Sun,多面体集法线映射的牛顿和拟牛顿方法,J.Optim。理论应用。,94(1997),第659-676页·Zbl 0892.90164号
[19] N.A.约翰逊,融合套索和(l_0)分割的动态规划算法,J.计算。图解的。统计人员。,22(2013),第246–260页。
[20] B.库姆,不可微函数的牛顿法高级数学。最佳。,45(1988年),第114-125页·Zbl 0662.65050号
[21] X.D.Li、D.F.Sun和K.-C.Toh,求解套索问题的高效半光滑牛顿增广拉格朗日方法、SIAM J.Optim.、。,28(2018),第433-458页·Zbl 1392.65062号
[22] X.D.Li、D.F.Sun和K.-C.Toh,关于Birkhoff多面体上投影的广义Jacobian的有效计算,预印本,2017年。
[23] J.Liu、S.Ji和J.Ye,SLEP:稀疏学习与有效投影,亚利桑那州立大学,亚利桑那州凤凰城,2009年。
[24] J.Liu、L.Yuan和J.Ye,一类融合套索问题的有效算法,载于第16届ACM SIGKDD知识发现和数据挖掘国际会议论文集,ACM,纽约,2010年,第323–332页。
[25] F.J.Luque,近点算法的渐近收敛性分析SIAM J.控制优化。,22(1984年),第277-293页·兹伯利0533.49028
[26] R.米夫林,约束优化中的半光滑和半凸函数SIAM J.控制优化。,15(1977年),第959–972页·Zbl 0376.90081号
[27] Y.内斯特罗夫,一个收敛速度为(O(1/k^2)的凸规划问题的求解方法,苏联数学。道克。,27(1983年),第372-376页·Zbl 0535.90071号
[28] A.B.Owen,套索回归和岭回归的稳健混合,内容。数学。,443(2007),第59-72页·Zbl 1134.62047号
[29] J.-S.Pang和L.Qi,凸SC1极小化问题的全局收敛牛顿法,J.Optim。理论应用。,85(1995),第633-648页·Zbl 0831.90095号
[30] J.-S.Pang和D.Ralph,法线映射的分段光滑性、局部可逆性和参数分析,数学。操作。研究,21(1996),第401-426页·Zbl 0857.90122号
[31] F.A.Potra、L.Qi和D.F.Sun,半光滑方程的割线方法,数字。数学。,80(1998),第305-324页·Zbl 0914.65051号
[32] N.Pustelnik和L.Condat,函数和的邻近算子;深度图估计的应用IEEE信号处理。莱特。,24(2017),第1827-1831页。
[33] L.Qi和J.Sun,牛顿方法的非光滑版本,数学。程序。,58(1993),第353–367页·Zbl 0780.90090号
[34] S.M.Robinson,单调仿射变分不等式解的连续性、SIAM J.Optim.、。,18(2007),第1046–1060页·兹比尔1143.49015
[35] R.T.Rockafellar,凸分析,普林斯顿大学出版社,新泽西州普林斯顿,1970年·Zbl 0193.18401号
[36] R.T.Rockafellar,增广拉格朗日函数及其近点算法在凸规划中的应用,数学。操作。Res.,1(1976),第97-116页·Zbl 0402.90076号
[37] R.T.Rockafellar,单调算子和近点算法SIAM J.控制优化。,14(1976年),第877–898页·Zbl 0358.90053号
[38] R.T.Rockafellar和R.J.-B.Wets,变分分析,施普林格,纽约,2009年·Zbl 0888.49001号
[39] A.夏皮罗,关于方向可微性的概念,J.Optim。理论应用。,66(1990年),第477-487页·Zbl 0682.49015号
[40] D.F.Sun和J.Sun,半光滑矩阵值函数,数学。操作。研究,27(2002),第150–169页·Zbl 1082.49501号
[41] D.F.Sun,非线性半定规划的强二阶充分条件和约束非退化性及其启示,数学。操作。研究,31(2006),第761-776页·Zbl 1278.90304号
[42] R.Tibshirani、M.Saunders、S.Rosset、J.Zhu和K.Knight,通过融合套索实现轻盈流畅,J.R.Stat.Soc.Ser.,《美国国家统计年鉴》。B统计方法。,67(2005),第91–108页·Zbl 1060.62049号
[43] E.Van den Berg和M.P.Friedlander,探索基追踪解的帕累托边界,SIAM J.科学。计算。,31(2008),第890–912页·Zbl 1193.49033号
[44] E.Van den Berg和M.P.Friedlander,最小二乘约束稀疏优化、SIAM J.Optim.、。,21(2011),第1201–1229页·兹比尔1242.49061
[45] Y.Yu,关于近端映射的分解《神经信息处理系统进展》,NIPS,加利福尼亚州拉荷亚,2013年,第91–99页。
[46] X.Zhang、M.Burger和S.Osher,基于Bregman迭代的统一原对偶算法框架,《科学杂志》。计算。,46(2011年),第20-46页·Zbl 1227.65052号
[47] 赵X.-Y、孙D.F.和Toh K.-C,半定规划的Newton-CG增广拉格朗日方法、SIAM J.Optim.、。,20(2010年),第1737-1765页·兹伯利1213.90175
[48] H.Zou和T.Hastie,通过弹性网进行正则化和变量选择,J.R.Stat.Soc.Ser.,《美国国家统计年鉴》。B统计方法。,67(2005),第301-320页·Zbl 1069.62054号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。