×
陈天一；Frank E.柯蒂斯。；丹尼尔·罗宾逊。

一种最小化（ell_1）正则凸函数的缩减空间算法。 （英语） Zbl 1369.90103号

SIAM J.Optim公司。 27，第3期，1583-1610（2017）.
摘要：我们提出了一种最小化可微凸函数和（ell_1）范数正则化子之和的新方法。新方法的主要特点包括：（i）一组与变量相对应的进化指数，这些变量在解（即支持度）处被预测为非零；（ii）根据预测支持度定义的缩减空间子问题；（iii）确定每个子问题必须求解的准确度的条件，允许使用牛顿、线性共轭梯度和坐标衰减技术；（iv）确定何时更新预测支护的计算实际条件；以及（v）减少的近端梯度步长，确保在决定将变量添加到预测支持时，目标函数有足够的减少。我们证明了该方法的收敛性保证，并证明了其在一组大型模型预测问题上的有效性。

引用于10文件

MSC公司：

90C06型 数学规划中的大尺度问题
90C25型 凸面编程
90立方 非线性规划
90 C55 连续二次规划型方法
90 C90 数学规划的应用
第49页第52页 非平滑分析
49立方米 基于非线性规划的数值方法
62M20型 随机过程推断和预测
65千5 数值数学规划方法

关键词：

非线性优化；凸优化；稀疏优化；活动集方法；缩减空间方法；子空间最小化；模型预测

软件：

配置文件_QP；LBFGS-B型；晶体管；GPDT公司
PDF格式BibTeX公司 XML格式引用
\textit{T.Chen}等人，SIAM J.Optim。27，第3号，1583-1610（2017；Zbl 1369.90103）
全文： 内政部 arXiv公司

参考文献：

[1] G.Andrew和J.Gao，{（l_1）正则化对数线性模型的可伸缩训练}，《第24届机器学习国际会议论文集》，2007年，第33-40页。
[2] A.Beck和M.Teboulle，{线性反问题的快速迭代收缩阈值算法}，SIAM J.成像科学。，2（2009年），第183-202页·Zbl 1175.94009号
[3] R.H.Byrd、G.M.Chin、J.Nocedal和F.Oztoprak，{凸的二阶方法家族\(ℓ_1\）-正则优化}，数学。程序。，159（2016），第435-467页·Zbl 1350.49046号
[4] R.H.Byrd、P.Lu、J.Nocedal和C.Zhu，｛\it一种用于约束优化的有限内存算法｝，SIAM J.Sci。计算。，16（1995年），第1190-1208页·Zbl 0836.65080号
[5] R.H.Byrd、J.Nocedal和F.Oztoprak\(ℓ_1）正则优化}，数学。程序。，157（2016），第375-396页·Zbl 1342.49037号
[6] F.E.Curtis，Z.Han和D.P.Robinson，｛\it大规模凸二次优化的全局收敛原对偶主动集框架｝，Comput。操作。申请。，60（2015年），第311-341页·Zbl 1309.90072号
[7] Z.Dostaíl，{\it带比例和投影的箱约束二次规划}，SIAM J.Optim。，7（1997），第871-887页·Zbl 0912.65052号
[8] Z.Dostaíl，{\it一种基于比例的有界约束二次规划算法}，Numer的收敛速度。《算法》，34（2003），第293-302页·Zbl 1037.65061号
[9] Z.Dostaíl和J.Schoberl，{最小化二次函数受收敛速度和有限终止约束}，计算。操作。申请。，30（2005），第23-43页·Zbl 1071.65085号
[10] E.Elhamifar和R.Vidal，{稀疏子空间聚类}，IEEE计算机视觉和模式识别会议，IEEE，2009年，第2790-2797页。
[11] A.Friedlander，J.M.Martiínez，and M.Raydon，{大型箱约束凸二次极小化问题的一种新方法}，Optim。方法。软质。，5（1995），第57-74页。
[12] A.Friedlander和J.M.Martiínez，{\it关于边界约束优化问题的数值解}，Revue française d'automatique，d'informatique et de recherche opeñrationnelle。里奇。操作。，23（1989），第319-341页·Zbl 0683.90073号
[13] A.Friedlander和J.M.Martinez，{关于带方框约束的凹二次函数的最大化}，SIAM J.Optim。，4（1994），第177-192页·Zbl 0801.65058号
[14] M.D.Gonzalez-Lima、W.W.Hager和H.Zhang，{连续背包约束的仿射尺度内点方法}，SIAM J.Optim。，21（2011），第361-390页·Zbl 1218.90114号
[15] W.W.Hager和H.Zhang，{\it.箱约束优化的一种新的主动集算法}，SIAM J.Optim。，17（2006年），第526-557页·Zbl 1165.90570号
[16] C.-J.Hsieh、I.S.Dhillon、P.K.Ravikumar和M.A.Sustik，{使用二次近似的稀疏逆协方差矩阵估计}，《神经信息处理系统的进展》，2011年，第2330-2338页。
[17] T.Joachims，《使大规模支持向量机学习实用化》，《内核方法的进展：支持向量机》，1999年。
[18] N.Keskar，J.Nocedal，F.O¨ztoprak和A.Wa¨chter，{利用活动集预测进行凸1-正则优化的二阶方法}，Optim。方法。软质。，31（2016），第605-621页·Zbl 1341.49039号
[19] M.Ko，J.Zowe，et al.，{线性互补问题的迭代两步算法}，Numer。数学。，68（1994），第95-106页·Zbl 0820.65033号
[20] J.Lee、Y.Sun和M.Saunders，《神经信息处理系统进展》，2012年，第836-844页。
[21] C.-J.Lin和J.J.More∏，{大型有界约束优化问题的牛顿方法}，SIAM J.Opti。，9（1999），第1100-127页·Zbl 0957.65064号
[22] H.Mohy ud Din和D.P.Robinson，｛\it非凸界约束二次优化的求解器｝，SIAM J.Optim。，25（2015），第2385-2407页·Zbl 1330.49029号
[23] J.J.Moré和G.Toraldo，关于有界约束的大二次规划问题的解，SIAM J.Optim。，1（1991），第93-113页·Zbl 0752.90053号
[24] D.P.Robinson、L.Feng、J.M.Nocedal和J.-S.Pang，{不对称和对称线性互补问题的子空间加速矩阵分裂算法}，SIAM J.Optim。，23（2013），第1371-1397页·Zbl 1291.49023号
[25] K.Scheinberg和X.Tang，{具有全局复杂性分析的实用不精确近似拟牛顿方法}，预印本（2013）·Zbl 1366.90166号
[26] T.Serafini、G.Zanghirati和L.Zanni，《二次规划的梯度投影方法及其在训练支持向量机中的应用》，Optim。方法。软质。，20（2005），第353-378页·Zbl 1072.90026号
[27] T.Serafini和L.Zanni，{关于支持向量机基于梯度投影的分解技术中的工作集选择}，Optim。方法。软质。，20（2005），第583-596页·兹比尔1116.90115
[28] H.M.ud Din和D.P.Robinson，{非凸有界约束二次优化求解器}，SIAM J.Optim。，25（2015），第2385-2407页·Zbl 1330.49029号
[29] S.J.Wright、R.D.Nowak和M.A.Figueiredo，{可分离近似稀疏重建}，IEEE Trans。信号处理。，57（2009），第2479-2493页·Zbl 1391.94442号
[30] C.Yang、D.P.Robinson和R.Vidal，{缺失项的稀疏子空间聚类}，《机器学习国际会议》，2015年，第2463-2472页。
[31] C.You、C.-G.Li、D.P.Robinson和R.Vidal，《可伸缩弹性网子空间聚类的基于Oracle的主动集算法》，IEEE计算机视觉和模式识别会议，2016年。
[32] C.You、D.P.Robinson和R.Vidal，{基于正交匹配追踪的稀疏子空间聚类}，IEEE计算机视觉和模式识别会议，2016年。
[33] G.-X.Yuan，C.-H.Ho，和C.-J.Lin，{it-An improved glmnet for l（1）regulated logistic regression回归}，J.Mach。学习。Res.，13（2012），第1999-30页·Zbl 1432.68404号
[34] L.Zanni，{一种改进的基于梯度投影的支持向量机分解技术}，计算。管理。科学。，3（2006年），第131-145页·Zbl 1163.90693号
[35] L.Zanni、T.Serafini和G.Zanghirati，《在多处理器系统上训练大规模支持向量机的并行软件》，J.Mach。学习。Res.，7（2006），第1467-1492页·Zbl 1222.68341号
[36] Q.Zhu、E.Izumchenko、A.M.Aliper、E.Makarev、K.Paz、A.A.Buzdin、A.A.Zhavoronkov和D.Sidransky，{通路激活强度是一种新的独立预测结直肠癌患者对西妥昔单抗敏感性的生物标记物}，《人类基因变异》，2（2015）。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。