罗,紫嫣;孙德芬;杜金川;秀、奈华 使用基于牛顿的半光滑增广拉格朗日方法求解OSCAR和SLOPE模型。 (英语) Zbl 1434.68430号 J.马赫。学习。物件。 20,第106号论文,第25页(2019年). 摘要:八边形收缩和聚类回归算法(OSCAR)配备了(ell_1)范数和成对(ell_{infty})范量正则化器,是高维数据分析中进行特征选择和分组的有用工具。OSCAR对高维和/或大样本数据提出的计算挑战尚未得到很好的解决,因为所涉及的正则化器是不光滑和不可分离的。本文通过提出一种基于稀疏半光滑牛顿的增广拉格朗日方法来求解更一般的SLOPE(排序L-one惩罚估计)模型,成功地解决了这一数值挑战。通过适当利用增广拉格朗日子问题中半光滑牛顿系统的广义雅可比矩阵固有的稀疏性和低阶性,我们展示了如何大幅降低计算复杂度。我们的算法在高维统计回归设置中具有显著的计算优势。在实际数据集上进行了数值实验,结果表明,我们的算法在速度和鲁棒性方面都远远优于现有的基于一阶迭代格式的最新算法,包括广泛使用的加速近端梯度(APG)方法和交替方向乘法器方法(ADMM)。 引用于9文件 MSC公司: 68T05型 人工智能中的学习和自适应系统 62J05型 线性回归;混合模型 62J07型 岭回归;收缩估计量 关键词:线性回归;奥斯卡;稀疏;增广拉格朗日方法;半光滑牛顿法 软件:HykGene公司 PDF格式BibTeX公司 XML格式引用 \textit{Z.Luo}等人,J.Mach。学习。第20号决议,第106号论文,第25页(2019年;Zbl 1434.68430) 全文: arXiv公司 链接 参考文献: [1] Jean-Pierre Aubin和H´el'ene Frankowska。集值分析。Birkh¨auser,1990年·Zbl 0713.49021号 [2] 理查德·巴洛(Richard E.Barlow)和H.D.Brunk。等张回归问题及其对偶问题。美国统计协会杂志,67(337):140-1471972·Zbl 0236.62050号 [3] 阿米尔·贝克和马克·特布勒。线性反问题的快速迭代收缩阈值算法。SIAM成像科学杂志,2(1):183-2022009·Zbl 1175.94009号 [4] Ma lgorzata Bogdan、Ewout van den Berg、Chiara Sabatti、Weijie Su和Emmanuel J.Cand’es。SLOPE——通过凸优化进行自适应变量选择。《应用统计年鉴》,9(3):1103-1140,2015年·Zbl 1454.62212号 [5] 霍华德·邦德尔(Howard D.Bondell)和布莱恩·雷奇(Brian J.Reich)。OSCAR预测因子的同步回归收缩、变量选择和监督聚类。生物统计学,64(1):115-1232008·Zbl 1146.62051号 [6] 梁晨、孙德芳和金传多。一种高效的基于非精确对称GaussSeidel的优化ADMM,用于高维凸复合锥规划。数学规划,A辑,161(1-2):237-2702017·Zbl 1356.90105号 [7] Scott Shaobing Chen、David L.Donoho和Michael A.Saunders。通过基追踪进行原子分解。SIAM科学计算杂志,20:33-611998·Zbl 0919.94002号 [8] 崔莹、孙德芳和金传多。凸复合锥规划增广拉格朗日方法生成的KKT残差的R-超线性收敛性。数学编程,DOI:10.1007/s10107-018-1300-62018·Zbl 1423.90171号 [9] 玛丽亚姆·法泽尔(Maryam Fazel)、丁基鹏(Ting Kei Pong)、孙德凤(Defeng Sun)和曾荫权(Paul Tseng)。Hankel矩阵秩最小化及其在系统识别和实现中的应用。SIAM矩阵分析与应用杂志,34(3):946-9772013·Zbl 1302.90127号 [10] 马里奥·A·T·菲格雷多、罗伯特·D·诺瓦克和斯蒂芬·J·赖特。稀疏重建的梯度投影:应用于压缩传感和其他反问题。IEEE Jounral,信号处理选定主题,1:586-5972007。 [11] Jerome Friedman、Trevor Hastie、Holger H¨ofling和Robert Tibshirani。路径坐标优化。应用统计年鉴,1(2):302-3322007·Zbl 1378.90064号 [12] Jerome Friedman、Trevor Hastie和Robert Tibshirani。广义线性模型的坐标下降正则化路径。统计软件杂志,33(1):1-222010。 [13] 丹尼尔·加贝(Daniel Gabay)和伯特兰·梅西耶(Bertrand Mercier)。通过有限元近似求解非线性变分问题的对偶算法。计算机与数学应用,2(1):17-401976·Zbl 0352.65034号 [14] 罗兰·格洛文斯基(Roland Glowinski)和美国马拉科(Americo Marrocco)。在近似条件下,部分完成了“秩序”等解决方案,部分实现了“非林区问题的唯一类别”。Revue franöcaise d'atomatique,Informatique Recherche Op´erationelle。《分析数字》,9(2):41-761975年·兹比尔0368.65053 [15] 顾宇文、范军、孔凌晨、马时谦和邹慧。ADMM用于高维稀疏惩罚分位数回归。技术计量学,60(3):319-3312018。 [16] 韩继业和孙德凤。多面体集法线映射的牛顿和拟牛顿方法。优化理论与应用杂志,94(3):659-6761997·Zbl 0892.90164号 [17] 罗纳德·霍金。线性回归中变量的分析和选择。生物统计学,32:1-491976年·Zbl 0328.62042号 [18] 黄健、马双鸽和张存慧。稀疏高维回归模型的自适应套索。中国统计局,18(4):1603-16182008·Zbl 1255.62198号 [19] Laurent Jacob、Guillaume Obozinski和Jean Philippe Vert。使用重叠套索和图形套索进行分组。在2009年国际机器学习会议上,第433-440页。 [20] E.Kalnay、M.Kanamitsu、R.Kistler、W.Collins、D.Deaven、L.Gandin、M.Iredell、S.Saha、G.White、J.Woollen、Y.Zhu、M.Chelliah、W.Ebisuzaki、W.Higgins、J.Janowiak、K.C.Mo、C.Ropewski、J.Wang、A.Leetma、R.Reynolds、R.Jenne和Joseph J.D.NCEP/NCAR 40年再分析项目。《美国气象学会公报》,77:437-4721996。 [21] 伯恩德·库默(Bernd Kummer)。不可微函数的牛顿法。《数学优化进展》,45:114-1251988·Zbl 0662.65050号 [22] 李旭东、孙德芳和金传多。一种求解拉索问题的高效线性收敛的半光滑Netwon-CG增广拉格朗日方法。SIAM优化杂志,28(1):433-4582018a·Zbl 1392.65062号 [23] 李旭东、孙德芳和金传多。关于有效解决融合套索问题的水平集方法的子问题。SIAM优化杂志,28:1842-18662018b·Zbl 1401.90145号 [24] 莫西·利奇曼(Moshe Lichman)。UCI机器学习库。http://archive.ics.uci.edu/ml/datasets.html,2013年。 [25] 朱利安·迈拉尔(Julien Mairal)、弗朗西斯·巴赫(Francis Bach)和让·彭斯(Jean Ponce)。图像和视觉处理的稀疏建模。《计算机图形和视觉的基础与趋势》,2014年8月85-283日·Zbl 1333.68263号 [26] 罗伯特·米夫林。约束优化中的半光滑和半凸函数。SIAM控制与优化杂志,15(6):959-9721977·Zbl 0376.90081号 [27] 阿兰·米勒。回归中的子集选择。查普曼和霍尔出版社,英国伦敦,2002年·Zbl 1051.62060号 [28] 珍妮·雅克·莫罗。Proximit’e et dualit’e dans un espace hilbertien公司。《法国社会数学公报》,93(2):273-2991965年·Zbl 0136.12101号 [29] 尤金·恩迪亚耶(Eugene Ndiaye)、奥利维尔·费尔科克(Olivier Fercoq)、亚历山大·格兰福特(Alexandre Gramfort)和约瑟夫·萨尔蒙(Joseph Salmon)。稀疏群套索的GAP安全筛选规则。神经信息处理系统研究进展29(NIPS 2016),第388-396页,2016年·Zbl 1442.62161号 [30] 尤里·内斯特罗夫。一种求解收敛速度为o(1/k2)的凸规划问题的方法。苏维埃数学Doklady,27(2):372-3761983·Zbl 0535.90071号 [31] 齐立群和孙杰。牛顿方法的非光滑版本。数学规划,58(1):353-3671993·兹比尔0780.90090 [32] 弗兰克·拉帕波特(Franck Rapaport)、安德烈·齐诺维耶夫(Andrei Zinovyev)、玛丽·杜特雷克斯(Marie Dutreix)、艾曼纽尔·巴里略(Emmanuel Barillot)和珍妮·菲利佩(Jean-Philippe Vert)。使用基因网络对微阵列数据进行分类。BMC生物信息学,2007年8月35日。 [33] 蒂姆·罗伯逊(Tim Robertson)、法罗·T·赖特(Farroll T.Wright)和理查德·戴克斯特拉(Richard Dykstra)。顺序限制统计推断。概率与数理统计中的威利级数:概率和数理统计。约翰·威利父子公司,奇切斯特,1988年。国际标准书号0-471-91787-7·Zbl 0645.62028号 [34] 斯蒂芬·罗宾逊(Stephen M.Robinson)。多面体多函数的一些连续性。数学规划研究,16:206-2141981年·Zbl 0449.90090号 [35] 拉尔夫·泰雷尔·罗卡费拉(Ralph Tyrell Rockafellar)。凸分析。普林斯顿大学出版社,1970年·Zbl 0193.18401号 [36] 拉尔夫·泰雷尔·罗卡费拉(Ralph Tyrell Rockafellar)。单调运算符和近点算法。SIAM控制与优化杂志,14(5):877-8981976a·Zbl 0358.90053号 [37] 拉尔夫·泰雷尔·罗卡费拉(Ralph Tyrell Rockafellar)。增广拉格朗日算法及其在凸规划中的应用。运筹学数学,1(2):97-1161976b·Zbl 0402.90076号 [38] 拉尔夫·泰雷尔·罗卡费拉和罗杰·布韦茨。变异分析。施普林格·弗拉格,柏林,1998年·Zbl 0888.49001号 [39] Todd E.Scheetz、Kwang Youn A.Kim、Ruth E.Swiderski、Alisdair R.Philp、Terry A.Braun、Kevin L.Knudtson、Anne M.Dorrance、Gerald F.DiBona、Jian Huang和Thomas L.Casavant。哺乳动物眼睛中基因表达的调节及其与眼病的相关性。《美国国家科学院院刊》,103(39):14429-144342006。 [40] Mervyn J.Silvapulle和Pranab Kumar Sen.约束统计推断:顺序、不等式和形状约束,第912卷。John Wiley&Sons,2011年·Zbl 1077.62019年 [41] 孙德峰和孙杰。半光滑矩阵值函数。运筹学数学,27(1):150-1692002·兹比尔1082.49501 [42] 孙杰。关于单变分片二次规划。华盛顿大学博士论文,1986年·Zbl 0787.90067号 [43] 罗伯特·提比拉尼(Robert Tibshirani)。通过LASSO进行回归收缩和选择。《皇家统计学会杂志》,58:267-2881996年·Zbl 0850.62538号 [44] 乔尔·特罗普(Joel A.Tropp)。放松:识别稀疏信号的凸编程方法。IEEE信息理论汇刊,51:1030-10512006·Zbl 1288.94025号 [45] M.J.Van de Vijver,Y.D.He,L.J.Vant Veer,H.Hart A.A.Dai,Voskuil D.W.,Schreiber G.J.,Peterse J.L.,Roberts C.,Marton M.J.,Parrish M.,Atsma D.,Witteveen A.,Glas A.,Delahaye L.,Van der Velde T.,Bartelink H.,Rodenhuis S.,Rutgers E.T.,Friend S.和Bernards R。基因表达特征作为乳腺癌生存预测因子。《新英格兰医学杂志》,347:1999-20092002。 [46] 王余杭(Yuhang Wang)、菲莉亚·马克登(Fillia S.Makedon)、詹姆斯·福特(James C.Ford)和贾斯汀·皮尔曼(Justin Pearlman)。Hykgene:一种使用微阵列基因表达数据选择表型分类标记基因的混合方法。生物信息学,21:1530-15372005。 [47] 吴斌、丁超、孙德芳和金传德。向量k范数相关函数的Moreau-Yosida正则化。SIAM优化杂志,24(2):766-7942014·Zbl 1297.90122号 [48] Figueiredo的曾向荣和M´ario。用近似分裂算法求解OSCAR正则化问题。数字信号处理,31:124-1352014a。 [49] Figueiredo的曾向荣和M´ario。减少加权排序正则化。IEEE信号处理快报,21(10):1240-12442014b。 [50] 张杨静、张宁、孙德芳和金传多。一种求解大规模稀疏群套索问题的高效hessian算法。数学规划,DOI:10.1007/s10107-018-1329-62018·Zbl 1435.90112号 [51] Leon Wenliang Zhong和James T。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。