×

多块统计学习的选择性线性化。 (英语) Zbl 1487.65064号

小结:我们考虑了最小化几个凸非光滑函数之和的问题,并讨论了选择性线性化方法(SLIN),该方法迭代线性化除一个函数外的所有函数,并使用简单的近似步骤。该算法是一种多算子分裂形式,其中处理部分函数的顺序不是固定的,而是在计算过程中确定的。SLIN对于任意数量的分量函数都是全局收敛的,没有人为的变量重复。我们报告了两种统计学习环境下的大量数值实验结果,如大规模重叠群Lasso和双正则支持向量机。在每种情况下,我们都会为解决子问题引入新颖有效的解决方案。数值结果验证了SLIN的有效性和准确性。

MSC公司:

65千5 数值数学规划方法
90C25型 凸面编程
90立方 非线性规划
68T05型 人工智能中的学习和自适应系统

软件:

打击;UCI-毫升
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 博伊德,S。;北卡罗来纳州帕里赫。;朱,E。;佩莱托,B。;Eckstein,J.,《通过交替方向乘数法进行分布式优化和统计学习》,《机器学习的基础和趋势》,第1期,第1-122页(2010年)·Zbl 1229.90122号
[2] 布尼亚,F。;Lederer,J。;She,Y.,The group square-root lasso:Theory properties and fast algorithms,IEEE Transactions on Information Theory,第60、2、1313-1325页(2014年)·Zbl 1364.94113号
[3] Chatzipanagiotis,N。;Dentcheva,D。;Zavlanos,M.M.,分布式优化的增广拉格朗日方法,数学规划,152,405-434(2015)·兹比尔1327.90198
[4] 查拉,N.V。;鲍耶,K.W。;洛杉矶霍尔。;Kegelmeyer,W.P.,SMOTE:合成少数人过采样技术,《人工智能研究杂志》,16,321-357(2002)·Zbl 0994.68128号
[5] 陈,X。;林,Q。;Kim,S。;Carbonell,J.G。;Xing,E.P.,一般结构稀疏回归的平滑近端梯度法,应用统计学年鉴,6,2,719-752(2012)·Zbl 1243.62100号
[6] 张,Y。;Lou,Y.,复合惩罚正则化经验风险最小化的近似平均近似增量梯度下降,机器学习,106,596-622(2017)·Zbl 1459.62156号
[7] 邓,W。;赖,M.J。;彭,Z。;Yin,W.,o(1/k)收敛的并行多块ADMM,科学计算杂志,71712-736(2017)·Zbl 1398.65121号
[8] 杜,Y。;林,X。;Ruszczyñski,A.,多块凸优化的选择性线性化方法,SIAM优化杂志,27,2,1102-1117(2017)·兹比尔1366.90194
[9] 杜,Y。;Ruszczyñski,A.,束方法的收敛速度,优化理论与应用杂志,173908-922(2017)·Zbl 1373.90102号
[10] Dua,D.和Graff,C.(2017年)。UCI机器学习库。http://archive.ics.uci.edu/ml。
[11] Goldfarb,D。;马,S。;Scheinberg,K.,《最小化两个凸函数之和的快速交替线性化方法》,《数学规划》,141349-382(2013)·Zbl 1280.65051号
[12] 他,B。;袁,X.,关于douglas-rachford交替方向法的O(1/n)收敛速度,SIAM数值分析杂志,50,2,700-709(2012)·Zbl 1245.90084号
[13] Kiwiel,K.C。;罗莎,C.H。;Ruszczyñski,A.,通过交替线性化的近似分解,SIAM优化杂志,9,3,668-689(1999)·Zbl 0958.65068号
[14] 林,X。;Pham,M。;Ruszczyñski,A.,结构化正则化问题的交替线性化,机器学习研究杂志,15,1,3447-3481(2014)·Zbl 1319.62146号
[15] Olafsson,S。;李,X。;Wu,S.,运筹学与数据挖掘,《欧洲运筹学杂志》,187,3,1429-1448(2008)·Zbl 1137.90776号
[16] Rockafellar,R.T.,《单调算子和近点算法》,SIAM控制与优化杂志,14,5,877-898(1976)·Zbl 0358.90053号
[17] Ruszczyñski,A.,《非线性优化》(2006),普林斯顿大学出版社·Zbl 1108.90001号
[18] 沈,L。;刘伟。;袁,G。;Ma,S.,GSOS:用于多项非光滑凸组合优化的Gauss-Seidel算子分裂算法,机器学习国际会议,703125-3134(2017)
[19] Singh,D.、Febbo,F.、Ross,K.、Jackson,D.、Manola,J.、Ladd,C.、Tamayo,P.、amd A.V.D'Amico,A.R.、Richie,J.,Lander,E.、Loda,M.、Kantoff,P..、Golub,T.和Sellers,W.(2002年)。基因表达与前列腺癌临床行为相关。https://file.biolab.si/biolab/supp/bi-cancer/projections/index.html。
[20] 维拉,S。;Rosasco,L。;莫西,S。;Verri,A.,潜在群体套索惩罚的近似方法,计算优化与应用,58,2,381-401(2014)·Zbl 1305.90388号
[21] Wang,H。;Banerjee,A。;罗志清,乘数并行方向法,神经信息处理系统进展,27181-189(2014)
[22] Wang,J.、Zhao,L.和Wu,L.(2019a)。多重凸不等式约束的乘法器交替方向方法。ArXiv电子打印。
[23] 王,X。;洪,M。;马,S。;Luo,Z.,用乘数的两块交替方向法求解多块可分凸极小化问题,太平洋优化杂志,11,4(2013)
[24] Wang,Y。;尹,W。;Zeng,J.,非凸非光滑优化中ADMM的全局收敛性,科学计算杂志,78,1,29-63(2019)·Zbl 1462.65072号
[25] Wong,W。;Hsu,S.,SVM和ANN在图像检索中的应用,《欧洲运筹学杂志》,173938-950(2006)·Zbl 1131.68509号
[26] Xu,Y。;Yin,W.,正则化多凸优化的块坐标下降法及其在非负张量分解和完成中的应用,SIAM成像科学杂志,6,3,1758-1789(2013)·Zbl 1280.49042号
[27] Ye,G。;陈,Y。;Xie,X.,通过交替方向乘数法在支持向量机中进行有效变量选择,JMLR研讨会和会议论文集,15832-840(2011)
[28] Yu,Y.L.,使用近似平均值的更好近似和更快算法,《神经信息处理系统的进展》,26,458-466(2013)
[29] 袁,L。;刘,J。;Ye,J.,重叠群套索的有效方法,神经信息处理系统的进展,24,352-360(2011)
[30] Zhou,J.、Gong,P.、Wang,Z.和Ye,J.(2015)。挖掘凸性之外的结构化稀疏性。ICDM教程。
[31] 邹,H。;Hastie,T.,《通过弹性网的正则化和变量选择》,《皇家统计学会杂志》。B系列,67,2,301-320(2005)·Zbl 1069.62054号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。