×
李，郑;宋国辉;徐月生

机器学习中一类不可微优化模型的两步定点逼近算法。 （英语） Zbl 1423.68382号

科学杂志。计算。 81，第2期，923-940（2019）.
摘要：稀疏学习模型在许多应用领域都很流行。稀疏学习模型中的目标函数通常是非光滑的，这使得数值求解困难。针对一类基于稀疏学习的不可微优化模型，提出了一种快速收敛的两步迭代算法。为了克服模型不可微的困难，我们首先将其解刻画为映射的不动点，涉及目标函数中出现的函数的邻近算子。然后我们引入两步不动点算法来计算这些解。我们建立了所提出的两步迭代格式的收敛结果，并将其与交替方向乘法器法（ADMM）进行了比较。特别地，我们为机器学习中的三个模型推导了特定的两步迭代算法：（ell^1）-SVM分类、（ell^ 1）-SSVM回归和带有LASSO正则化器的SVM分类。对一些合成数据集和一些基准数据集的数值实验表明，该算法在计算时间和内存存储开销方面优于ADMM和线性规划方法。

引用于4文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

机器学习;两步迭代法;邻近算法;稀疏学习;不可微优化

软件：

伦敦银行支持向量机;UCI-毫升
PDF格式BibTeX公司 XML格式引用
\textit{Z.Li}等人，《科学杂志》。计算。81，编号2，923--940（2019；Zbl 1423.68382）
全文： 内政部

参考文献：

[1] Argyriou，A.，Miccelli，C.A.，Pontil，M.，Shen，L.，Xu，Y.：线性复合正则化子的有效一阶方法。arXiv:1104.1436（2011）
[2] 巴赫，F.、杰纳顿，R.、迈拉尔，J.、奥博金斯基，G.等：稀疏诱导惩罚的优化。找到。Trends®马赫数。学习。4, 1-106 (2012) ·Zbl 06064248号
[3] Bottou，L.，Lin，C.-J.：支持向量机求解器。大规模内核马赫数。301-320 (2007)
[4] Boyd，S.、Parikh，N.、Chu，E.、Peleato，B.、Eckstein，J.：通过交替方向乘数法进行分布式优化和统计学习。找到。Trends®马赫数。学习。3, 1-122 (2011) ·Zbl 1229.90122号
[5] Chang，C.，Lin，C.：LIBSVM：支持向量机库。ACM事务处理。智力。系统。Technol公司。2, 27:1-27:27 (2011) ·数字对象标识代码：10.1145/1961189.1961199
[6] Cortes，C.，Vapnik，V.：支持向量网络。机器。学习。20, 273-297 (1995) ·Zbl 0831.68098号
[7] Fung，G.M.，Mangasarian，O.L.：支持向量机分类的特征选择牛顿方法。计算。最佳方案。申请。28, 185-202 (2004) ·Zbl 1056.90103号 ·doi:10.1023/B:COAP.000026884.66338.df
[8] Hastie，T.、Tibshirani，R.、Wainwright，M.：《稀疏的统计学习：套索和泛化》。CRC出版社，博卡拉顿（2015）·Zbl 1319.68003号 ·doi:10.1201/b18401
[9] Jacob，L.，Obozinski，G.，Vert，J.P.：带重叠的群套索和图形套索。In:机器学习国际会议，ICML 2009，加拿大魁北克省蒙特利尔，第433-440页（2009）
[10] Koshiba，Y.，Abe，S.：L1和L2支持向量机的比较。见：《神经网络国际联合会议记录》，2003年，第3卷。IEEE，第2054-2059页（2003）
[11] LeCun，Y.、Bottou，L.、Bengio，Y.和Haffner，P.：基于梯度的学习应用于文档识别。程序。IEEE 86，2278-2324（1998）·数字对象标识代码：10.1109/5.726791
[12] Li，Q.，Michelli，C.A.，Shen，L.，Xu，Y.：L1/TV去噪模型的高斯-赛德尔迭代加速的近似算法。反向探测。28, 095003 (2012) ·Zbl 1273.65085号 ·doi:10.1088/0266-5611/28/9/095003
[13] Li，Q.，Shen，L.，Xu，Y.，Zhang，N.：用于解决图像处理中出现的一类优化问题的多步定点逼近算法。高级计算。数学。41, 387-422 (2015) ·Zbl 1326.65069号 ·doi:10.1007/s10444-014-9363-2
[14] Li，Q.，Xu，Y.，Zhang，N.：多块可分离凸问题的两步定点邻近算法。科学杂志。计算。70, 1204-1228 (2017) ·Zbl 1368.65088号 ·doi:10.1007/s10915-016-0278-6
[15] Li，Z.，Song，G.，Xu，Y.：用拉索正则化群求解支持向量回归的定点逼近方法。国际期刊数字。分析。模型。15, 154-169 (2018) ·Zbl 1407.65066号
[16] 李，Z。；Xu，Y。；Ye，Q。；Dick，J.（编辑）；Kuo，F.（编辑）；Woźniakowski，H.（ed.），再生核Banach空间中的稀疏支持向量机，869-887（2018），Cham·Zbl 1405.65080号 ·数字对象标识代码：10.1007/978-3-319-72456-0_38
[17] Lichman，M.：UCI机器学习库。加州大学欧文分校（2013）
[18] Lin，R.，Song，G.，Zhang，H.：向量值再生核Banach空间中的多任务学习ℓ1个标准。arXiv:1901.01036[数学]（2019）·Zbl 1471.68221号
[19] Mangasarian，O.L.：通过无约束凸可微最小化的精确1-范数支持向量机。J.马赫。学习。1517-1530号决议（2007年）·Zbl 1211.68329号
[20] Meier，L.，Van De Geer，S.，Bühlmann，P.：逻辑回归的组套索。J.R.统计社会服务。B（Stat.Methodol.）70，53-71（2008）·Zbl 1400.62276号 ·文件编号：10.1111/j.1467-9868.2007.00627.x
[21] Michelli，C.A.，Shen，L.，Xu，Y.：图像模型的邻近算法：去噪。反向探头。27, 045009 (2011) ·Zbl 1216.94015号 ·doi:10.1088/0266-5611/27/4/045009
[22] Michelli，C.A.，Shen，L.，Xu，Y.，Zeng，X.：L1/TV图像去噪模型的邻近算法。高级计算。数学。38, 401-426 (2013) ·Zbl 1275.65014号 ·doi:10.1007/s10444-011-9243-y
[23] Michelli，C.A.，Xu，Y.，Zhang，H.：通用内核。J.马赫。学习。第7号决议，2651-2667（2006）·Zbl 1222.68266号
[24] Nesterov，Y.E.：一种求解收敛速度为\[O（1/1\]/k\[hat的凸规划问题的方法{2}2\]^)，位于Dokl。阿卡德。Nauk Sssr 269、543-547（1983年）
[25] Parikh，N.，Boyd，S.：近端算法。找到。趋势优化。1, 127-239 (2014) ·doi:101561/2400000003
[26] Schölkopf，B.，Smola，A.J.：使用内核学习：支持向量机、正则化、优化及其他。麻省理工学院出版社，剑桥（2002）
[27] Song，G.，Zhang，H.：用l1范数再现核Banach空间II：正则化最小二乘回归的误差分析。神经计算。23, 2713-2729 (2011) ·Zbl 1231.68219号 ·doi:10.1162/NECO_a_00178
[28] Song，G.，Zhang，H.，Hickernell，F.J.：用l1范数再现核Banach空间。申请。计算。哈蒙。分析。34, 96-116 (2013) ·Zbl 1269.46020号 ·doi:10.1016/j.acha.2012.03.009
[29] Tibshirani，R.：通过套索进行回归收缩和选择。J.R.统计社会服务。B Methodol公司。58, 267-288 (1996) ·Zbl 0850.62538号
[30] Vapnik，V.：统计学习理论。威利，纽约（1998）·Zbl 0935.62007号
[31] Wang，R.，Xu，Y.：非点赋值函数数据的函数再生核Hilbert空间。申请。计算。哈蒙。分析。46, 569-623 (2019) ·Zbl 1423.46046号 ·doi:10.1016/j.acha.2017.07.003
[32] Xu，Y.，Ye，Q.：广义Mercer核和再生核Banach空间。备忘录。美国数学。Soc.2581-122（2019年）·Zbl 1455.68009号
[33] Yuan，G.，Chang，K.，Xieh，C.，Lin，C.：大规模L1规则线性分类的优化方法和软件的比较。J.马赫。学习。第11号决议，3183-3234（2010年）·Zbl 1242.62065号
[34] Yuan，M.，Lin，Y.：分组变量回归中的模型选择和估计。J.R.Stat.Soc.68，49-67（2006）·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x
[35] 张，H.，徐，Y.，张，J.：为机器学习复制内核巴拿赫空间。J.马赫。学习。第10号决议，3520-3527（2009年）·Zbl 1235.68217号
[36] Zhu，J.，Rosset，S.，Hastie，T.，Tibshirani，R.：1-范数支持向量机。高级神经信息处理。系统。16, 49-56 (2004)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。