Quadratic surface support vector machine with L1 norm regularization

Ahmad Mousavi; Zheming Gao; Lanshan Han; Alvin Lim

doi:10.3934/jimo.2021046

文章内容

2022年第18卷, 第3版: 1835-1861. Doi公司：10.3934/jimo.2021046

这个问题上一篇文章识别和确定众包服务策略：对中国某众包平台的实证研究下一篇文章具有全渠道协调的装配系统

具有L1范数正则化的二次曲面支持向量机

1
美国明尼阿波利斯明尼苏达大学数学及其应用研究所，邮编55455
2
东北大学信息科学与工程学院，辽宁沈阳110819
三。
Precima，NielsenIQ公司，美国伊利诺伊州芝加哥60606

^*通讯作者：Ahmad Mousavi
^*通讯作者：Ahmad Mousavi

收到日期： 2020年5月

修订日期： 2020年11月

发布时间： 2022年5月

这项研究是在Precima的研发部门完成的，该部门完全支持这项工作。前两位作者贡献均等

摘要全文（HTML）图(5)/表(8) 相关论文引用人

摘要

我们提出了$\ell_1$范数正则化二次曲面支持向量机模型，用于监督学习中的二元分类。我们建立了一些期望的理论性质，包括最优解的存在唯一性，（几乎）线性可分数据集上的标准SVM约简，以及如果$\ell_1$范数上的惩罚参数足够大，则在（几乎）二次可分数据集中检测真稀疏模式。我们还通过在合成的和公开可用的基准数据集上进行各种数值实验，证明了它们具有良好的实用效率。

关键词：

数学学科分类：一次：58F15、58F17；次要：53C35。

引用：

全文（HTML）

图1。 线性和二次可分数据集上的L1-QSSVM性能

下载：全尺寸图像 PowerPoint幻灯片

图2。 参数$\lambda$对L1-SQSSVM最优解曲率的影响

下载：全尺寸图像 PowerPoint幻灯片

图3。 参数$\mu$对L1-SQSSVM最优解行为的影响

下载：全尺寸图像 PowerPoint幻灯片

图4。 参数$\lambda的准确度得分$

下载：全尺寸图像 PowerPoint幻灯片

图5。 使用L1-SQSSVM作为参数$\lambda$的稀疏模式检测变化

下载：全尺寸图像 PowerPoint幻灯片

表1。 人工数据集的基本信息

数据集	人工I	人工II	人工III	人工IV	人工三维
n美元$	三	三	5	10	三
样本大小（$N_1$/$N_2$）	67/58	79/71	106/81	204/171	99/101

|显示表格

下载：CSV公司

表2。 使用的2类数据集说明

数据集	#功能（共个）	类的名称	样本大小
鸢尾花	4	变色	50
鸢尾花	4	弗吉尼亚	50
汽车评估	6	未经批准的	1210
汽车评估	6	符合	384
糖尿病	8	对	268
糖尿病	8	不	500
德国信贷数据	20	值得信赖的	700
德国信贷数据	20	无信誉的	300
电离层	34	好的	225
电离层	34	坏的	126

|显示表格

下载：CSV公司

表3。 虹膜结果

培训费率$k$%	模型	准确度得分（%）				CPU时间（s）
培训费率$k$%	模型	意思是	标准	最小值	最大值	CPU时间（s）
10	L1-SQSSVM（L1-SQSS支持向量机）	91.93	5.49	63.33	98.89	0.058
	SQSSVM公司	89.33	4.07	81.11	96.67	0.050
	SVM-四边形	89.49	4.91	80	97.78	0.003
	支持向量机	89.62	4.10	78.89	97.78	0.001
20	L1-SQSSVM（L1-SQSS支持向量机）	94.33	2.20	90	98.75	0.063
	SQSSVM公司	92.60	2.57	82.50	96.25	0.055
	SVM-四边形	93.03	2.72	86.25	98.75	0.002
	支持向量机	93	3.01	82.50	97.50	0.002
40	L1-SQSSVM（L1-SQSS支持向量机）	95.40	2.76	86.67	100	0.075
	SQSSVM公司	93.97	3.73	78.33	100	0.062
	SVM-四边形	94.30	3.38	81.67	98.33	0.002
	支持向量机	94.50	3.29	85	100	0.002

|显示表格

下载：CSV公司

表4。 汽车评估结果

培训费率$k$%	模型	准确度得分（%）				CPU时间（s）
培训费率$k$%	模型	意思是	标准	最小值	最大值	CPU时间（s）
10	L1-SQSSVM（L1-SQSS支持向量机）	90.48	2.13	83.48	95.05	0.961
	SQSSVM公司	90.48	2.35	80.98	94.49	0.937
	SVM-四边形	88.32	2.70	80.98	93.45	0.023
	支持向量机	84.40	1.09	81.88	86.90	0.001
20	L1-SQSSVM（L1-SQSS支持向量机）	92.81	1.17	89.50	95.30	1.109
	平方秒虚拟机	92.77	1.21	89.58	95.30	1.117
	SVM-四边形	92.30	1.14	88.56	94.83	0.001
	支持向量机	85.08	0.91	83.23	86.91	0.008
40	L1-SQSSVM（L1-SQSS支持向量机）	95.80	0.73	93.83	97.07	1.501
	SQSSVM公司	95.76	0.77	93.83	97.28	1.521
	SVM-四边形	93.69	0.83	91.43	95.72	0.087
	支持向量机	85.26	1.09	81.71	87.36	0.003

|显示表格

下载：CSV公司

表5。 糖尿病结果

培训费率$k$%	模型	准确度得分（%）				CPU时间（s）
培训费率$k$%	模型	意思是	标准	最小值	最大值	CPU时间（s）
10	L1-SQSSVM（L1-SQSS支持向量机）	74.21	1.53	71.24	76.01	0.692
	SQSSVM公司	64.38	3.65	57.80	71.68	0.679
	SVM-四边形	66.07	4.53	57.66	71.53	0.102
	支持向量机	72.95	3.49	65.61	76.16	0.003
20	L1-SQSSVM（L1-SQSS支持向量机）	76.28	0.63	75.12	77.07	0.924
	SQSSVM公司	69.40	2.49	65.85	72.52	0.950
	SVM-四边形	70.28	2.30	65.85	73.82	9.080
	支持向量机	74.86	1.68	71.54	77.07	0.009
40	L1-SQSSVM（L1-SQSS支持向量机）	76.62	1.83	73.97	79.61	1.459
	SQSSVM公司	74.34	1.99	71.15	77.01	1.490
	SVM四元	75.21	1.23	73.54	77.22	86.561
	支持向量机	76.29	2.15	73.10	80.26	0.006

|显示表格

下载：CSV公司

表6。 德国信贷数据结果

培训费率$k$%	模型	准确度得分（%）				CPU时间（s）
培训费率$k$%	模型	意思是	标准	最小值	最大值	CPU时间（s）
10	L1-SQSSVM（L1-SQSS支持向量机）	71.86	1.85	68.44	75	1.596
	SQSSVM公司	67	3.02	63.67	71.67	1.598
	SVM-四边形	68.29	2.61	64	72.44	0.006
	支持向量机	69.49	3.58	61.89	74.33	0.002
20	L1-SQSSVM（L1-SQSS支持向量机）	73.88	1.29	71.38	75.88	2.572
	平方秒虚拟机	67.55	2.78	62.88	72.88	2.541
	SVM-四边形	67.78	2.75	64.13	72.13	0.005
	支持向量机	73.86	1.22	71.25	75.88	0.005
40	L1-SQSSVM（L1-SQSS支持向量机）	74.86	1.25	72	77	4.622
	SQSSVM公司	65.99	2.66	61.17	69.83	4.456
	SVM-四边形	65.13	1.19	63.50	67	0.262
	支持向量机	74.73	1.07	73.50	77	0.005

|显示表格

下载：CSV公司

表7。 电离层结果

培训费率$k$%	模型	准确度得分（%）				CPU时间（s）
培训费率$k$%	模型	意思是	标准	最小值	最大值	CPU时间（s）
10	L1-SQSSVM支持向量机	82.75	3.69	76.27	88.29	4.141
	平方秒虚拟机	79.24	3.15	74.37	83.86	3.945
	SVM-四边形	83.48	2.39	78.48	78.48	0.003
	支持向量机	80.09	2.24	75.95	82.28	0.006
20	L1-SQSSVM（L1-SQSS支持向量机）	87.90	3.72	80.07	92.53	5.096
	SQSSVM公司	87.19	4.32	77.94	91.81	4.854
	SVM-四边形	86.16	1.24	84.34	84.34	0.005
	支持向量机	82.03	5.40	67.97	86.83	0.002
40	L1-SQSSVM（L1-SQSS支持向量机）	90.28	3.33	83.41	94.31	7.063
	平方秒虚拟机	89.53	4.23	81.99	94.31	6.781
	SVM-四边形	86.40	3.03	81.04	91	0.007
	支持向量机	83.60	3.46	76.78	88.63	0.006

|显示表格

下载：CSV公司

表8。 本文获得的理论结果总结

	L1-QSSVM	L1-SQSSVM（L1-SQSS支持向量机）
线性地可分离的	● 解决方案存在 ●z（z）^*几乎总是独一无二的 ● 足够大的$\lambda与SVM等价$	● 解决方案存在 ●z（z）^几乎总是独一无二的 ● 足够大的$\lambda与SSVM等价$ ● 对于足够大的$\mu，解决方案几乎总是唯一的，$\xi^=\boldsymbol 0$$
按象限可分离的	● 解决方案存在 ●z（z）^几乎总是独一无二的 ● 捕获足够大的$\lambda可能的$\textbf W^$稀疏性$	● 解决方案存在 ●z（z）^几乎总是独一无二的 ● 对于足够大的$\mu，解决方案几乎总是唯一的，$\boldsymbol\xi^=\boldsymbol 0$$ ● 捕获足够大的$\lambda的$\textbf W^*$的可能稀疏性$
$\begin{array}{c}\rm{Neither}\end{arrary}$		$\begin{array}{l}\bullet\rm{Solution existence}\\bullet\boldsymbol z^*\rm{几乎总是唯一的}\end{arrays}$

|显示表格

下载：CSV公司

相关论文

引用人

工具书类

[1]	亚瑟·阿松森和大卫·纽曼，UCI机器学习库，2007。，
[2]	Y.Bai先生, 十、汉族, T·陈和H.余，用于目标疾病分类的二次无核最小二乘支持向量机，组合优化期刊,30(2015), 850-870. 数字对象标识：10.1007/s10878-015-9848-z。
[3]	D.P.贝塞卡斯、非线性规划、，运筹学学会杂志,48(1997), 334-334.
[4]	J.Borwein和A.S.Lewis，凸分析与非线性优化：理论与实例《施普林格科学与商业媒体》，2010年。数字对象标识：10.1007/978-0-387-31256-9.
[5]	C.科尔特斯和V.Vapnik公司、支持向量网络、，机器学习,20(1995), 273-297. 数字对象标识：2007年10月10日/BF00994018。
[6]	N.克里斯蒂亚尼尼和J.肖-泰勒, 支持向量机和其他基于核的学习方法简介剑桥大学出版社，2000年数字对象标识：10.1017/CBO9780511801389。
[7]	一、达格，二次无核非线性支持向量机，全球优化杂志,41(2008), 15-30. 数字对象标识：2007年10月10日/10898-007-9162-0。
[8]	Z.戴和F.温，稀疏稳定投资组合优化问题的广义方法，工业与管理优化杂志,14(2018), 1651-1666. 数字对象标识：10.3934/jimo.2018025。
[9]	N.Deng、Y.Tian和C.Zhang，支持向量机：基于优化的理论、算法和扩展查普曼和霍尔/CRC，2012年。
[10]	M.Di和E.M.Joo，《从网络和应用角度对无线传感器网络中机器学习的调查》，2007年第六届国际信息通信会议&信号处理，IEEE，（2007），1-5。
[11]	J.Gallier，Schur补充和应用，几何方法与应用施普林格，（2011），431-437。数字对象标识：10.1007/978-1-4419-9961-0.
[12]	Z.高, S.-C.方, J.罗和和N.Medhin，无核双势阱支持向量机及其应用，欧洲运筹学杂志,290(2021), 248-262. 数字对象标识：2016年10月10日/j.ejor.2020.10.040。
[13]	Z.Gao和G.Petrova，凸优化的重标度纯贪婪算法，卡尔科洛,56(2019), 15.数字对象标识：10.1007/s10092-019-0311-x。
[14]	B.加达尔和J.纳乌姆·萨瓦亚、使用支持向量机进行高维数据分类和特征选择，欧洲运筹学杂志,265(2018), 993-1004. 数字对象标识：2016年10月10日/j.ejor.2017.08.040。
[15]	Y.Hao和F.Meng，组织分类基因选择的新方法，工业与管理优化杂志,三(2007), 739.数字对象标识：10.3934/jimo。2007.3.739.
[16]	T.K.Ho和M.Basu，监督分类问题的复杂性度量，IEEE模式分析汇刊&机器智能, (2002), 289-300.
[17]	D.S.Kim（D.S.金）, 北卡罗来纳州塔姆和和N.D.Yen，二次约束凸二次规划解的存在性和稳定性，优化信函,6(2012), 363-373. 数字对象标识：10.1007/s11590-011-0300-8。
[18]	P.兰利和赛蒙，机器学习和规则归纳的应用，ACM通信,38(1995), 54-64. 数字对象标识：10.21236/ADA292607。
[19]	K.Lounici、M.Pontil、A.B.Tsybakov和S.Van De Geer，在多任务学习中利用稀疏性，arXiv预打印，arXiv:0903.1468, 2009.
[20]	J.罗, S.-C.方, Y.Bai先生和Z.邓，基于Fisher判别分析的模糊二次曲面支持向量机，工业与管理优化杂志,12(2016), 357-373. 数字对象标识：10.3934/jimo.2016.12.357。
[21]	J.Luo，S.-C.Fang，Z.Deng，X.Guo，二值分类的软二次曲面支持向量机，亚太运筹学杂志,33(2016), 1650046.数字对象标识：10.1142/S021759591650469。
[22]	J.罗, T·洪和S.-C.方、基准测试数据完整性攻击下负荷预测模型的稳健性，国际预测杂志,34(2018), 89-104. 数字对象标识：2016年10月10日/j.ij预测2017.08.004。
[23]	J.R.马格纳斯和H.纽德克，消去矩阵：一些引理和应用，SIAM代数离散方法杂志,1(1980), 422-449. 数字对象标识：10.1137/0601049.
[24]	O.L.Mangasarian公司，线性规划解的唯一性，线性代数及应用,25(1979), 151-162. 数字对象标识：10.1016/0024-3795(79)90014-4.
[25]	L.Monostori公司, A.马尔克斯, H.范·布鲁塞尔和E.Westkämpfer公司，制造业的机器学习方法，CIRP年鉴,45(1996), 675-712. 数字对象标识：10.1016/S0007-8506（L1-QSSVM“）30216-6。
[26]	A.穆萨维, M.雷扎伊和R.阿扬扎德，《压缩传感综述：经典结果和最新进展》，数学建模杂志,8(2020), 309-344.
[27]	S.Mousavi和J.Shen，基于凸分段仿射函数优化的解的唯一性及其在约束$\ell_1$最小化中的应用，ESAIM：控制、优化和变分计算,25(2019), 56.数字对象标识：10.1051/cocv/2018061。
[28]	F.佩德雷戈萨等。，Scikit-learn：Python中的机器学习，机器学习研究杂志,12(2011), 2825-2830.
[29]	H.邱, X.陈, 刘伟（W.Liu）, G.周, Y.Wang（王）和黎泽伦，快速$\ell_1$-解算器及其在鲁棒人脸识别中的应用，工业与管理优化杂志,8(2012), 163-178. 数字对象标识：10.3934/jimo.2012.8.163。
[30]	R.Saab、R.Chartrand和O.Yilmaz，通过非凸优化实现稳定稀疏近似，2008 IEEE声学、语音和信号处理国际会议, (2008), 3885-3888.数字对象标识：10.1109/ICSSP。2008.4518502.
[31]	B.肖尔科夫和A.J.斯莫拉, 使用内核学习：支持向量机、正则化、优化及其他麻省理工出版社，2001年数字对象标识：10.7551/mit压力/4175.001.0001。
[32]	J·沈和S.穆萨维，$p$的最小稀疏性——$p>1$的基于范数的优化问题，SIAM优化杂志,28(2018), 2721-2751. 数字对象标识：10.1137/17M1140066。
[33]	J.Shen和S.Mousavi，基于约束匹配追踪的约束稀疏向量的精确支持和向量恢复，arXiv预打印，arXiv:1903.07236, 2019.
[34]	C.张, J.王和N.秀，用于指数跟踪的稳健和稀疏的投资组合模型，工业与管理优化杂志,15(2019), 1001-1015. 数字对象标识：10.3934/jimo（即墨）。