×
阿方索·兰德罗斯;肯尼思·兰格

稀疏支持向量机算法。 （英语） Zbl 07792043号

J.计算。图表。斯达。 32，第3期，1097-1108（2023）.
摘要：分类中的许多问题涉及大量不相关的特征。变量选择揭示了关键特征，降低了特征空间的维数，改进了模型的解释。在支持向量机文献中，变量选择是通过惩罚实现的。这些凸松弛严重地将参数估计值偏向0，并倾向于接受太多不相关的特征。当前的文章提供了一种替代方案，用稀疏集约束代替惩罚。惩罚仍然存在，但目的不同。近距离原理采用损失函数（L（β））并加上惩罚（β），惩罚捕获参数向量（β）到稀疏集（S_k）的平方欧氏距离，其中β的最多（k）分量不为零。如果\（\beta_\rho\）表示目标\（f_\rho（\beta）=L（\be塔）+\frac{\rho}{2}\mathrm{dist}（\bea，S_k）^2）的最小值，则\（\beta_\hro\）趋向于\（L（\beta）\）over（S_k）的约束最小值，因为\（\rho \）趋向\（\infty \）。我们推导了两个密切相关的算法来执行此策略。我们的仿真和实际例子生动地展示了这些算法如何在不损失分类能力的情况下实现更好的稀疏性。本文的补充材料可在网上获得。

MSC公司：

62至XX 统计

关键词：

判别分析;朱莉娅;稀疏性;无监督学习

软件：

GenSVM（通用支持向量机）;问题列表;LIBLINEAR银行;UCI-毫升
PDF格式BibTeX公司 XML格式引用
\textit{A.Landeros}和\textit{K.Lange}，J.Compute。图表。Stat.32，No.3，1097--1108（2023；Zbl 07792043）
全文： DOI程序 arXiv公司

参考文献：

[1] 巴古特，L。；佩德里茨，W。；Chen，S.-M.，《颗粒计算和决策：交互和迭代方法》，大数据研究，用于图像分割迭代模糊决策的空间分类信息颗粒，285-318（2015），Cham:Springer，Cham
[2] Beltrami，E.J.，《非线性分析和优化的算法方法》（1970），纽约：学术出版社，纽约·Zbl 0207.17202号
[3] Ben-Hur，A。；霍恩，D。；Siegelmann，H.T。；Vapnik，V.，“支持向量聚类”，《机器学习研究杂志》，2125-137（2002）·Zbl 1002.68598号
[4] Cauwenberghs，G。；Poggio，T.，增量和减量支持向量机学习，388-394（2000），麻省理工学院出版社
[5] Chi，E.C。；周，H。；Lange，K.，“距离优化及其应用，数学规划，146，409-436（2014）·Zbl 1297.65067号 ·doi:10.1007/s10107-013-0697-1
[6] 科尔特斯，C。；Vapnik，V.，“支持向量网络，机器学习，20273-297（1995）·Zbl 0831.68098号 ·文件编号：10.1007/BF00994018
[7] Courant，R.，“解决平衡和振动问题的变分方法”，《美国数学学会公报》，49，1-23（1943）·Zbl 0063.00985号 ·网址：10.1090/S0002-9904-1943-07818-4
[8] Decoste，D。；Schölkopf，B.，“训练不变支持向量机，机器学习，46，161-190（2002）·Zbl 0998.68102号 ·doi:10.1023/A:1012454411458
[9] Dua，D.和Graff，C.（2019），“UCI机器学习库”
[10] Dunbrack，R.L.，“序列比较和蛋白质结构预测，结构生物学的当前观点，16，374-384（2006）·doi:10.1016/j.sbi.2006.05.006
[11] El Ghaoui，L。；维亚永，V。；Rabbani，T.，“拉索和稀疏监督学习问题的安全特征消除，太平洋优化杂志，8667-698（2012）·Zbl 1259.65010号
[12] 风机，R.-E。；Chang，K.-W。；谢长杰。；王，X.-R。；Lin，C.-J.，“LIBLINEAR:大型线性分类库，机器学习研究杂志，91871-1874（2008）·Zbl 1225.68175号
[13] Fan，R.-E.，Chang，K.-W.，Hsieh，C.-J.，Wang，X.-R.和Lin，C.-J（1998年a），“带偏差的内核Adatron单元：算法分析（第1部分）”，ACSE研究报告729，谢菲尔德大学自动控制与系统工程系。
[14] Fan，R.-E.，Chang，K.-W.，Hsieh，C.-J.，Wang，X.-R.和Lin，C.-J.（1998b），“带偏置单元的内核Adatron:算法分析（第2部分）”，ACSE研究报告728，谢菲尔德大学自动控制与系统工程系。
[15] Groenen，P.J.F。；纳尔班托夫，G。；Bioch，J.C.，“SVM-Maj:具有不同铰链误差的线性支持向量机的优化方法，数据分析和分类进展，2，17-43（2008）·Zbl 1151.90551号 ·doi:10.1007/s11634-008-0020-9
[16] 徐，C.-W。；Lin，C.-J.，“多类支持向量机方法的比较，IEEE神经网络汇刊，13415-425（2002）
[17] 贾吉，M。；苏肯斯，J.A.K。；Signoretto，M。；Argyriou，A.，《正则化、优化、内核和支持向量机，拉索和支持向量机器之间的等价性》，1-26（2014），纽约：查普曼和霍尔/CRC，纽约·Zbl 1305.68030号
[18] Joachims，T.，机器学习：ECML-98，计算机科学讲义，“支持向量机的文本分类：具有许多相关特征的学习”，137-142（1998），施普林格
[19] Keys，K.L。；周，H。；Lange，K.，“近距离算法：理论与实践”，《机器学习研究杂志》，2019年第20期，第1-38页·Zbl 1489.90184号
[20] Kimeldorf，G。；Wahba，G.，“关于Tchebycheffian样条函数的一些结果，数学分析与应用杂志，33，82-95（1971）·Zbl 0201.39702号 ·doi:10.1016/0022-247X（71）90184-3
[21] 兰德罗斯，A。；O.H.M.帕迪拉。；周，H。；Lange，K.，“约束优化近距离方法的扩展”，《机器学习研究杂志》，23，1-45（2022）
[22] Lange，K.，MM Optimization Algorithms（2016），宾夕法尼亚州费城：SIAM-Society for Industrial and Applied Mathematics，Philadelphia，PA·Zbl 1357.90002号
[23] 兰格，K。；亨特·D·R。；Yang，I.，“使用替代目标函数的优化转移，计算与图形统计杂志，9，1-20（2000）
[24] 兰格，K。；J.-H.Won。；兰德罗斯，A。；周，H。；Balakrishnan，N。；科尔顿，T。；埃弗里特，B。；Piegorsch，W.W。；Ruggeri，F。；Teugels，J.L.，Wiley StatsRef:在线统计参考，通过MM算法的非凸优化：收敛理论，1-22（2021），霍博肯：Wiley，Hoboken
[25] 兰格，K。；Wu，T.T.，“多类别顶点判别分析的MM算法”，《计算与图形统计杂志》，第17期，第527-544页（2008年）·doi:10.1198/106186008X340940
[26] 拉斯科夫，P。；Gehl，C。；Krüger，S。；Müller，K.-R.，“增量支持向量学习：分析、实现和应用”，《机器学习研究杂志》，7，1909-1936（2006）·Zbl 1222.68245号
[27] Luenberger，D.G.，线性和非线性规划（1984），马萨诸塞州雷丁市：马萨诸塞州雷丁市Addison Wesley·Zbl 0571.90051号
[28] Mangasarian，O.L。；Musicant，D.R.，“拉格朗日支持向量机，机器学习研究杂志，161-177（2001）·Zbl 0997.68108号
[29] Mercer，J.，“正负型函数及其与积分方程理论的联系，伦敦皇家学会哲学学报，A辑，209，415-446（1909）
[30] Nguyen，H.D。；McLachlan，G.J.，《支持向量机的迭代重加权最小二乘拟合：优化-最小化算法方法》，439-446（2017），科学与信息组织
[31] 小川，K。；铃木，Y。；Takeuchi，I.，《路径支持向量机计算中非支持向量的安全筛选》，1382-1390（2013），PMLR
[32] Pradhan，S。；Ward，W。；Hacioglu，K。；马丁·J·H。；Jurafsky，D.，《使用支持向量机的浅层语义分析》，233-240（2004）
[33] Schölkopf，B。；Herbrich，R。；Smola，A.J。；Helmbold，D。；Williamson，B.，计算学习理论，计算机科学讲义，广义表示定理，416-426（2001），柏林：施普林格出版社，柏林·Zbl 0969.00077号
[34] Schölkopf，B。；Smola，A.J.，《使用Kernels学习：支持向量机、正则化、优化及其超越》（2018），马萨诸塞州剑桥：麻省理工学院出版社，马萨诸塞州剑桥
[35] Sewak，M。；Vaidya，P。；Chan，C.-C。；Duan，Z.-H.，乳腺癌分类的支持向量机方法，第二届计算机和计算科学国际多专题讨论会（IMSCCS 2007）（2007）·doi:10.1109/IMSCCS.2007.46
[36] Tibshirani，R。；比恩，J。；弗里德曼，J。；哈斯蒂，T。；西蒙，N。；泰勒，J。；Tibshirani，R.J.，“拉索型问题中丢弃预测值的强规则”，《皇家统计学会杂志》，B辑，74245-266（2012）·Zbl 1411.62213号 ·文件编号：10.1111/j.1467-9868.2011.01004.x
[37] 范登伯格，G.J.J。；Gronen，P.J.F.，“GenSVM:广义多类支持向量机，机器学习研究杂志，17，1-42（2016）·Zbl 1404.68127号
[38] Wang，J。；周，J。；Wonka，P。；Ye，J.，《神经信息处理系统的进展》，26，《通过双多位点投影的拉索筛选规则》（2013），Curran Associates，Inc
[39] 怀特，L。；托涅里，R。；刘伟。；Bennamoun，M.，“DataDeps.jl：可重复数据科学的可重复数据设置，开放研究软件杂志，7，33（2019）·doi:10.5334/jors.244
[40] 吴，T.T。；Lange，K.，“高维数据的多类别顶点判别分析，应用统计年鉴，41698-1721（2010）·Zbl 1220.62086号 ·doi:10.1214/10-AOAS345
[41] 徐，J。；Chi，E。；Lange，K.，《神经信息处理系统的进展》，30，距离集惩罚下的广义线性模型回归（2017），Curran Associates，Inc
[42] 朱，J。；Rosset，S。；哈斯蒂，T。；Tibshirani，R.，1-范数支持向量机，49-56（2003），麻省理工学院出版社
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。