×
迪帕克·古普塔;巴拉特·里查里亚

基于无约束极小化问题的高效隐式拉格朗日双参数不敏感支持向量回归。 （英语） Zbl 1522.68456号

安。数学。Artif公司。智力。 89，编号3-4，301-332（2021）.
摘要：本文提出了一种高效的隐式拉格朗日双参数不敏感支持向量回归算法，该算法在双参数不灵敏支持向量回归的研究基础上，提出了一对无约束极小化问题[X.彭《神经计算》79，26–38（2012；doi:10.1016/j.neucom.2011.09.021)]，和拉格朗日双支持向量回归[S.Balasundaram公司和M.Tanveer先生，神经计算。申请。22，第1期，257–267页（2013年；doi:10.1007/s00521-012-0971-9)]. 由于其目标函数是强凸的、分段二次的、可微的，因此可以用基于梯度的迭代方法求解。请注意，其目标函数具有非光滑的“加号”函数，因此可以考虑广义Hessian函数或光滑近似函数来替换“加号“函数，并进一步应用简单的Newton-Armijo步长算法。这些算法可以在MATLAB中轻松实现，不需要任何优化工具箱。该方法的优点是所提出的算法所需的训练时间较少，并且能够处理具有异方差噪声结构的数据。为了证明所提方法的有效性，在合成数据集和真实数据集上获得了计算结果，根据支持向量回归、双支持向量回归和，以及双参数不敏感支持向量回归。

MSC公司：

68T05型 人工智能中的学习和自适应系统
62J02型 一般非线性回归
90 C90 数学规划的应用

关键词：

支持向量回归;双支持向量回归;回归估计;参数不敏感模型;无约束凸极小化

软件：

SSVM（SSVM）;UCI-毫升
PDF格式BibTeX公司 XML格式引用
\textit{D.Gupta}和\textit{B.Richariya}，Ann.数学。Artif公司。智力。89，编号3--4，301-332（2021；Zbl 1522.68456）
全文： 内政部

参考文献：

[1] 阿扎马图拉，MH；AA加尼；常，CK；哈萨克斯坦哈桑；Zakaria，NA，预测泥沙负荷的机器学习方法——一个案例研究，清洁土壤-空气-水，38，10，969-976（2010）·doi:10.1002/clen.201000068
[2] Balasundaram S.、Gupta D.、Prasad S.C.：通过无约束凸极小化训练拉格朗日双支持向量机的新方法。应用智能。46(1), 124-134 (2017)
[3] GEP盒子；Jenkins，GM，《时间序列分析：预测与控制》（1976），旧金山：Holden-Day，旧金山·Zbl 0363.62069号
[4] 陈，X。；杨，J。；梁，J。；叶琼，平滑双支持向量回归，神经计算。应用。，21, 505-513 (2012) ·doi:10.1007/s00521-010-0454-9
[5] Cimen，M.，《使用支持向量机估算每日悬浮泥沙》，Hydrol，Sci。J.，53，3，656-666（2008）
[6] 科尔特斯，C。；Vapnik，V.，支持向量网络，马赫。学习。，20, 3, 273-297 (1995) ·Zbl 0831.68098号
[7] 北卡罗来纳州克里斯蒂亚尼尼。；Shawe-Taylor，J.，《支持向量机和其他基于内核的学习方法简介》（2000），剑桥：剑桥大学出版社，剑桥·doi:10.1017/CBO9780511801389
[8] Demiriz，A.、Bennett，K.、Breeman，C.和Embrechts，M.：化学计量学中的支持向量机回归。计算科学与统计（2001）
[9] Demsar，J.，《多数据集分类器的统计比较》，J.Mach。学习。研究，7，1-30（2006）·Zbl 1222.68184号
[10] 法国法郎。；Hlaváć，V.，学习最大边缘分类器的迭代算法，模式识别。，1985年至1996年（2003年）·Zbl 1045.68115号 ·doi:10.1016/S0031-3203（03）00060-8
[11] Fung，G。；Mangasarian，OL，拉格朗日支持向量机的有限牛顿法，神经计算，55，39-55（2003）·doi:10.1016/S0925-2312（03）00379-5
[12] 加西亚，S。；Herrera，F.，《所有成对比较的多个数据集上分类器统计比较的扩展》，J.Mach。学习。第9号决议，第2677-2694页（2008年）·Zbl 1225.68178号
[13] Garcia G.N.、Ebrahimi T.、Vesin J.M.：傅里叶和时频相关域中的支持向量脑电分类。2003年，在第一届国际IEEE神经工程EMBS会议上。会议记录（第591-594页）（2003年）
[14] Gretton，A.、Doucet，A.、Herbrich，R.、Rayner，P.J.W.和Scholkopf，B.（2001）。黑箱系统辨识的支持向量回归方法。第11届IEEE统计信号处理研讨会论文集
[15] Gupta，D.：通过无约束凸最小化训练基于原始K最近邻的加权双支持向量回归。应用智能。，1-30 (2017)
[16] Hao，P.，带参数不敏感/边缘模型的新支持向量算法，神经网络。，23, 1, 60-73 (2010) ·Zbl 1396.68092号 ·doi:10.1016/j.neunet.2009.08.001
[17] 希里亚特·乌鲁蒂，JB；斯特罗迪奥，JJ；Nguyen，VH，广义hessian矩阵和C1,1数据问题的二阶最优性条件，应用。数学。乐观。，11, 1, 43-56 (1984) ·兹伯利0542.49011 ·doi:10.1007/BF01442169
[18] Jayadeva，Khemchandani R.，Chandra，S.：用于模式分类的双支持向量机。IEEE传输。模式分析。机器。智力。29(5), 905-910 (2007) ·Zbl 1329.68226号
[19] Khemchandani，R。；戈亚尔，K。；Chandra，S.，TWSVR:通过双支持向量机回归，神经网络。，74, 14-21 (2016) ·Zbl 1394.68294号 ·doi:10.1016/j.neunet.2015.10.007
[20] 李，YJ；Mangasarian，OL，SSVM：用于分类、计算的平滑支持向量机。最佳方案。申请。，20，1，5-22（2001年）·Zbl 1017.90105号 ·doi:10.1023/A:101125321374
[21] Mangasarian，O.L.：非线性规划。Soc.工业。申请。数学。（1994年）
[22] Mangasarian，OL，分类的有限牛顿法，Optimiz。方法。软质。，17, 913-929 (2002) ·Zbl 1065.90078号 ·网址：10.1080/1055678021000028375
[23] Mangasarian O.L.，Musicant D.R.：拉格朗日支持向量机。J Mach Learn Res 1，161-177（2001）·Zbl 0997.68108号
[24] 曼加索里安，OL；通过广义特征值进行Wild、EW、Multisurface近端支持向量分类，IEEE Trans。模式分析。机器。智力。，28, 1, 69-74 (2006) ·doi:10.1109/TPAMI.2006.17
[25] Mukherjee，S.、Osuna，E.和Girosi，F.：使用支持向量机对混沌时间序列进行非线性预测，In:NNSP'97：信号处理的神经网络VII:Proc。IEEE信号处理学会研讨会，美国佛罗里达州阿米莉亚岛，第511-520页（1997年）
[26] 穆勒，KR；斯莫拉，AJ；Ratsch，G。；Schölkopf，B。；科尔摩根，J。；Schölkopf，B。；博格斯，CJC；Smola，AJ，使用支持向量机进行时间序列预测，核方法的进展-支持向量学习，243-254（1999），剑桥：麻省理工学院出版社，剑桥
[27] Murphy P.M.和Aha D.W.：加州大学欧文分校UCI机器学习数据库库。网址：http://www.ics.uci.edu/姆勒恩（1992）
[28] Osuna E.、Freund R、Girosi F.：训练支持向量机：人脸检测的应用。计算机视觉和模式识别，1997年。诉讼程序。，1997年IEEE计算机学会会议（第130-136页）。IEEE（1997）
[29] Peng，X.，TSVR:一种高效的双支持向量机回归，神经网络。，23, 3, 365-372 (2010) ·Zbl 1396.68102号 ·doi:10.1016/j.neunet.2009.07.002
[30] Peng，X.，Primal孪生支持向量回归及其稀疏近似，神经计算，732846-2858（2010）·doi:10.1016/j.neucom.2010.08.013
[31] 彭旭：在原始空间中构建稀疏双支持向量机分类器。《信息科学》181（18），3967-3980（2011）
[32] Peng，X.，高效双参数不敏感支持向量回归模型，神经计算，79，26-38（2012）·doi:10.1016/j.neucom.2011.09.021
[33] 普拉特，JC；肖尔科夫，B。；伯格斯，C。；Smola，A.，《序列最小优化：训练支持向量机的快速算法》，《内核方法的进展-支持向量学习》（1998），剑桥：麻省理工学院出版社，剑桥
[34] Rasmussen C.E.、Neal R.M.、Hinton G.、Van Camp D.、Revow M.、Ghahramani Z.、Kustra R.、Tibshirani R.Delve在有效实验中评估学习的数据。http://www.cs.toronto.edu网站/钻研。(1995-1996)
[35] 里查里亚，B。；Gupta，D.，使用迭代通用双支持向量机的面部表情识别，应用。软计算。，76, 53-67 (2019) ·doi:10.1016/j.asoc.2018年11月46日
[36] Schölkopf B.，Smola A.J.，Williamson R.C.，Bartlett P.L.新的支持向量算法。神经计算12（5），1207-1245（2000）
[37] 邵玉华，邓N.Y.，杨，Z.M.：用于分类的最小二乘递推投影双支持向量机。《图案识别》45（6），2299-2307（2012）·Zbl 1234.68347号
[38] Shao，Y.，Chen，W.，Zhang，J.，Wang，Z.，Deng，N.：一种用于非平衡数据分类的高效加权拉格朗日双支持向量机。模式识别。47(9), 3158-3167 (2014) ·兹比尔1342.68271
[39] 堪萨斯州Shin；李，TS；Kim，HJ，支持向量机在破产预测模型中的应用，专家系统。申请。，28, 1, 127-135 (2005) ·doi:10.1016/j.eswa.2004.08.009
[40] Sjoberg，J。；张，Q。；Ljung，L。；Berveniste，A。；Delyon，B。；Glorennec，P。；Hjalmarsson，H。；Juditsky，A.，《系统识别中的非线性黑盒建模：统一概述》，Automatica，311691-1724（1995）·Zbl 0846.93018号 ·doi:10.1016/0005-1098（95）00120-8
[41] 日本苏肯斯；Vandewalle，J.，最小二乘支持向量机分类器，神经网络。过程。莱特。，9, 3, 293-300 (1999) ·doi:10.1023/A:1018628609742
[42] 陶，Q。；吴，GW；Wang，J.，学习具有L1-形式惩罚的SVM分类器的通用软方法，模式识别。，41, 3, 939-948 (2008) ·Zbl 1132.68665号 ·doi:10.1016/j.patcog.2007.08.004
[43] Vapnik，V。；Izmailov，R.，《支持向量机和神经网络中的知识转移》，《数学年鉴》。Artif公司。智力。，第81页，第3-19页（2017年）·Zbl 1422.68207号 ·doi:10.1007/s10472-017-9538-x
[44] 徐，Y。；Wang，L.，K-最近邻加权双支持向量回归，Appl。智力。，41, 1, 92-101 (2014)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。