研究论文

带线性约束的线性支持向量回归

作者:

昆廷克罗普芬斯坦和

塞缪尔维特作者信息和声明

机器学习,体积110,问题7

页1939-1974

https://doi.org/10.1007/s10994-021-06018-2

出版:2021年7月1日出版历史

摘要

研究了核为线性时，支持向量回归中线性约束的添加。将这些约束条件添加到问题中，可以添加所获得估计器的先验知识，例如寻找正向量、概率向量或单调数据。我们证明了相关优化问题仍然是一个半定二次型问题。我们还提出了求解线性约束优化问题的序列最小优化算法的推广，并证明了其收敛性。我们证明了这种带有闭式更新的迭代算法的有效推广可以用来获得底层优化问题的解。然后，在不同设置的模拟和实际数据集上显示了该估计器的实际性能：非负回归、生物医学数据的单纯形回归和天气预报的等渗回归。这些实验表明，与更经典的方法相比，该估计器是有用的。

工具书类

[1]

Abbas AR、Wolslegel K、Seshasayee D、Modrusan Z和Clark HF血液微阵列数据反褶积确定系统性红斑狼疮的细胞激活模式公共科学图书馆2009 4 7 1-16

[2]

Barlow RE和Brunk HD等渗回归问题及其对偶美国统计协会杂志1972 67 337 140-147

[3]

Boser，B.E.、Guyon，I.M.和Vapnik，V.N.（1992年）。一种最优边缘分类器的训练算法。摘自：《第五届计算学习理论年度研讨会论文集》，美国纽约州纽约市ACM，COLT’92，第144-152页。

[4]

Bro R和De Jong S一种快速非负约束最小二乘算法化学计量学杂志1997 11 5 393-401

[5]

Chang C和Lin C训练v支持向量回归：理论和算法神经计算2002 14 8 1959-1977

[6]

Chang CC和Lin CJ LIBSVM：支持向量机库ACM智能系统与技术汇刊2011 2 27:1-27:27

[7]

Chapelle O、Haffner P和Vapnik VN支持向量机用于基于直方图的图像分类IEEE神经网络汇刊1999 10 5 1055-1064

[8]

Chun-Hsin Wu、Ho Jan-Ming和Lee DT使用支持向量回归进行旅行时间预测IEEE智能交通系统汇刊2004 5 4 276-281

[9]

Couzin-Frankel J癌症免疫治疗科学类2013 342 6165 1432-1433

[10]

Deledale CA、Papadakis N、Salmon J和Vaiter S Clear：协变最小二乘法改装及其在图像恢复中的应用SIAM成像科学杂志2017 10 1 243-284

[11]

Drucker H、Burges CJC、Kaufman L、Smola AJ和Vapnik V Mozer MC、Jordan MI和Petsche T支持向量回归机神经信息处理系统研究进展1997 9剑桥-麻省理工学院出版社155-161

[12]

Friel，T.T.和Harrison，R.（1998年）。用于模式分类和回归估计的线性规划支持向量机：以及sr算法：提高sv算法中vc边界的速度和紧密度。研究报告，自动控制和系统工程系。

[13]

Gaines BR、Kim J和Zhou H拟合约束套索的算法计算与图形统计杂志2018 27 4 861-871

[14]

Gong T、Hartmann N、Kohane IS、Brinkmann V、Staedtler F、Letzkus M、Bongiovanni S和Szustakowski JD使用二次规划优化转录剖面数据的反褶积，并应用于复杂临床血液样本公共科学图书馆2011 6 11 1-11

[15]

Haussler D、Bednarski DW、Schummer M、Cristianini N、Duffy N和Furey TS支持向量机分类和使用微阵列表达数据验证癌症组织样本生物信息学2000 16 10 906-914

[16]

Hoerl AE和Kennard RW岭回归：非正交问题的有偏估计技术计量学1970 12 1 55-67

[17]

Xieh，C.J.、Chang，K.W.、Lin，C.J.、Keerthi，S.S.和Sundararajan，S.（2008）。大规模线性支持向量机的双坐标下降方法。摘自：美国纽约州纽约市ACM第25届国际机器学习会议记录，ICML'08，第408-415页。

[18]

Jia，H.和Martinez，A.M.（2009年）。支持向量机在遮挡人脸识别中的应用。摘自：2009年IEEE计算机视觉和模式识别会议记录，第136-141页。

[19]

Joachims T Nédellec C和Rouveirol C支持向量机文本分类：使用许多相关功能学习机器学习：ECML-981998年柏林，海德堡施普林格137-142

[20]

支持向量机分类器设计中广义smo算法的Keerthi-SS和Gilbert EG收敛性机器学习2002 46 1–3 351-360

[21]

Keerthi SS、Shevade SK、Bhattacharyya C和Murthy KRK对支持向量机分类器设计的platts-smo算法的改进神经计算2001 13 3 637-649

[22]

Lauer，F.和Bloch，G.（2008年）。将先验知识纳入支持向量回归。机器学习70。

[23]

Lawson，C.和Hanson，R.（1995年）。解决最小二乘问题。工业和应用数学学会。

[24]

Liew—CK不等式约束的最小二乘估计美国统计协会杂志1976 71 355 746-751

[25]

Lin，C.J.、Weng，R.C.和Keerthi，S.S.（2007）。大规模logistic回归的信赖域牛顿法。摘自：《第24届机器学习国际会议论文集》，ACM，第561-568页。

[26]

Lopez J和Dorronsoro JR不同svm变体的smo算法收敛性的简单证明IEEE神经网络和学习系统汇刊2012 23 7 1142-1147

[27]

Mohammadi S、Zuckerman N、Goldsmith A和Grama A关于复杂组织中分离细胞类型的反褶积方法的批判性调查IEEE会议记录2017 105 2 340-366

[28]

坐标下降法在大规模优化问题上的Nesterov Y效率SIAM优化杂志2012 22 2 341-362

[29]

Newman AM、Liu C、Green MR、Gentles AJ、Feng W、Xu Y、Hoang CD、Diehn M和Alizadeh AA组织表达谱中细胞亚群的稳健计数自然方法2015 12 5 453-457

[30]

Nutini，J.、Schmidt，M.、Laradji，I.H.、Friedlander，M.和Koepke，H.（2015）。坐标下降比随机选择收敛得更快。摘自：第32届国际机器学习会议论文集，第37卷，JMLR.org，ICML’15，第1632-1641页。

[31]

佩德雷戈萨F、瓦罗佐G、格拉姆福特A、米歇尔·V、蒂里昂B、格里塞尔O、布隆德尔M、普雷滕霍弗P、韦斯R、杜波尔V、范德普拉斯J、帕索斯A、库纳波D、布鲁彻M、佩罗特M和公爵内伊E Scikit-learn：蟒蛇中的机器学习机器学习研究杂志2011 12 2825-2830

[32]

Platt，J.（1998）。序列最小优化：一种训练支持向量机的快速算法。技术报告，Microsoft Research。

[33]

Qiao W，Quon G，Csaszar E，Yu M，Morris Q，and Zandstra PW Pert:一种从不同微环境和发育条件中对人类血液样本进行表达反褶积的方法PLOS计算生物学2012 8 12 1-14

[34]

Schölkopf，B.、Bartlett，P.、Smola，A.和Williamsonm，R.（1999）。收缩管：一种新的支持向量回归算法。摘自：《1998年神经信息处理系统进展会议论文集II》，麻省理工学院出版社，马萨诸塞州剑桥，美国，第330-336页。

[35]

She，J.（2017）。序列最小优化的线性收敛性和支持向量辨识。摘自：第十届NIPS机器学习优化研讨会论文集，第5页。

[36]

Smola AJ和Schölkopf B支持向量回归教程统计与计算2004 14 3 199-222

[37]

Suykens J和Vandewalle J最小二乘支持向量机分类器神经处理信件1999 9 293-300

[38]

Tibshirani R通过套索回归收缩和选择英国皇家统计学会杂志：B辑（方法学）1996 58 1 267-288

[39]

不可微极小化的块坐标下降法的Tseng P收敛性最优化理论与应用杂志2001 109 3 475-494

[40]

Van Gestel T、Suykens JAK、Baestaens D、Lambrechts A、Lanckriet G、Vandaele B、De Moor B和Vandewalle J在证据框架内使用最小二乘支持向量机进行金融时间序列预测IEEE神经网络汇刊2001 12 4 809-821

[41]

Wright SJ坐标下降算法数学规划2015 151 1 3-34

[42]

Zou H和Hastie T正则化与基于弹性网的变量选择英国皇家统计学会杂志：B辑（统计方法）2005 67 2 301-320

建议

双最小二乘支持向量回归

本文将双超平面的精神与最小二乘支持向量回归（LSSVR）的快速性相结合，提出了一种新的回归量，称为双最小二乘支持向量多元回归（TLSSVR）。因此，TLSSVR的表现优于。。。
阅读更多信息
基于线性规划的双支持向量回归训练
群智能理论与应用专题

本文改进了最近提出的双支持向量回归（TSVR），将其表述为一对线性规划问题，而不是二次规划问题。在线性规划TSVR中使用1-范数距离，而不是。。。
阅读更多信息
不对称-双支持向量回归

双支持向量回归（TSVR）旨在发现-通过求解一对小规模二次规划问题（QPP）而不是传统SVR中的一个大问题，对训练点的上下界函数不敏感。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片机器语言

机器语言第110卷第7期

2021年7月

249页

国际标准编号：0885-6125

©作者，斯普林格科学+商业媒体有限责任公司独家许可，斯普林格自然2021的一部分。

出版商

Kluwer学术出版社

美国

出版历史

出版：2021年7月1日

认可的：2021年5月31日

收到的修订：2021年4月2日

收到：2020年3月17日

作者标记

限定符

研究文章

资金来源

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

0
引文总数
0
总下载次数

下载次数（过去12个月）0
下载次数（最近6周）0

其他指标

查看作者指标

引文

视图选项

查看选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子

查看问题目录