×
昆廷·克罗芬斯坦；塞缪尔·维特

具有线性约束的线性支持向量回归。 （英语） Zbl 07465660号

机器。学习。 110，第7期，1939-1974（2021）.
摘要：本文研究了当核函数为线性时，在支持向量回归中加入线性约束的问题。将这些约束条件添加到问题中，可以添加所获得估计器的先验知识，例如寻找正向量、概率向量或单调数据。我们证明了相关优化问题仍然是一个半定二次型问题。我们还提出了求解线性约束优化问题的序列最小优化算法的推广，并证明了其收敛性。我们证明了这种带有闭式更新的迭代算法的有效推广可以用来获得底层优化问题的解。然后，在不同设置的模拟和实际数据集上显示了该估计器的实际性能：非负回归、生物医学数据的单纯形回归和天气预报的等渗回归。这些实验表明，与更经典的方法相比，该估计器是有用的。

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

支持向量机；支持向量回归；顺序最小优化；坐标下降；约束线性回归

软件：

伦敦银行支持向量机；Scikit公司；约束拉索
PDF格式BibTeX公司 XML格式引用
\textit{Q.Klopfenstein}和\textit{S.Vaiter}，马赫。学习。110，第7号，1939--1974（2021；Zbl 07465660）
全文： 内政部 arXiv公司

参考文献：

[1] 阿巴斯，AR；Wolslegel，K。；Seshasayee，D。；莫德鲁桑，Z。；Clark，HF，血液微阵列数据的反卷积识别系统性红斑狼疮的细胞激活模式，PLoS ONE，4，7，1-16（2009）
[2] 巴洛，RE；Brunk，HD，等渗回归问题及其对偶，美国统计协会杂志，67337140-147（1972）·Zbl 0236.62050号
[3] Boser，B.E.、Guyon，I.M.和Vapnik，V.N.（1992年）。一种最优边缘分类器的训练算法。摘自：《第五届计算学习理论年度研讨会论文集》，美国纽约州纽约市ACM，COLT’92，第144-152页。
[4] R兄弟。；De Jong，S.，快速非负约束最小二乘算法，化学计量学杂志，11，5，393-401（1997）
[5] Chang，C。；Lin，C.，训练v-支持向量回归：理论和算法，神经计算，14，8，1959-1977（2002）·Zbl 1010.68114号
[6] Chang，CC；Lin，CJ，LIBSVM：支持向量机库，ACM智能系统与技术汇刊，2，27:1-27:27（2011）
[7] 沙佩尔，O。；哈夫纳，P。；Vapnik，VN，基于直方图的图像分类支持向量机，IEEE神经网络汇刊，10，5，1055-1064（1999）
[8] 吴春欣；何建明；Lee，DT，带支持向量回归的旅行时间预测，IEEE智能交通系统汇刊，5，4，276-281（2004）
[9] Couzin-Frankel，J.，《癌症免疫治疗》，《科学》，34261651432-1433（2013）
[10] 加利福尼亚州Deledale；帕帕达基斯，N。；沙门，J。；Vaiter，S.，Clear:协变最小二乘拟合及其在图像恢复中的应用，SIAM成像科学杂志，10，1，243-284（2017）·Zbl 1365.49034号
[11] Drucker，H。；博格斯，CJC；考夫曼，L。；斯莫拉，AJ；Vapnik，V。；MC Mozer；密歇根州约旦；Petsche，T.，支持向量回归机，神经信息处理系统进展，155-161（1997），剑桥：麻省理工学院出版社，剑桥
[12] Friel，T.T.和Harrison，R.（1998年）。用于模式分类和回归估计的线性规划支持向量机：以及sr算法：提高sv算法中vc边界的速度和紧密度。研究报告，自动控制和系统工程系。
[13] 盖恩斯，BR；Kim，J。；Zhou，H.，拟合约束套索的算法，《计算与图形统计学杂志》，27，41861-871（2018）·Zbl 07498997号
[14] 龚，T。；北哈特曼。；科哈内，IS；布林克曼，V。；斯塔德勒，F。；Letzkus，M。；Bongiovanni，S。；Szustakowski，JD，使用二次规划对转录谱数据进行最优反褶积，应用于复杂临床血液样本，PLoS ONE，6，11，1-11（2011）
[15] Haussler，D。；贝德纳斯基，DW；舒默，M。；北卡罗来纳州克里斯蒂亚尼尼。；达菲，N。；Furey，TS，使用微阵列表达数据对癌症组织样本进行支持向量机分类和验证，生物信息学，16，10，906-914（2000）
[16] 霍尔，AE；Kennard，RW，Ridge回归：非正交问题的有偏估计，技术计量学，12，1，55-67（1970）·Zbl 0202.17205号
[17] Xieh，C.J.、Chang，K.W.、Lin，C.J.、Keerthi，S.S.和Sundararajan，S.（2008）。大规模线性支持向量机的双坐标下降方法。摘自：美国纽约州纽约市ACM第25届国际机器学习会议记录，ICML'08，第408-415页。
[18] Jia，H.和Martinez，A.M.（2009年）。支持向量机在遮挡人脸识别中的应用。摘自：2009年IEEE计算机视觉和模式识别会议记录，第136-141页。
[19] 约阿希姆斯，T。；Nédellec，C。；Rouveirol，C.，《支持向量机的文本分类：具有许多相关特征的学习》，机器学习：ECML-98137-142（1998），柏林，海德堡：斯普林格，柏林，海德堡
[20] 基尔西，SS；Gilbert，EG，支持向量机分类器设计的广义smo算法的收敛性，机器学习，46，1-3，351-360（2002）·兹比尔0998.68109
[21] 基尔西，SS；斯洛伐克谢瓦德；巴塔查里亚，C。；Murthy，KRK，支持向量机分类器设计的platts-smo算法改进，神经计算，13，3，637-649（2001）·Zbl 1085.68629号
[22] Lauer，F.和Bloch，G.（2008年）。将先验知识纳入支持向量回归。机器学习70·Zbl 1470.68132号
[23] Lawson，C.和Hanson，R.（1995年）。解决最小二乘问题。工业和应用数学学会·Zbl 0860.65029号
[24] Liew，CK，不等式约束最小二乘估计，美国统计协会杂志，71，355，746-751（1976）·Zbl 0342.62037号
[25] Lin，C.J.、Weng，R.C.和Keerthi，S.S.（2007）。大规模logistic回归的信赖域牛顿法。摘自：《第24届机器学习国际会议论文集》，ACM，第561-568页。
[26] 洛佩兹，J。；Dorronsoro，JR，不同svm变体的smo算法收敛性的简单证明，IEEE神经网络和学习系统汇刊，23，7，1142-1147（2012）
[27] 穆罕默德，S。；Zuckerman，北卡罗来纳州。；戈德史密斯，A。；Grama，A.，《复杂组织中分离细胞类型的反褶积方法的关键调查》，IEEE学报，105，2，340-366（2017）
[28] Nesterov，Y.，坐标下降法在大规模优化问题上的效率，SIAM优化杂志，22，2，341-362（2012）·Zbl 1257.90073号
[29] 纽曼，AM；刘，C。；绿色，MR；先生们，AJ；冯·W。；Xu，Y。；Hoang，CD；Diehn，M。；Alizadeh，AA，组织表达谱中细胞亚群的稳健计数，自然方法，12，5，453-457（2015）
[30] Nutini，J.、Schmidt，M.、Laradji，I.H.、Friedlander，M.和Koepke，H.（2015）。坐标下降比随机选择收敛得更快。摘自：第32届国际机器学习会议论文集，第37卷，JMLR.org，ICML’15，第1632-1641页。
[31] 佩德雷戈萨，F。；瓦罗佐，G。；Gramfort，A。；米歇尔，V。；蒂里昂，B。；O.格栅。；布隆德尔，M。；普雷滕霍弗，P。；韦斯，R。；杜堡，V。；范德普拉斯，J。；帕索斯，A。；库纳波，D。；布鲁彻，M。；佩罗，M。；Duchesnay，E.，Scikit-learn：蟒蛇中的机器学习，《机器学习研究杂志》，第12期，第2825-2830页（2011年）·Zbl 1280.68189号
[32] Platt，J.（1998）。序列最小优化：一种训练支持向量机的快速算法。技术报告，Microsoft Research。
[33] 乔，W。；Quon，G。；沙沙尔，E。；Yu，M。；莫里斯，Q。；Zandstra，PW，Pert:一种从不同微环境和发育条件中对人类血液样本进行表达反褶积的方法，PLOS计算生物学，8，12，1-14（2012）
[34] Schölkopf，B.、Bartlett，P.、Smola，A.和Williamsonm，R.（1999）。收缩管：一种新的支持向量回归算法。摘自：《1998年神经信息处理系统进展会议论文集II》，麻省理工学院出版社，马萨诸塞州剑桥，美国，第330-336页。
[35] She，J.（2017）。序列最小优化的线性收敛和支持向量识别。摘自：第十届NIPS机器学习优化研讨会论文集，第5页。
[36] 斯莫拉，AJ；Schölkopf，B.，支持向量回归教程，统计与计算，14，3，199-222（2004）
[37] 苏肯斯，J。；Vandewalle，J.，最小二乘支持向量机分类器，《神经处理快报》，9，293-300（1999）
[38] Tibshirani，R.，《通过套索进行回归收缩和选择》，《皇家统计学会期刊：B辑（方法学）》，58，1，267-288（1996）·Zbl 0850.62538号
[39] Tseng，P.，不可微极小化的块坐标下降法的收敛性，优化理论与应用杂志，109，3，475-494（2001）·Zbl 1006.65062号
[40] Van Gestel，T。；日本苏肯斯；Baestaens，D。；兰布雷希茨，A。；柳叶刀，G。；Vandaele，B。；De Moor，B。；Vandewalle，J.，在证据框架内使用最小二乘支持向量机进行金融时间序列预测，IEEE神经网络汇刊，12，4，809-821（2001）
[41] Wright，SJ，坐标下降算法，数学规划，151，1，3-34（2015）·Zbl 1317.49038号
[42] 邹，H。；Hastie，T.，《通过弹性网进行正则化和变量选择》，《皇家统计学会杂志：B辑（统计方法）》，67，2，301-320（2005）·Zbl 1069.62054号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。