×

通过同时进行特征和样本缩减来扩展稀疏支持向量机。 (英文) Zbl 1434.68415号

摘要:稀疏支持向量机(SVM)是一种流行的分类技术,它可以同时学习一小部分最可解释的特征并识别支持向量。它在许多实际应用中取得了巨大成功。然而,对于涉及大量样本和超高维特征的大规模问题,求解稀疏SVM仍然具有挑战性。通过注意稀疏支持向量机在特征空间和样本空间中都会产生稀疏性,我们提出了一种新的方法,该方法基于稀疏支持向量机原最优和对偶最优的精确估计,以同时识别与输出无关的非活动特征和样本。因此,我们可以从训练阶段删除已识别的非活动样本和特征,从而在不牺牲准确性的情况下大幅节省计算成本。此外,我们还证明了我们的方法可以扩展到多类稀疏支持向量机。据我们所知,该方法是针对稀疏SVM和多类稀疏SVM的第一种静态特征和样本约简方法。在合成数据集和实际数据集上的实验表明,我们的方法明显优于最先进的方法,并且通过我们的方法获得的加速可以是数量级的。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H25个 因子分析和主成分;对应分析
62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] Heinz H Bauschke,Patrick L Combettes,et al.希尔伯特空间中的凸分析和单调算子理论,第408卷。施普林格,2011年·Zbl 1218.47001号
[2] Bi Jinbo、Kristin Bennett、Mark Embrechts、Curt Breneman和Song Minghu。通过稀疏支持向量机进行降维。机器学习杂志·Zbl 1102.68531号
[3] Antoine Bonnefoy、Valentin Emiya、Liva Ralaivola和R´emi Gribonval。套索的动态筛选原理。InSignal Processing Conference(EUSIPCO),2014年会议记录·Zbl 1394.94087号
[4] Bryan Catanzaro、Narayanan Sundaram和Kurt Keutzer。在图形处理器上进行快速支持向量机训练和分类。第25届国际刑事诉讼
[5] 张志忠和林志仁。Libsvm:支持向量机库。ACM智能系统与技术汇刊(TIST),2(3):272011。
[6] Laurent El Ghaoui、Vivian Viallon和Tarek Rabbani。稀疏监督学习中的安全特征消除。太平洋优化杂志,8:667-6982012·Zbl 1259.65010号
[7] 范荣恩、张凯伟、谢卓奎、王祥瑞和林志仁。Liblinear:大型线性分类库。机器学习研究杂志,9:1871-18742008·Zbl 1225.68175号
[8] 特雷弗·哈斯蒂(Trevor Hastie)、萨哈隆·罗塞特(Saharon Rosset)、罗伯特·蒂布什拉尼(Robert Tibshirani)和吉朱(Ji Zhu)。支持向量机的整个正则化路径。机器学习研究杂志,5:1391-14152004·Zbl 1222.68213号
[9] 特雷弗·哈斯蒂(Trevor Hastie)、罗伯特·蒂布什拉尼(Robert Tibshirani)和马丁·温赖特(Martin Wainwright)。稀疏性统计学习:套索和概括。CRC出版社,2015年·Zbl 1319.68003号
[10] Cho-Jui Xieh、Kai-Wei Chang、Chih-Jen Lin、S Sathiya Keerthi和Sellamanickam Sundarararajan。一种用于大规模线性svm的双坐标下降方法。诉讼中
[11] 托尔斯滕·约阿希姆斯(Thorsten Joachims)。使用支持向量机进行文本分类:使用许多相关功能进行学习。斯普林格,1998年。
[12] 罗恩·科哈维。精度估计和模型选择的交叉验证和引导研究。国际人工智能联合会议,第1137-1145页,1995年。
[13] Irene Kotsia和Ioannis Pitas。使用几何变形特征和支持向量机识别图像序列中的面部表情。图像处理,IEEE·Zbl 1132.68640号
[14] 马图林·马西亚斯(Mathurin Massias)、约瑟夫·萨尔蒙(Joseph Salmon)和亚历山大·格兰福特(Alexandre Gramfort)。赛勒:双外推套索的快速求解器。2018年,机器学习国际会议,第3321-3330页。
[15] 尼古拉·梅恩豪森和彼得·博尔曼。稳定性选择。英国皇家统计学会杂志:B辑(统计方法),72(4):417-4732010·Zbl 1411.62142号
[16] 约翰·莫尔(Johannes Mohr)和克劳斯·奥伯迈尔(Klaus Obermayer)。地形支持向量机:使用本地标签配置进行分类。《神经信息处理系统进展》,第929-936页,2004年。
[17] Harikrishna Narasimhan和Shivani Agarwal。Svm-pauc-tight:一种基于紧凸上界优化部分auc的新支持向量方法。诉讼中·兹比尔1456.68160
[18] Eugene Ndiaye、Olivier Fercoq、Alexandre Gramfort和Joseph Salmon。稀疏组套索的间隙安全筛选规则。D.D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon和R.Garnett,编辑,《神经信息处理系统进展》29,第388-396页。Curran Associates,Inc.,2016年·Zbl 1442.62161号
[19] 小川小平、铃木义树和竹内一郎。路径支持向量机计算中非支持向量的安全筛选。第三十届国际会议记录
[20] 拉尔夫·泰雷尔·罗卡费拉(Ralph Tyrell Rockafellar)。凸分析。普林斯顿大学出版社,1970年·Zbl 0193.18401号
[21] Shai Shalev-Shwartz和Tong Zhang。用于正则化损失最小化的加速近端随机双坐标上升。数学规划,155(1-2):105-1452016·兹比尔1342.90103
[22] Shai Shalev-Shwartz、Yoram Singer、Nathan Srebro和Andrew Cotter。Pegasos:支持向量机的原始估计子梯度解算器。数学规划,127(1):3-30,2011·Zbl 1211.90239号
[23] Atsushi Shibagaki、Masayuki Karasuyama、Kohei Hatano和Ichiro Takeuchi。双重稀疏建模中特征和样本的同时安全筛选。诉讼中
[24] Robert Tibshirani、Jacob Bien、Jerome Friedman、Trevor Hastie、Noah Simon、Jonathan Taylor和Ryan J Tibshilani。在套索型问题中丢弃预测因子的强规则。英国皇家统计学会杂志:B辑(统计方法),74·Zbl 1411.62213号
[25] 王杰(Jie Wang)、彼得·旺卡(Peter Wonka)和叶洁平(Jieping Ye)。通过精确数据缩减来缩放svm和最小绝对偏差。第31届机器学习国际会议论文集·Zbl 1360.62403号
[26] 王杰、周嘉瑜、刘军、彼得·旺卡和叶洁平。稀疏逻辑回归的安全筛选规则。《神经信息处理系统进展》,第1053-1061页,2014b。
[27] 王杰、王彼得和叶洁平。拉索通过双多面体投影筛选规则。《机器学习研究杂志》,16:1063-11012015年·Zbl 1360.62403号
[28] 王丽、朱继和邹慧。双正则化支持向量机。《中国统计》,第589-6152006页·Zbl 1126.68070号
[29] 甄·詹姆斯·翔(Zhen James Xiang)和彼得·拉马奇(Peter J Ramadge)。基于相关性的快速套索筛选测试。《声学、语音和信号处理(ICASSP)》,2012年IEEE国际会议,第2137-2140页。IEEE,2012年。
[30] Tao Yang、Jie Wang、Qian Sun、Derrek P Hibar、Neda Jahanshad、Li Liu、Yalin Wang、Liang Zhan、Paul M Thompson和Jieping Ye。通过套索筛选在全基因组序列数据中检测阿尔茨海默病的遗传风险因素。在生物医学成像(ISBI)中,
[31] Yuya Yoshikawa、Tomoharu Iwata和Hiroshi Sawada。潜在支持测量机器,用于恶意数据分类。《神经信息处理系统进展》,1961-1969页,2014年。
[32] 张伟忠、洪斌、刘伟、叶洁平、蔡登、何晓飞和王杰。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。