×

基于均匀设计的支持向量机模型选择。 (英语) 兹比尔1452.62073

总结:在学习任务中选择一个好的参数设置以获得更好的泛化性能的问题就是所谓的模型选择。提出了一种嵌套均匀设计(UD)方法,用于支持向量机(SVM)的高效、稳健和自动模型选择。该方法用于选择参数组合的候选集,并进行k次交叉验证,以评估每个参数组合的泛化性能。与传统的穷举网格搜索相比,该方法可以被视为随机搜索的确定性模拟。它可以显著减少参数试验的次数,并提供在计算时间约束下调整候选集大小的灵活性。与网格搜索相比,UD模型选择的关键理论优势在于,UD点比网格点“更均匀”、“更填充空间”。更好的均匀性和空间填充现象通过避免对邻近图案进行浪费的功能评估,使UD选择方案更加有效。针对不同的学习任务、不同的数据集以及不同的SVM算法,对该方法进行了评估。

MSC公司:

2008年6月62日 统计问题的计算方法
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Bengio,Y.,超参数的基于梯度的优化,神经计算。,12, 8, 1889-1900 (2000)
[2] Chang,C.-C.,Lin,C.-J.,2005年。LIBSVM:支持向量机库。;Chang,C.-C.,Lin,C.-J.,2005年。LIBSVM:支持向量机库。
[3] 沙佩尔,O。;Vapnik,V。;Bousquet,O。;Mukherjee,S.,《为支持向量机选择多个参数》,马赫。学习。,46, 1-3, 131-159 (2002) ·Zbl 0998.68101号
[4] 北卡罗来纳州克里斯蒂亚尼尼。;Shawe Taylor,J.,《支持向量机导论》(2000),剑桥大学出版社:剑桥大学出版社,美国马萨诸塞州剑桥
[5] Fang,K.-T.,Lin,D.K.J.,2003年。统一实验设计及其在工业中的应用。收录于:Khattree,R.,Rao,C.R.,(编辑),《统计手册》,第22卷。荷兰北部,阿姆斯特丹,第131-170页。;Fang,K.-T.,Lin,D.K.J.,2003年。统一实验设计及其在工业中的应用。收录于:Khattree,R.,Rao,C.R.,(编辑),《统计手册》,第22卷。荷兰北部,阿姆斯特丹,第131-170页·Zbl 1018.62108号
[6] 方,K.-T。;王毅,《数理统计方法》(1994),查普曼与霍尔:查普曼和霍尔伦敦·Zbl 0925.65263号
[7] 方,K.-T。;Lin,D.K.J。;Winker,P。;张勇,《制服设计:理论与应用》,《技术计量学》,第42期,第237-248页(2000年)·Zbl 0996.62073号
[8] 智能数据分析小组(IDA)的基准库\(\langle;\)http://ida.first.fraunhofer.DE/projects/bench/benchmarks.htm\(\rangle;\);IDA。智能数据分析小组(IDA)的基准存储库\(\langle;\)http://ida.first.fraunhofer.DE/projects/bench/benchmarks.htm\(\rangle;\)
[9] Joachims,T.(2002)。\运算符名称{SVM}^{\mathit{light}}\langle;\)http://svmlight.joachims.org\(\rangle;\);Joachims,T.(2002)。\运算符名称{SVM}^{\mathit{light}}\langle;\)http://svmlight.joachims.org\(\rangle;\)
[10] Keerthi,S.S。;Lin,C.-J.,高斯核支持向量机的渐近行为,神经计算。,15, 7, 1667-1689 (2003) ·Zbl 1086.68569号
[11] Larsen,J.,Svarer,C.,Andersen,L.N.,Hansen,L.K.,1998年。神经网络建模中的自适应正则化。收录:Orr,G.B.,Müller,K.R.,(编辑),《神经网络:贸易的诡计》。柏林施普林格。;Larsen,J.、Svarer,C.、Andersen,L.N.、Hansen,L.K.,1998年。神经网络建模中的自适应正则化。收录:Orr,G.B.,Müller,K.R.,(编辑),《神经网络:贸易的诡计》。柏林施普林格。
[12] Lee,Y.-J。;Huang,S.-Y.,《简化支持向量机:统计理论》,IEEE Trans。神经网络。,18, 1-13 (2007)
[13] Lee,Y.-J.,Mangasarian,O.L.,2001a。RSVM:减少支持向量机。In:首届SIAM数据挖掘国际会议,芝加哥。;Lee,Y.-J.,Mangasarian,O.L.,2001a。RSVM:减少支持向量机。参加:芝加哥首届SIAM国际数据挖掘会议。
[14] Lee,Y.-J.,Mangasarian,O.L.,2001b。SSVM:平滑支持向量机。计算。最佳方案。申请。20, 5-22.; Lee,Y.-J.,Mangasarian,O.L.,2001b。SSVM:平滑支持向量机。计算。最佳方案。申请。20,5-22·Zbl 1017.90105号
[15] Lee,Y.-J。;谢伟富。;Huang,C.-M.,(varepsilon)-SSVR:不敏感回归的平滑支持向量机,IEEE Trans。知识。数据工程,17,678-685(2005)
[16] Newman,D.J.,Hettich,S.,Blake,C.L.,Merz,C.J.,1998年。机器学习数据库的UCI存储库\(\langle;\)网址:http://www.ics.uci.edu/mlearn/MLRepository.html \(\rangle;\);Newman,D.J.,Hettich,S.,Blake,C.L.,Merz,C.J.,1998年。机器学习数据库的UCI存储库\(\langle;\)网址:http://www.ics.uci.edu/mlearn/MLRepository.html \(\rangle;\)
[17] Niederreiter,H.,随机数生成和准蒙特卡罗方法(1992),SIAM:SIAM Philadelphia·Zbl 0761.65002号
[18] 尼德雷特,H。;Peart,P.,全局优化拟蒙特卡罗方法中搜索的局部化,SIAM J.Sci。统计。计算。,7, 2, 660-664 (1986) ·兹比尔0613.65067
[19] Silverman,B.W.,《统计和数据分析密度估计》(1986年),查普曼和霍尔:查普曼与霍尔伦敦·Zbl 0617.62042号
[20] Smola,A。;Schölkopf,B.,《支持向量回归教程》,Statist。计算。,14, 199-222 (2004)
[21] Stone,C.J.,核密度估计的渐近最优窗口选择规则,Ann.Statist。,12, 1285-1297 (1984) ·Zbl 0599.62052号
[22] Stone,M.,统计预测的交叉验证选择和评估,J.Roy。统计师。Soc.序列号。B、 36、1、111-147(1974)·Zbl 0308.62063号
[23] Vapnik,V.N.,《统计学习理论的本质》(1995),施普林格出版社:美国纽约施普林格·Zbl 0833.62008号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。