×

回归问题的数据复杂性元特征。 (英语) Zbl 1462.62392号

摘要:在元学习中,分类问题可以用各种特征来描述,包括复杂性度量。这些度量可以捕获划分类的边界的复杂性。另一方面,对于回归问题,缺乏此类度量。本文提出并分析了用于估计回归问题中应拟合数据的函数复杂性的措施。作为案例研究,它们被用作三种元学习设置中的元特征:(i)第一种设置预测一些合成数据集的回归函数类型;第二种方法用于调整支持向量回归器的参数值;第三种方法旨在预测给定数据集的各种回归变量的性能。结果表明,新的度量方法适用于描述回归数据集及其在元学习任务中的效用。在案例(ii)和(iii)中,获得的结果也与元学习中使用经典元特征获得的结果相似或更好。

MSC公司:

62H30型 分类和区分;聚类分析(统计方面)
62J02型 一般非线性回归
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Amasyali,M.和Erson,O.(2009年)。回归元学习研究。普渡大学ECE技术报告386技术代表。
[2] Armstrong,J.S.(2012)。回归分析中的错觉。国际预测杂志,28(3),689-694·doi:10.1016/j.ijforecast.2012.02.01
[3] Bache,K.和Lichman,M.(2013)。UCI机器学习库。网址:http://archive.ics.uci.edu/ml加州大学欧文分校信息与计算机科学学院·兹比尔1101.68083
[4] Basak,D.、Pal,S.和Patranabis,D.C.(2007年)。支持向量回归。神经信息处理——信件与评论,11(10),203-224。
[5] Braddil,P.、Giraud-Carrier,C.、Soares,C.和Villata,R.(2008)。元学习:数据挖掘的应用。纽约:Springer科学与商业媒体·Zbl 1173.68625号
[6] Cavalcanti,G.、Ren,T.和Vale,A.(2012年)。数据复杂性度量和最近邻分类器:元学习的实用分析。摘自:IEEE第24届人工智能工具国际会议(ICTAI),2012年(第1卷,第1065-1069页)。电气与电子工程师协会。
[7] Cristianini,N.、Shawe-Taylor,J.、Elisseeff,A.和Kandola,J.(2002)。关于内核-目标对齐。神经信息处理系统进展,14,367-373。
[8] de Miranda,P.、Prudíncio,R.B.C.、Carvalho,A.和Soares,C.(2014)。一种用于SVM参数多目标优化的混合元学习结构。神经计算,143,27-43·doi:10.1016/j.neucom.2014.06.026
[9] Garcia,L.P.,de Carvalho,A.C.和Lorena,A.C.(2015)。标签噪声对分类问题复杂性的影响。神经计算,160108-119·doi:10.1016/j.neucom.2014.10.085
[10] Garcia,L.P.,de Carvalho,A.C.和Lorena,A.C.(2016)。元学习水平中的噪声检测。神经计算,176,14-25·doi:10.1016/j.neucom.2014.12.100
[11] Gomes,T.A.F.、Prudíncio,R.B.C.、Soares,C.、Rossi,A.L.D.和Carvalho,A.(2012)。结合元学习和搜索技术来选择支持向量机的参数。神经计算,75(1),3-13·doi:10.1016/j.neucom.2011.07.005
[12] Ho,T.K.和Basu,M.(2002)。监督分类问题的复杂性度量。IEEE模式分析和机器智能汇刊,24(3),289-300·doi:10.1109/34.990132
[13] Keerthi,S.S.和Lin,C.J.(2003)。高斯核支持向量机的渐近行为。神经计算,15(7),1667-1689·Zbl 1086.68569号 ·doi:10.1162/089976603321891855
[14] Kuba,P.、Brazdil,P.、Soares,C.和Woznica,A.(2002年)。利用采样和元学习进行支持向量机参数设置。载于:第八届伊比利亚美洲人工智能会议,与2002年伊比利亚相关的车间学习和数据挖掘会议记录(西班牙塞维利亚塞维利亚大学,第209-216页)。
[15] Leite,R.、Braddil,P.和Vanschoren,J.(2012)。选择带有主动测试的分类算法。摘自:第八届模式识别中的机器学习和数据挖掘国际会议论文集(第117-131页)。
[16] Leyva,E.、Gonzalez,A.和Perez,R.(2015)。一组用于将元学习应用于实例选择的复杂性度量。IEEE知识与数据工程汇刊,27(2),354-367·doi:10.1109/TKDE.2014.2327034
[17] Loterman,G.和Mues,C.(2012年)。通过元学习选择准确易懂的回归算法。参见:IEEE第12届数据挖掘研讨会国际会议(第953-960页)。
[18] Maciel,A.I.、Costa,I.G.和Lorena,A.C.(2016)。衡量回归问题的复杂性。在:2016年神经网络国际会议IEEE会议记录(出版中)。
[19] Morán-Fernández,L.、Bolón-Canedo,V.和Alonso-Betanzos,A.(2017年)。能否通过复杂性度量预测分类性能?一项使用微阵列数据的研究。知识与信息系统,51(3),1067-1090·doi:10.1007/s10115-016-1003-3
[20] Orriols-Puig,A.、Maci,N.和Ho,T.K.(2010年)。c++中数据复杂性库的文档。拉萨尔大学拉蒙·卢尔分校技术代表。
[21] 巴帕·G.L.、奥乔亚·G.、海德·M.R.、弗里塔斯·A.A.、伍德沃德·J.和斯旺·J.(2014)。元学习和超神经研究的对比:进化算法的作用。遗传编程与进化机器,15(1),3-35·doi:10.1007/s10710-013-9186-9
[22] Pedregosa,F.、Varoqueux,G.、Gramfort,A.、Michel,V.、Thirion,B.、Grisel,O.等人(2011年)。Scikit-learn:用python进行机器学习。机器学习研究杂志,12825-2830·Zbl 1280.68189号
[23] Smith,M.R.、White,A.、Giraud-Carrier,C.和Martinez,T.(2014)。一个易于使用的存储库,用于比较和改进机器学习算法的使用。预印本。arXiv:14057292。
[24] Soares,C.(2008)。开发用于算法推荐的元学习系统。参见:P.Braddil、C.Giraud-Carrier、C.Soares和R.Villata(编辑),《元学习:数据挖掘的应用》(第33-62页)。斯普林格·Zbl 1280.68189号
[25] Soares,C.和Braddil,P.B.(2006年)。使用元学习和基于核矩阵的元特征来选择SVM的参数。摘自:2006年ACM应用计算研讨会论文集,ACM,SAC’06,(第564-568页)。
[26] Soares,C.、Braddil,P.B.和Kuba,P.(2004)。支持向量回归中选择核宽度的元学习方法。机器学习,54(3),195-209·Zbl 1101.68083号 ·doi:10.1023/B:MACH.0000015879.28004.9b
[27] Thornton,C.、Hutter,F.、Hoos,H.和Leyton-Brown,K.(2013)。Auto-WEKA:分类算法的组合选择和超参数优化。摘自:第19届ACM SIGKDD知识发现和数据挖掘国际会议记录(第847-855页)。
[28] Wistuba,M.、Schilling,N.和Schmidt-Thieme,L.(2016)。用于自动超参数优化的两阶段转移代理模型。摘自:关于数据库中的机器学习和知识发现的欧洲会议(第199-214页)·Zbl 1101.68083号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。