×

使用投入产出权衡进行聚合。 (英语) Zbl 1418.62116号

摘要:在本文中,我们介绍了一种新的学习策略,该策略基于莫吉尔斯海巴尼(M.Mojirsheibani)【《美国统计协会期刊》94,第446、600–609号(1999年;Zbl 0997.62048号); 统计概率。莱特。48,第4期,411-419(2000年;Zbl 0955.62066号); J.多变量分析。81,第1期,28–46页(2002年;Zbl 1011.62066号); Commun公司。统计、仿真计算。31,第2期,245–260(2002年;Zbl 1081.62537号)],他提出了一种基于共识的智能方法来组合多个分类器。在许多聚合方法中,新观测值(x)的预测是通过在一组之前使用训练数据集校准的基本估计量(r_1(x)、ldots、r_m(x))上建立线性或凸组合来计算的。Mojirsheibani建议通过组合训练示例的选定输出来计算与新观测相关的预测。如果观察到某种共识,则选择训练示例的输出:使用不同机器为训练示例计算的预测必须与新观察的预测“相似”。这种方法最近被扩展到了[G.彪等,《多元分析杂志》。146, 18–28 (2016;Zbl 1334.62005年)].
在原方案中,实际需要对所有单个估计量保持一致性条件,如果存在一个坏的初始估计量,则该条件似乎是不充分的。实际上,允许有一些分歧;为了建立理论结果,要求满足条件的估计量的比例趋于1。
在本文中,我们提出了另一种方法,将先前关于预测的共识与计算条目之间的欧几里德距离相结合。这可以被视为一种替代方法,允许使用对输入的约束来减少初始列表中可能出现的错误估计的影响。
我们证明了我们的策略在分类和回归中的一致性。我们还对模拟数据和实际数据进行了一些数值实验,以说明这种新聚合方法的优点。总的来说,我们的实际研究表明,我们的方法可能比原始的组合技术性能要好得多,尤其是方差小得多。我们还通过仿真实例表明,这种混合输入和输出的方法对高维输入仍然是鲁棒的。

MSC公司:

62G05型 非参数估计
62G08号 非参数回归和分位数回归
62H30型 分类和区分;聚类分析(统计方面)
6220国集团 非参数推理的渐近性质

软件:

COBRA公司
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Audibert,J.Y.,《最小二乘回归的聚合估计量和经验复杂性》,《安娜·Inst.Henri Poincare Probab》。《法律总汇》第40685-736页(2004年)·Zbl 1052.62037号
[2] Balakrishnan,N。;Mojirsheibani,M.,一种简单的方法,用于组合估计以提高分类中的总体错误率,计算。统计人员。,1-17 (2015)
[3] Biau,G。;Fischer,A。;Guedj,B。;Malley,J.,《眼镜蛇:一种组合回归策略》,J.多元分析。,146,C,18-28(2016)·Zbl 1334.62005年
[4] 布尼亚,F。;Tsybakov,A.B。;Wegkamp,M.H.,通过(ell_1)惩罚最小二乘法的聚集和稀疏性,(Lugosi,G.;Simon,H.U.,《第19届学习理论年会论文集》,COLT 2006。《第19届学习理论年会论文集》,COLT 2006,《人工智能讲义》,第35卷(2006),斯普林格·弗拉格,柏林-海德堡),379-391·Zbl 1143.62319号
[5] 布尼亚,F。;Tsybakov,A.B。;Wegkamp,M.H.,高斯回归的聚集,Ann.Statist。,35, 1674-1697 (2007) ·Zbl 1209.62065号
[6] 布尼亚,F。;Tsybakov,A.B。;Wegkamp,M.H.,拉索的稀疏预言不等式,电子。J.Stat.,35,169-194(2007)·Zbl 1146.62028号
[7] Cadet,O.,Harper,C.,Mougeot,M.(2005)采用创新的自动适应方法监测压缩机的能源性能。In:仪表系统和自动化-ISA-芝加哥。;Cadet,O.,Harper,C.,Mougeot,M.,(2005)用创新的自适应方法监测压缩机的能源性能。In:仪表系统和自动化-ISA-芝加哥。
[8] Catoni,O.,《统计学习理论与随机优化》,(概率论与统计学讲座,圣弗洛尔概率学院XXXI-2001,数学讲义(2004),斯普林格)·Zbl 1076.93002号
[9] Cholaquidis,A。;R·弗雷曼。;Kalemkerian,J。;Llop,P.,非线性聚集型分类器,J.多元分析。,146, 269-281 (2016) ·Zbl 1334.62055号
[10] Dalalyan,A。;Tsybakov,A.B.,指数加权聚合,尖锐的PAC贝叶斯边界和稀疏性,马赫。学习。,72, 39-61 (2008) ·Zbl 1470.62054号
[11] Devroye,L。;Györfi,L。;Lugosi,G.,模式识别的概率理论,(数学应用(1996),Springer:Springer New York)·Zbl 0853.68150号
[12] Devroye,L。;Krzyżak,A.,核回归估计l1收敛的等价定理,J.Statist。计划。推理,23,71-82(1989)·Zbl 0686.62027号
[13] Guedj,B.,COBRA:预测因子的非线性聚合(2013),R包版本0.99.4
[14] Györfi,L。;科勒,M。;Krzyżak,A。;Walk,H.,非参数回归的无分布理论(Springer Series in Statistics(2002),Springer:Springer New York)·Zbl 1021.62024号
[15] 朱迪茨基,A。;Nemirovski,A.,非参数估计的函数聚合,Ann.Statist。,28, 681-712 (2000) ·Zbl 1105.62338号
[16] Massart,P.,《浓度不平等和模型选择》,(Picard,J.,《圣弗洛尔概率》第三十三卷,2003年)。埃科尔·德·埃特塞·德·圣弗洛尔概率三十三-2003,数学课堂讲稿(2007),施普林格:施普林格柏林,海德堡)·Zbl 1170.60006号
[17] Mojirsheibani,M.,通过离散化组合分类器,J.Amer。统计师。协会,94600-609(1999)·Zbl 0997.62048号
[18] Mojirsheibani,M.,基于核的组合分类规则,Statist。普罗巴伯。莱特。,48, 411-419 (2000) ·Zbl 0955.62066号
[19] Mojirsheibani,M.,一种几乎可以确定的最优组合分类规则,J.多元分析。,81, 28-46 (2002) ·Zbl 1011.62066号
[20] Mojirsheibani,M.,一些组合分类器的比较研究,Comm.Statist。模拟计算。,31, 245-260 (2002) ·Zbl 1081.62537号
[21] Nemirovski,A.,《非参数统计专题》(《圣弗洛尔概率》第二十八卷-1998年(2000年),施普林格出版社)·Zbl 0998.62033号
[22] Wegkamp,M.H.,非参数回归中的模型选择,Ann.Statist。,31, 252-273 (2003) ·Zbl 1019.62037号
[23] 杨勇,结合不同程序进行自适应回归,《多元分析杂志》。,74, 135-161 (2000) ·Zbl 0964.62032号
[24] Yang,Y.,混合自适应回归,J.Amer。统计师。协会,96,574-588(2001)·Zbl 1018.62033号
[25] Yang,Y.,《提高绩效的聚合回归程序》,Bernoulli,10,25-47(2004)·Zbl 1040.62030
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。