×

提早停在\(L_{2}\)Boosting。 (英语) Zbl 1284.62041号

小结:众所周知,当boosting迭代次数变大时,类boosting算法(如AdaBoost及其许多修改)可能会过拟合训练数据。因此,如何在适当的迭代时间停止boosting算法是过去十年应用模型选择准则估计boosting的停止迭代的一个长期问题,但仍然需要计算训练数据中考虑的所有boosting迭代。因此,本文的主要目的是研究训练阶段(L_{2})Boosting的早期停止规则,以寻求非常可观的计算节省。该方法基于训练阶段基于模型选择准则值的变化点检测方法。该方法还扩展到医学和生物信息学应用中非常常见的两类分类问题。文中给出了这些方法的仿真研究和实际数据示例,并与LogitBoost进行了比较。

MSC公司:

62-07 数据分析(统计)(MSC2010)
62升15 统计中的最佳停止
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Akaike,H.,统计预测识别,统计数学研究所年鉴,22203-217(1970)·Zbl 0259.62076号
[3] Akaike,H.,统计模型识别的新视角,IEEE自动控制汇刊,19716-723(1974)·Zbl 0314.62039号
[4] 布莱尔·R·M。;方,H。;Branham,W.S。;哈斯,B.S。;刻度盘,S.L。;莫兰德,C.L。;Tong,W。;史,L。;Perkins,R.G。;Sheehan,D.M.,《188种天然和异种化学品的雌激素受体相对结合亲和力:配体的结构多样性》,《毒理学》,54,138-153(2000)
[5] Branham,W.S。;刻度盘,S.L。;莫兰德,C.L。;哈斯,B.S。;布莱尔·R·M。;方,H。;史,L。;Tong,W。;Perkins,R.G。;Sheehan,D.M.,植物雌激素和支原体雌激素与大鼠子宫雌激素受体结合,《营养学杂志》,658-664(2002)
[6] Bühlmann,P。;Yu,B.,(L_2)损失推动:回归和分类,美国统计协会杂志,98,324-339(2003)·Zbl 1041.62029号
[8] 柯林斯,M。;夏皮雷,R.E。;Singer,Y.,Logistic回归,AdaBoost和Bregman距离,机器学习,48,253-285(2002)·Zbl 0998.68123号
[11] 弗里德曼,J.,《贪婪函数近似:梯度提升机》,《统计年鉴》,291189-1232(2001)·Zbl 1043.62034号
[13] 汉森,M.H。;Yu,B.,模型选择和最小描述长度原则,美国统计协会杂志,96,746-774(2001)·Zbl 1017.62004号
[14] 哈斯蒂,T。;Tibishirani,R。;Friedman,J.,《统计学习的要素》(2001),Springer-Verlag:Springer-Verlag纽约·Zbl 0973.62007号
[15] 赫尔维奇,C.M。;Simonoff,J.S。;Tsai,C.L.,使用改进的Akaike信息准则在非参数回归中平滑参数选择,皇家统计学会杂志,B辑:统计方法,60,271-293(1998)·Zbl 0909.62039号
[16] 赫尔维奇,C.M。;Tsai,C.L.,小样本中的回归和时间序列模型选择,Biometrika,76297-307(1989)·Zbl 0669.62085号
[17] 梅森,L。;巴克斯特,J。;巴克特,P。;Frean,M.(Solla,S.A.;Leen,T.K.;Müller,K.-R.,《神经信息处理系统的进展》,第12卷(2000年),Massachusette理工学院),512-518
[18] 梅尔,R。;Rätsch,G.,《提升和杠杆作用导论》(Mendelson,S.;Smola,A.,《机器学习高级讲座》,LNCS(2003),Springer:Springer New York),119-184·Zbl 1019.68092号
[19] Shibata,R.,回归变量的最佳选择,生物统计学,68,45-54(1981)·Zbl 0464.62054号
[20] 速度,T.P。;Yu,B.,模型选择与预测:正态回归,统计数学研究所年鉴,4535-54(1993)·Zbl 0774.62093号
[21] Sugiura,N.,《利用Akaike信息准则和有限修正对数据进行进一步分析》,《统计学中的通信:理论和方法》,第7期,第13-26页(1978年)·Zbl 0382.62060号
[22] 曹国荣。;Chang,Y.-C.I.,增压的随机近似观点,计算统计与数据分析,52,325-334(2007)·Zbl 1452.62134号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。