李嘉良;吕靖;Wan，Alan T.K。;廖军 AdaBoost半参数模型多类别平均预测。 （英语） Zbl 1506.62329号 美国统计协会。 117，编号537，495-509（2022）. 摘要：模型平均技术对于基于模型的预测非常有用。然而，该领域的大多数早期工作集中于参数模型和连续响应。在本文中，我们研究了变系数多项式logistic模型，并提出了一种用于多类别结果的半参数模型平均预测（SMAP）方法。该方法不需要对所采用的变系数子模型结构中的指标变量进行任何人工指定来预测响应。特别是，这种新的SMAP方法对模型错误指定具有更大的灵活性和鲁棒性。为了提高实际预测性能，我们将SMAP与AdaBoost算法相结合，以获得更准确的类概率估计和模型平均权重。通过大量仿真，我们将我们提出的方法与所有现有的模型平均方法和广泛的流行分类方法进行了比较。包括一项汽车分类研究，以说明我们的方法的优点。 引用于7文件 理学硕士： 62H30型 分类和歧视；聚类分析（统计方面） 68T05型 人工智能中的学习和自适应系统 关键词：增压;模型平均值;型号规格错误;预测精度;平滑的;变系数结构识别 软件：格尔姆奈特;质量（R）;AdaBoost-SAMME公司;味精 PDF格式BibTeX公司 XML格式引用 \textit{J.Li}等人，J.Am.Stat.Assoc.117，No.537，495--509（2022；Zbl 1506.62329） 全文： 内政部 参考文献： [1] Akaike，H.，“统计模型识别的新视角，IEEE自动控制汇刊，19716-723（1974）·Zbl 0314.62039号 ·doi:10.1109/TAC.1974.1100705 [2] Akaike，H.，“自回归模型拟合最小AIC程序的贝叶斯扩展，生物特征，66237-242（1979）·兹比尔0407.62064 [3] 安藤，T。；Li，K.C.，“高维回归的模型平均法”，《美国统计协会杂志》，109254-265（2014）·Zbl 1367.62209号 ·doi:10.1080/01621459.2013.838168 [4] 安藤，T。；Li，K.-C.，“高维广义线性模型的加权松弛模型平均方法，统计年鉴，452654-2679（2017）·Zbl 1421.62094号 ·doi:10.1214/17-AOS1538 [5] 巴鲁特，E。；范，J。；Verhasselt，A.，“有条件的确定独立性筛选，美国统计协会杂志，1111266-1277（2016）·doi:10.1080/01621459.2015.1092974 [6] Bennett，K.，“对‘Mease和Wyner的回应，与提升统计观点相反的证据，机器学习研究杂志，9，157-164（2008） [7] Biau，G.，“随机森林模型的分析”，《机器学习研究杂志》，1301063-1095（2012）·Zbl 1283.62127号 [8] Bickel，P.J。；Levina，E.，“大协方差矩阵的正则化估计”，《统计年鉴》，36，199-227（2008）·Zbl 1132.62040号 ·doi:10.1214/009053607000000758 [9] Breiman，L.，“使用非负Garotte进行更好的子集回归，技术计量学，37373-384（1995）·Zbl 0862.62059号 ·doi:10.1080/00401706.1995.10484371 [10] Breiman，L.，“随机森林，机器学习，45，5-32（2001）·Zbl 1007.68152号 [11] 布雷曼，L。；弗里德曼，J.H。；Olshen，R.A。；Stone，C.J.，《分类和回归树》（1984），加利福尼亚州贝尔蒙特市：加利福尼亚州贝尔蒙市沃兹沃斯·Zbl 0541.62042号 [12] Bühlmann，P。；Yu，B.，“稀疏推进”，《机器学习研究杂志》，71001-1024（2006）·Zbl 1222.68155号 [13] Bühlmann，P。；Yu，B.，“对‘Mease和Wyner的回应，与提升统计观点相反的证据，机器学习研究杂志，9187-194（2008） [14] 陈，J。；李，D。；林惇，O。；Lu，Z.，“非线性动态时间序列的半参数超高维模型平均，美国统计协会杂志，113919-932（2018）·Zbl 1398.62225号 ·doi:10.1080/016214592017.1302339 [15] Chen，L。；Wan，A.T.K。；Tso，G。；Zhang，X.，“有序Probit和嵌套Logit模型的模型平均方法及其应用，应用统计杂志，453012-3052（2018）·Zbl 1516.62203号 ·网址：10.1080/02664763.2018.1450367 [16] 程，M.Y。；本田，T。；Zhang，J.T.，“稀疏超高维变系数模型的正向变量选择”，美国统计协会杂志，1111209-1221（2016）·doi:10.1080/01621459.2015.1080708 [17] 崔，X。；哈德尔，W.K。；Zhu，L.，“单指数模型的EFM方法，统计年鉴，39，1658-1688（2011）·Zbl 1221.62062号 ·doi:10.1214/10-AOS871 [18] 克拉默，K。；Singer，Y.，“基于多类核向量机的算法实现”，《机器学习研究杂志》，第2期，第265-292页（2001年）·Zbl 1037.68110号 [19] de Boor，C.，《样条实用指南》（2001），纽约：Springer，纽约·Zbl 0987.65015号 [20] 多明戈，C。；Watanabe，O.，180-189（2000） [21] 范，J。；Huang，T.，“半参数变系数部分线性模型的剖面似然推断，Bernoulli，11，1031-1057（2005）·Zbl 1098.62077号 ·doi:10.3150/bj/1137421639 [22] 范，J。；Li，R.，“通过非证实惩罚可能性及其Oracle属性进行变量选择”，《美国统计协会杂志》，96，1348-1360（2001）·Zbl 1073.62547号 ·doi:10.1198/016214501753382273 [23] 范，J。；Lv，J.，“超高维特征空间的确定独立筛选”，《皇家统计学会杂志》，B辑，70849-911（2008）·Zbl 1411.62187号 ·doi:10.1111/j.1467-9868.2008.00674.x [24] 范，J。；马云（Ma，Y.）。；Dai，W.，“稀疏超高维变系数模型中的非参数独立性筛选，美国统计协会杂志，1091270-1284（2014）·Zbl 1368.62095号 ·doi:10.1080/01621459.2013.879828 [25] 范，J。；Peng，H.，“具有不同参数数的非证实惩罚可能性”，《统计年鉴》，32928-961（2004）·Zbl 1092.62031号 ·doi:10.1214/009053604000000256 [26] 范，J。；Song，R.，“具有NP维的广义线性模型中的确定独立性筛选”，《统计年鉴》，38，3567-3604（2010）·Zbl 1206.68157号 ·doi:10.1214/10-AOS798 [27] 范，J。；姚，Q。；Cai，Z.，“自适应变系数线性模型”，英国皇家统计学会期刊，B辑，65，57-80（2003）·Zbl 1063.62054号 ·数字对象标识代码：10.1111/1467-9868.00372 [28] 范，J。；张伟，“变系数模型的统计估计”，《统计年鉴》，第27期，1491-1518页（1999年）·Zbl 0977.62039号 ·doi:10.1214/aos/1017939139 [29] 范，J。；Zhang，W.，“变系数模型的统计方法、统计及其界面，1179-195（2008）·Zbl 1230.62031号 [30] 芬德利，D.F.，“节俭和BIC的反例，统计数学研究所年鉴，43，505-514（1991）·兹比尔0850.62648 ·doi:10.1007/BF00053369 [31] Freund，Y.，“通过多数、信息和计算促进弱学习算法，121，256-285（1995）·Zbl 0833.68109号 ·文件编号：10.1006/inco.1995.1136 [32] Freund，Y.，“Boost-by-Majority算法的自适应版本，机器学习，43，293-318（2001）·Zbl 0988.68150号 [33] 弗伦德，Y。；Schapire，R.，“在线学习的决策理论推广及其在提升中的应用”，《计算机与系统科学杂志》，55，119-139（1997）·Zbl 0880.68103号 ·doi:10.1006/jcss.1997.1504 [34] Friedman，J.，“贪婪函数近似：梯度推进机器”，《统计年鉴》，291189-1232（2001）·Zbl 1043.62034号 ·doi:10.1214/aos/1013203451 [35] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，“加性逻辑回归：提升的统计观点”，《统计年鉴》，第28期，第337-407页（2000年）·Zbl 1106.62323号 ·doi:10.1214/aos/1016218223 [36] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，“通过坐标下降的广义线性模型的正则化路径”，《统计软件杂志》，33，1-22（2010） [37] 高，Y。；张，X。；王，S。；Zou，G.，“基于Leave-Subject-Out交叉验证的模型平均值”，《计量经济学杂志》，192139-151（2016）·Zbl 1419.62084号 ·doi:10.1016/j.jeconom.2015.07.006 [38] Guo，Z。；李，L。；卢·W。；Li，B.，“通过包络法进行分组维数缩减，美国统计协会期刊，110，1515-1527（2015）·Zbl 1373.62156号 ·doi:10.1080/01621459.2014.970687 [39] Hansen，B.E.，“最小二乘模型平均化，计量经济学，7511175-1189（2007）·Zbl 1133.91051号 ·doi:10.1111/j.1468-0262.200700785.x [40] Hansen，B.E.，“最小二乘预测平均值”，《计量经济学杂志》，146，342-350（2008）·Zbl 1429.62421号 [41] Hansen，B.E。；Racine，J.S.，“刀切模型平均值”，《计量经济学杂志》，167，38-46（2012）·Zbl 1441.62721号 ·doi:10.1016/j.jeconom.2011.06.019 [42] 哈斯蒂，T。；Tibshirani，R.，“变系数模型，皇家统计学会期刊，B辑，55，757-796（1993）·Zbl 0796.62060号 ·doi:10.1111/j.2517-6161.1993.tb01939.x [43] 霍斯默，D.W。；Lemeshow，S.，应用逻辑回归（2004），纽约：威利，纽约 [44] 徐，C.-W。；Lin，C.-J.，“多类支持向量机方法的比较”，IEEE神经网络汇刊，13415-425（2002） [45] 黄，J。；霍洛维茨，J.Z。；Wei，F.，“非参数加性模型中的变量选择”，《统计学年鉴》，382282-2313（2010）·Zbl 1202.62051号 ·doi:10.1214/09-AOS781 [46] 黄J.Z。；吴总。；周，L.，“具有纵向数据的变系数模型的多项式样条估计和推断，统计学，14763-788（2004）·Zbl 1073.62036号 [47] 黄，T。；Li，J.，“面板数据分析中的半参数模型平均预测，非参数统计杂志，30，125-144（2018）·Zbl 1388.6211号 ·doi:10.1080/10485252.2017.1404061 [48] Ke，Y。；Fu，B。；张伟，“疾病进展风险预测的半变异系数多项式Logistic回归，医学统计学，35，4764-4778（2016）·数字对象标识代码：10.1002/sim.7034 [49] Kim，M.，“不同系数的分位数回归，统计年鉴，35，92-108（2007）·Zbl 1114.62051号 ·doi:10.1214/009053600000966 [50] Lee，Y。；Lin，Y。；Wahba，G.，“多类别支持向量机：微阵列数据和卫星辐射数据分类的理论和应用”，美国统计协会杂志，99，67-81（2004）·兹比尔1089.62511 ·doi:10.1198/016214500000098 [51] Li，A.H。；Bradic，J.，“异常值存在时的提升：具有非凸损失函数的自适应分类”，美国统计协会期刊，113660-674（2018）·Zbl 1398.62167号 ·doi:10.1080/01621459.2016.1273116 [52] 李，C。；李强。；Racine，J。；Zhang，D.，变系数模型的最优模型平均（2018）·Zbl 1406.62056号 ·doi:10.2139/ssrn.2905268 [53] 李，D。；林惇，O。；Lu，Z.，“时间序列的灵活半参数预测模型”，《计量经济学杂志》，187，345-357（2015）·Zbl 1337.62271号 ·doi:10.1016/j.econom.2015.02.025 [54] 李，J。；江，B。；Fine，J.，“用于评估诊断准确性改进的多类别重新分类统计，生物统计学，14，382-394（2013）·doi:10.1093/biostatistics/kxs047 [55] 李，J。；夏，X。；Wong，W。；Nott，D.，“变系数半参数模型平均预测，生物统计学，741417-1426（2018）·doi:10.1111/biom.12904 [56] 李伟（Li，W.）。；李，B。；Yin，X.，“关于兴趣统计函数的有效降维，统计年鉴，42，382-412（2014）·Zbl 1285.62072号 ·doi:10.1214/13-AOS1195 [57] Liang，H。；邹，G。；Wan，A.T.K。；Zhang，X.，“频繁模型平均估值器的最优权重选择”，《美国统计协会杂志》，1061053-1066（2011）·Zbl 1229.62090号 ·doi:10.1198/jasa.2011.tm09478 [58] Liu，C.，“最小二乘平均估计的分布理论，计量经济学杂志，186，142-159（2015）·Zbl 1331.62337号 ·doi:10.1016/j.jeconom.2014.07.002 [59] 刘杰。；李，R。；Wu，R.，“超高维协变量变系数模型的特征选择，美国统计协会杂志，109266-274（2014）·Zbl 1367.62048号 ·doi:10.1080/01621459.2013.850086 [60] 马云（Ma，Y.）。；Zhu，L.，“充分降维中的有效估计”，《统计学年鉴》，41250-268（2013）·Zbl 1347.62089号 ·doi:10.1214/12-AOS1072 [61] McCullagh，P。；Nelder，J.A.，《广义线性模型》（1989），伦敦：查普曼和霍尔出版社，伦敦·Zbl 0744.62098号 [62] 米斯，D。；Wyner，A.，“与提升统计观点相反的证据”，《机器学习研究杂志》，第9期，第131-156页（2008年） [63] 鲍威尔，J.L。；股票，J.H。；Stoker，T.M.，“指数系数的半参数估计，计量经济学，57/1403-1430（1989）·Zbl 0683.62070号 ·doi:10.2307/1913713 [64] 功率，S。；哈斯蒂，T。；Tibshirani，R.，“核惩罚多项式回归及其在棒球比赛结果预测中的应用，统计建模，18，388-410（2018）·Zbl 07289515号 ·doi:10.1177/1471082X18777669 [65] 拉希姆，N.A。；Paulraj，M.P。；Adom，A.H.，“使用SVM分类器的自适应增强用于移动车辆分类，Procedia Engineering，53，411-419（2013）·doi:10.1016/j.proeng.2013.02.054 [66] 拉维库马尔，P。；Lafferty，J。；刘，H。；Wasserman，L.，“稀疏加性模型”，《皇家统计学会杂志》，B辑，711009-1030（2009）·Zbl 1411.62107号 ·文件编号：10.1111/j.1467-9868.2009.00718.x [67] Ripley，B.D.，模式识别和神经网络（1996），剑桥：剑桥大学出版社，剑桥·Zbl 0853.62046号 [68] Schapire，R.，“使用输出代码促进多类学习问题”，《第十四届机器学习国际会议论文集》（1997） [69] 夏皮雷，R。；Singer，Y.，“使用置信预测改进的推进算法，机器学习，37，297-336（1999）·Zbl 0945.68194号 ·doi:10.1023/A:1007614523901 [70] Scornet，E。；Biau，G。；Vert，J.P.，“随机森林的一致性，统计年鉴，43，1716-1741（2015）·Zbl 1317.62028号 ·doi:10.1214/15-AOS1321 [71] 孙，Z。；Ban，X.，“使用GPS数据进行车辆分类，交通研究C部分，37102-117（2013）·doi:10.1016/j.trc.2013.09.015 [72] Tutz，G。；Pobnecker，W。；Uhlmann，L.，“一般多项式Logit模型中的变量选择，计算统计和数据分析，82，207-222（2015）·Zbl 1507.62170号 ·doi:10.1016/j.csda.2014.09.009 [73] 韦纳布尔斯，W.N。；里普利，B.D.，《现代应用统计与S》（2002），纽约：施普林格出版社，纽约·兹比尔1006.62003 [74] 文森特，M。；Hansen，N.R.，“稀疏群Lasso和高维多项式分类，计算统计和数据分析，71，771-786（2014）·Zbl 1471.62200号 ·doi:10.1016/j.csda.2013.06.004 [75] Wan，A.T.K。；张，X。；Wang，S.，“多项式和有序Logit模型的频繁模型平均值，国际预测杂志，30，118-128（2014）·doi:10.1016/j.ijforecast.2013.07.013 [76] Wan，A.T.K。；张，X。；Zou，G.，“用马尔洛准则进行最小二乘模型平均”，《计量经济学杂志》，156，277-283（2010）·Zbl 1431.62291号 ·doi:10.1016/j.jeconom.2009.10.030 [77] 夏，Y。；Tong，H。；Li，W.K。；Zhu，L.，“降维空间的自适应估计”（含讨论），《皇家统计学会杂志》，B辑，64，363-410（2002）·Zbl 1091.62028号 ·doi:10.1111/1467-9868.03411 [78] 袁，M。；Lin，Y.，“分组变量回归中的模型选择和估计，皇家统计学会期刊，B辑，68，49-67（2006）·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x [79] 张，T。；Yu，B.，“提前停止推动：趋同与一致性”，《统计年鉴》，第33期，第1538-1579页（2005年）·Zbl 1078.62038号 ·doi:10.1214/009053605000000255 [80] 张，X。；Liang，H.，“广义可加部分线性模型的聚焦信息准则和模型平均，统计年鉴，39，174-200（2011）·Zbl 1209.62088号 ·doi:10.1214/10-AOS832 [81] 张，X。；Liu，C.-A.，“线性回归模型中模型平均后的推断，计量经济学理论，35，816-841（2018）·1420.62300兹罗提 ·doi:10.1017/S0266466618000269 [82] 张，X。；Wang，W.，“部分线性模型的最优模型平均估计”，《统计学》，29，693-718（2018）·兹比尔1422.62245 ·doi:10.5705/ss.202015.0392 [83] 张，X。；Yu博士。；邹，G。；Liang，H.，“广义线性模型和广义线性混合效应模型的最优模型平均估计”，美国统计协会杂志，1111775-1790（2016）·doi:10.1080/01621459.2015.1115762 [84] 钟，P。；Fukushima，M.，“多类支持向量机的正则化非光滑牛顿法，优化方法和软件，22，225-236（2007）·Zbl 1188.68256号 ·doi:10.1080/10556780600834745 [85] 朱，J。；邹，H。；Rosset，S。；Hastie，T.，“多类AdaBoost，统计及其接口，2349-360（2009）·Zbl 1245.62080号 ·doi:10.4310/SII.2009.v2.n3.a8文件 [86] 朱，R。；Wan，A.T.K。；张，X。；Zou，G.，“变系数部分线性模型的Mallows-型模型平均估计量，美国统计协会杂志，114882-892（2018）·Zbl 1420.62303号 ·网址：10.1080/01621459.2018.1456936 [87] Zou，H.，“适应性套索及其甲骨文属性”，《美国统计协会杂志》，第101期，第1418-1429页（2006年）·Zbl 1171.62326号 ·doi:10.1198/016214500000735 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不声称其完整性或完全匹配。