×
尤斯拉·埃尔巴赫;安东尼·戴维森（Anthony C.Davison）。

广义可加模型的快速自动平滑。 （英语） 兹比尔1440.68208

J.马赫。学习。物件。 20，第173号论文，27页（2019年）.
摘要：广义可加模型（GAM）是一种回归模型，其中概率分布的参数通过平滑函数的和依赖于输入变量，其平滑度通过L_2正则化选择。当需要可解释性和灵活性时，此类模型已成为实际标准的非线性回归模型，但仍缺乏在大数据集中进行自动平滑的可靠和快速方法。我们使用经验贝叶斯方法开发了一种通用方法，用于自动学习GAM的最优L_2正则化程度。平滑函数由超参数惩罚，超参数通过使用近似期望最大化算法最大化边际似然来同时学习。后者涉及E步的双拉普拉斯近似，并导致有效的M步。实证分析表明，该算法在数值上是稳定的，比现有的最佳方法更快，并且达到了最先进的精度。为了举例说明，我们将其应用于极值数据分析中的一个重要且具有挑战性的问题。

MSC公司：

68T05型 人工智能中的学习和自适应系统
62J12型 广义线性模型（逻辑模型）

关键词：

自动（L_2）正则化;经验贝叶斯;EM算法;广义可加模型;拉普拉斯近似;边际最大似然

软件：

艾根;GAMLSS公司;R（右）;斯坦;业务风险管理系统;ElemStatLearn（电子状态学习）;RcppEigen基因
PDF格式BibTeX公司 XML格式引用
\textit{Y.El-Bachir}和\textit{A.C.Davison}，J.Mach。学习。第20号决议，第173号论文，第27页（2019年；Zbl 1440.68208）
全文： arXiv公司 链接

参考文献：

[1] A.Ba、M.Sinn、Y.Goude和P.Pompey。平滑函数的自适应学习：在电力负荷预测中的应用。神经信息处理系统进展25，第2510-2518页。美国，2012年。
[2] D.Bates和D.Eddelbuettel。使用RcppEigen包的快速优雅的数值线性代数。统计软件杂志，52（5）：1-242013。
[3] L.Breiman和J.H.Friedman。估计多元回归和相关的最优变换。美国统计协会杂志，80（391）：580-5981985·Zbl 0594.62044号
[4] J.C.伯克纳。brms：使用Stan的贝叶斯多级模型的R包。《统计软件杂志》，80（1）：2017年1月28日。
[5] B.Carpenter、D.Lee、M.A.Brubaker、A.Riddell、A.Gelman、B.Goodrich、J.Guo、M.Hoffman、M.Betancourt和P.Li.Stan：概率编程语言，2017年。
[6] V.Chavez Demoulin和A.C.Davison。样本极值的广义加性建模。《皇家统计学会杂志》，C辑，54（1）：207-2222005年·Zbl 1490.62194号
[7] V.Chavez Demoulin和A.C.Davison。建模时间序列极值。Revstat-Statistical Journal，2012年10月109-133日·兹比尔1297.62189
[8] W.S.克利夫兰、E.Grosse和W.M.Shyu。局部回归模型。查普曼和霍尔出版社，纽约，1993年。
[9] T.J.Cole和P.J.Green。平滑参考百分位数曲线：LMS方法和惩罚可能性。医学统计学，11（10）：1305-13191992。
[10] A.C.Davison和N.I.Ramesh。样本极值的局部似然平滑。《皇家统计学会杂志》，B辑，62:191-2082000年·Zbl 0942.62058号
[11] L.de Haan和A.Ferreira。极值理论。纽约施普林格-弗拉格出版社，2006年·Zbl 1101.62002号
[12] A.P.Dempster、N.M.Laird和D.B.Rubin。通过EM算法从不完整数据中获得最大似然（带讨论）。英国皇家统计学会杂志，B辑，39（1）：1-381977·Zbl 0364.62022号
[13] D.K.Duvenaud、H.Nickisch和C.E.Rasmussen。加法高斯过程。《神经信息处理系统进展》24，第226-234页。美国，2011年。
[14] A.C.Faul和M.E.Tipping。稀疏贝叶斯学习分析。神经信息处理系统进展14，第383-389页。美国剑桥，2001年。
[15] R.A.Fisher和L.H.C.Tippett。样本中最大或最小成员的频率分布的极限形式。《剑桥哲学学会会刊》，24:180-1901928。
[16] G.H.Golub和C.F.Van Loan。矩阵计算。约翰·霍普金斯大学出版社，马里兰州巴尔的摩，2013年第4版·Zbl 1268.65037号
[17] C.Gu.交叉验证非高斯数据。计算与图形统计学杂志，1（2）：169-1791992。
[18] G.Guennebaud、B.Jacob等人，Eigen v3。网址：http://eigen.tuxfamily.org, 2018.
[19] T.J.Hastie和R.J.Tibshirani。广义可加模型（含讨论）。统计科学，1:297-3101986·Zbl 0955.62603号
[20] T.J.Hastie和R.J.Tibshirani。广义加性模型。查普曼和霍尔出版社，1990年·Zbl 0747.62061号
[21] T.J.Hastie、R.J.Tibshirani和J.H.Friedman。统计学习的要素：数据挖掘、推理和预测。施普林格，第二版，2009年·Zbl 1273.62005年
[22] A.F.詹金森。气象要素年最大（或最小）值的频率分布。英国皇家气象学会杂志，81:158-171955。
[23] G.S.Kimeldorf和G.Wahba。随机过程的贝叶斯估计与样条平滑之间的对应。《数理统计年鉴》，41（2）：495-5021970·Zbl 0193.45201号
[24] D.J.C.麦凯。贝叶斯插值。神经计算，4（3）：415-4471992。
[25] D.J.C.麦凯。处理超参数的近似方法的比较。神经计算，11（5）：1035-10681999。
[26] A.McHutchon和C.E.Rasmussen。带输入噪声的高斯过程训练。《神经信息处理系统进展》24，第1341-1349页。美国，2011年。
[27] G.J.McLachlan和T.Krishnan。EM算法和扩展（概率统计中的威利级数）。Wiley-Interscience，第二版，2008年·Zbl 1165.62019号
[28] M.Mutny和A.Krause。具有可加性和正交傅里叶特征的高效高维贝叶斯优化。神经信息处理系统进展31，第9005-9016页。美国，2018年。
[29] R.M.尼尔。神经网络的贝叶斯学习。Springer-Verlag，柏林，海德堡，1996年·Zbl 0888.62021号
[30] J.A.Nelder和R.W.M.Wedderburn。广义线性模型。英国皇家统计学会杂志，A辑，135（3）：370-3841972。
[31] D.尼希卡。平滑样条曲线的贝叶斯置信区间。美国统计协会杂志，83（404）：1134-11431988。
[32] D.奥克斯。通过EM直接计算信息矩阵。皇家统计学会期刊，B辑，61（2）：479-4821999·Zbl 0913.62036号
[33] F.O'Sullivan、B.S.Yandell和W.J.Raynor。广义线性模型中回归函数的自动平滑。美国统计协会杂志，81（393）：96-1031986。
[34] Y.Qi、T.P.Minka、R.W.Picard和Z.Ghahramani。通过期望传播进行预测性自动相关性确定。2004年在美国纽约举行的机器学习国际会议，第85页。
[35] R核心团队。R： 统计计算语言和环境。R统计计算基金会，奥地利维也纳，2019年。
[36] P.T.Reiss和R.T.Ogden。一类半参数线性模型的平滑参数选择。英国皇家统计学会杂志，B辑，71（2）：505-5232009·Zbl 1248.62057号
[37] R.A.Rigby和D.M.Stasinopoulos。方差异质性的半参数加性模型。统计与计算，6（1）：57-651996。
[38] R.A.Rigby和D.M.Stasinopoulos。位置、规模和形状的广义加性模型（含讨论）。《皇家统计学会杂志》，C辑，54（3）：507-5542005·Zbl 1490.62201号
[39] H.Rue、S.Martino和N.Chopin。利用集成嵌套拉普拉斯近似对潜在高斯模型进行近似贝叶斯推断。英国皇家统计学会杂志，B辑，71（2）：319-3922009·Zbl 1248.62156号
[40] B.W.西尔弗曼。非参数回归曲线拟合的样条平滑方法的一些方面。英国皇家统计学会杂志，B辑，47（1）：1-521985·Zbl 0606.62038号
[41] B.M.斯蒂尔。广义混合模型估计的改进EM算法。生物统计学，52（4）：1295-13101996·兹比尔0867.62060
[42] L.Tierney、R.E.Kass和J.B.Kadane。非正函数的期望和方差的完全指数拉普拉斯近似。《美国统计协会杂志》，84（407）：710-7161989年·Zbl 0682.62012号
[43] M.E.小费。相关向量机。神经信息处理系统研究进展12，第652-658页，美国剑桥，1999年。
[44] M.E.小费。稀疏贝叶斯学习和相关向量机。机器学习研究杂志，1:211-2442001·Zbl 0997.68109号
[45] M.Tsang、H.Liu、S.Purushotham、P.Murali和Y.Liu。神经交互透明度：消除学习到的交互，以提高可解释性。《神经信息处理系统进展》31，第5804-5813页。美国，2018年。
[46] E.F.Vonesh、H.Wang、L.Nie和D.Majumdar。广义线性和非线性混合效应模型的条件二阶广义估计方程。美国统计协会杂志，97（457）：271-2832002·Zbl 1073.62591号
[47] S.N.伍德。薄板回归样条。英国皇家统计学会杂志，B辑，65（1）：95-1142003·Zbl 1063.62059号
[48] S.N.伍德。广义可加模型的快速稳定直接拟合和光滑度选择。《皇家统计学会杂志》，B辑，70（3）：495-5182008·Zbl 05563356号
[49] S.N.伍德。半参数广义线性模型的快速稳定限制极大似然和边缘似然估计。《皇家统计学会杂志》，B辑，73（1）：3-362011年·Zbl 1411.62089号
[50] S.N.Wood、Y.Goude和S.Shaw。大数据集的广义加性模型。《皇家统计学会杂志》，C辑，64（1）：139-1552015。
[51] S.N.Wood、N.Pya和B.Safken。一般平滑模型的平滑参数和模型选择。美国统计协会杂志，111（516）：1548-15632016。
[52] S.N.Wood、Z.Li、G.Shaddick和N.H.Augustin。千兆级的广义加性模型：对英国黑烟网络每日数据进行建模。《美国统计协会杂志》，112（519）：1199-12102017年。
[53] 吨。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。