开放式访问
2019年8月 ROS回归:正则化与最优尺度回归的集成
杰奎琳·默尔曼,安妮塔·范德科伊,凯文·L·W·迪尔斯
统计师。科学。 34(3): 361-390 (2019年8月)。 内政部:10.1214/19-STS697

摘要

我们提出了一种多元回归分析方法,该方法处理分类变量(可能与连续变量混合),结合正则化、变量选择和高维数据($P\gg N$)。正则化和最优尺度(OS)是本文将要结合的普通最小二乘回归(OLS)的两个重要扩展。有两种数据分析情况可用于开发最佳缩放。一个是分类数据的分析,另一个是由于预测因素和结果之间的非线性关系而需要转换。分类数据的最佳缩放找到了类别的量化,无论是预测因素还是结果变量,它们在最大化多重相关性的意义上对回归模型来说都是最佳的。当存在非线性关系时,预测因子和结果的非线性转换以相同的方式使多重相关性最大化。我们将考虑各种转换类型;通常我们对分类变量使用阶跃函数,对连续变量使用光滑(样条)函数。这两种类型的函数都可以限制为单调函数,从而保留数据中的顺序信息。结合最优尺度,将考虑三种常用的正则化方法:岭回归、拉索和弹性网。由此产生的方法称为ROS回归(正则化最优尺度回归)。OS算法提供了正则化回归系数的直接有效估计,自动给出了群Lasso和分块稀疏回归,并通过保持数据中有序属性的可能性对其进行了扩展。提供了扩展示例。

引用

下载引文

杰奎琳·梅尔曼(Jacqueline J.Meulman)。 安妮塔·范德科伊(Anita J.van der Kooij)。 凯文·杜伊斯特(Kevin L.W.Duisters)。 “ROS回归:将正则化与最优尺度回归相结合。” 统计师。科学。 34 (3) 361 - 390, 2019年8月。 https://doi.org/10.1214/19-STS697

问询处

发布日期:2019年8月
欧几里得项目首次推出:2019年10月11日

zbMATH公司:07162128
数学科学网:MR4017519型
数字对象标识符:10.1214/19-STS697

关键词:标称和有序数据的Lasso和Elastic网正则化,非线性关系的线性化,单调群Lasso,单调步长函数与样条,最佳缩放,分类高维数据的正则化

版权所有©2019数学统计研究所

第34卷•第3期•2019年8月
返回页首