统计及其接口
第14卷（2021年）
数字3
高维LASSO回归的广义Newton-Raphson算法
页：339 – 350
内政部：https://dx.doi.org/10.4310/20-SII643
作者
施跃勇（中国地质大学经济与管理学院，湖北武汉；中国地质大学资源与环境经济研究中心，湖北武汉）
黄健（美国衣阿华州衣阿华市衣阿华大学统计与精算学系）
焦玉玲（武汉大学数学与统计学院，湖北武汉）
Yicheng Kang（美国马萨诸塞州沃尔瑟姆宾利大学数学科学系）
胡张（中南财经政法大学统计与数学学院，湖北武汉）
摘要
最小绝对收缩和选择算子（LASSO）惩罚回归是高维数据分析中最先进的统计方法，当预测因子的数量超过观测值的数量时。常用的Newton–Raphson算法在求解LASSO中的非光滑优化问题上并不十分成功。本文提出了一种求解LASSO型问题的快速广义牛顿-拉夫森（GNR）算法。该算法是基于广义牛顿导数的合适的Karush–Kuhn–Tucker（KKT）条件导出的非光滑牛顿型算法。我们首先建立了GNR的局部一步收敛性，然后证明了它与连续策略相结合时是非常有效和准确的。我们还开发了一种新的参数选择方法。模拟和实际数据分析的数值研究表明，GNR算法具有更好（或相当）的精度，比流行的glmnet包中实现的算法更快。
关键词
LASSO、广义Newton–Raphson、延拓、局部一步收敛、投票
2010年数学学科分类
主62F12。次要62J05、62J07。
史跃勇由国家自然科学基金资助（11801531和11701571号），焦玉玲由国家自然基金资助（第11871474号），胡章由国家社科基金资助（17BTJ017号）。
2019年7月24日收到
2020年10月7日验收
2021年2月9日出版
