High-dimensional variable selection via low-dimensional adaptive learning

Christian Staerk; Maria Kateri; Ioannis Ntzoufras

doi:10.1214/21-EJS1797

2021 基于低维自适应学习的高维变量选择

克里斯蒂安·斯塔克,玛丽亚·卡特里,Ioannis Ntzoufras公司

电子。J.统计。 15(1): 830-879 (2021). 内政部：10.1214/21-EJS1797

摘要

提出了一种随机搜索方法，即自适应子空间（AdaSub）方法，用于高维线性回归模型中的变量选择。该方法基于自适应求解低维子问题的思想，旨在根据一定的模型选择准则找到最佳模型，从而为原高维问题提供解决方案。可以使用任何常见的$\ell_{0}$类型模型选择标准，例如Akaike信息标准（AIC）、贝叶斯信息标准（BIC）或扩展BIC（EBIC），最后一个标准特别适用于高维情况。分析了新算法的极限性质，结果表明，在一定条件下，AdaSub根据所考虑的准则收敛到最佳模型。在一项模拟研究中，与其他方法相比，研究了AdaSub的性能。通过各种模拟数据集和一个高维实际数据示例说明了该方法的有效性。