稀疏GLM的对偶外推
马图林·马西亚斯（Mathurin Massias）、塞缪尔·维特（Samuel Vaiter）、亚历山大·格兰福特（Alexandre Gramfort）、约瑟夫·萨尔蒙（Joseph Salmon）; 21(234):1−33, 2020.
摘要
广义线性模型（GLM）形成了一类广泛的回归和分类模型，其中预测是输入变量的线性组合的函数。对于高维的统计推断，稀疏诱导正则化在提供统计保证的同时被证明是有用的。然而，解决由此产生的优化问题可能具有挑战性：即使对于坐标下降等流行的迭代算法，也需要对大量变量进行循环。为了缓解这一问题，筛选规则和工作集技术通过逐步删除变量或解决越来越多的较小问题来减小手头优化问题的规模。对于这两种技术，重要的变量都是通过凸对偶参数确定的。本文证明了当原始问题用近似梯度下降法或循环坐标下降法求解时，GLM的对偶迭代在符号识别后表现出向量自回归（VAR）行为。利用这种规律性，可以构造对偶点，提供更紧密的最优性证明，从而提高筛选规则和工作集算法的性能。
[腹肌]
[pdf格式][围兜] [代码]
