L1正则Logistic回归的改进GLMNET
郭学元、何家华、林志仁; 13(64):1999−2030, 2012.
摘要
最近，Yuan等人（2010）对L1规则分类软件进行了全面比较。他们得出结论，精心设计的坐标下降实现CDN是最先进的解算器中最快的。在本文中，我们指出CDN在计算成本高昂的损失函数上的竞争力较差。特别是，逻辑回归的CDN比SVM的CDN慢得多，因为逻辑损失涉及昂贵的exp/log操作。
在优化中，牛顿方法的迭代次数较少，但每次迭代的成本较高。由于牛顿子问题的求解与损失计算无关，因此在某些情况下，这种方法可能会超过CDN。在L1规则化分类中，Friedman等人的GLMNET已经是Newton类型的方法，但Yuan等人（2010）的实验表明，现有的GLMNET实现可能面临一些大规模问题的困难。在本文中，我们提出了一种改进的GLMNET来解决一些理论和实现问题。特别地，作为牛顿型方法，GLMNET实现了快速的局部收敛，但可能无法快速获得有用的解。通过仔细设计来调整每次迭代的工作量，我们的方法对于松散或严格地解决优化问题都是有效的。实验表明，改进的GLMNET比CDN更有效地进行L1正则化logistic回归。
[腹肌]
[pdf格式][围兜]
