分段套索
彭昭、余斌; 8（89）：2701−27262007年。
摘要
许多统计机器学习算法将经验损失函数最小化为在AdaBoost中，或在Lasso或SVM中受到惩罚的经验损失。单个正则化调整参数控制权衡在数据保真度和通用性之间，或偏差和方差相等。当这个调谐参数改变时，解的正则化“路径”生成了最小化问题，需要选择整个路径优化预测或解释性能的调整参数。同伦Lasso或LARS-Laso和正向分段拟合（FSF）等算法（又名e-Boosting）非常有趣，因为其结果稀疏模型的解释和预测。
在本文中，我们提出了BLasso算法将FSF（e-Boosting）算法与Lasso方法联系起来使L（左）1受到惩罚的L（左）2损失。导出了BLasso作为坐标下降法，固定步长应用于一般拉索损失函数(L（左）1缺陷凸面损失）。它由前进步和后退步组成。前锋步骤类似于e-Boosting或FSF，但后退步骤是新的，它修改了FSF（或e-Boosting）路径以近似拉索路径。在有限数量的基础学习者和损失函数的有界Hessian，当步长变为零。对于基础学习者数量大于样本量的案例当真实模型稀疏时，我们的模拟表明BLasso模型估计比FSF的稀疏，具有可比性或稍好的预测性能，以及BLasso和FSF的离散步长额外的正则化效应预测和稀疏性。此外，我们引入了广义BLasso算法最小化一般凸损失功能。由于（广义）BLasso仅依赖差异而非导数，我们得出结论，它提供了一类简单且易于实现的算法用于追踪惩罚最小化问题的正则化或求解路径。
[腹肌]
[pdf格式][围兜]
