×

将保证金损失视为概率估计的正则化。 (英语) Zbl 1351.62126号

摘要:正则化通常用于分类器设计,以确保良好的泛化。经典正则化通过约束参数来提高分类器的复杂性。这通常与利润损失相结合,这有利于大利润决策规则。通过显示裕度损失作为后验概率的正则化器,以放大经典参数正则化的方式,提出了这种结构的一种新的统一观点。利用损失在链接和约束函数方面的分解,考虑了控制边际损失正则化强度的问题。链接函数被证明是损失的正则化强度的原因,而绑定函数决定了其异常值鲁棒性。然后将一大类损失分为具有相同正则化强度或异常值鲁棒性的等价类。结果表明,同一正则化类中的损失可以参数化,从而具有可调的正则化强度。该参数化最终用于导出带损失正则化的boosting算法(BoostLR)。详细考虑了三类可调正则化损失。典型损失可以实现所有正则化行为,但在异常值建模方面没有灵活性。收缩损失支持同样参数化的链接和绑定函数,从而导致实现流行收缩过程的增强算法。这为收缩作为基于损失的正则化的特殊情况提供了新的解释。最后,(alpha)可调损耗使链接和绑定函数能够独立参数化,从而提高了算法的灵活性。这可以通过一种算法的推导来说明,该算法概括了AdaBoost和LogitBoost,在最适合分类数据的情况下表现为任意一种。各种实验证明了概率正则化对分类和后验概率估计的益处。

MSC公司:

62小时30分 分类和区分;聚类分析(统计方面)
62J02型 一般非线性回归
62J07型 岭回归;收缩估计器(拉索)
PDF格式BibTeX公司 XML格式引用
全文: 链接