顺序回归方法的一致性
法比安·佩德雷戈萨、弗朗西斯·巴赫、亚历山大·格兰福特; 18(55):1−35, 2017.
摘要
文献中提出的许多序数回归模型可以被视为最小化零一、绝对或平方损失函数的凸代理的方法。允许研究此类近似的统计含义的一个关键属性是费希尔一致性费舍尔一致性是替代损失函数的一个理想性质，并意味着在总体设置中，即，如果生成数据的概率分布是可用的，那么替代的优化将产生尽可能好的模型。在本文中，我们将描述序数回归中使用的丰富代理损失函数族的Fisher一致性，包括支持向量序数回归、ORBoosting和最小绝对偏差。我们将看到，对于包含支持向量序数回归和ORBoosting的代理损失函数族，一致性可以通过实值函数在零处的导数来完全表征，就像二元分类中基于凸边的代理函数一样。我们还导出了绝对误差替代项的超额风险边界，该替代项推广了二进制分类的现有风险边界。最后，我们的分析提出了一种新的误差平方损失替代物。我们在9个不同的数据集上将这种新的替代方法与竞争方法进行了比较。我们的方法在实践中具有很强的竞争力，在9个数据集中有7个数据集的表现优于最小二乘法损失。
[腹肌]
[pdf格式][围兜]
