随机近似AUC最大化

雷云文,英一鸣。

年份:2021年,数量:22,版本:61,页码:1-45


摘要

本文考虑ROC曲线(AUC)下面积最大化问题,AUC是不平衡分类和异常检测中广泛使用的性能度量。由于目标函数的成对非线性,经典的SGD算法不适用于AUC最大化任务。我们提出了一种新的AUC最大化随机近似算法,该算法可扩展到大规模流数据。我们的算法能够适应一般的惩罚项,并且易于实现,具有良好的$O(d)$空间和迭代时间复杂性。我们为一般凸集建立了一个高概率收敛率$O(1/\sqrt{T})$,并将其改进为强凸正则化子和无正则化项(无强凸性)情况下的快速收敛率$O(1/T)$。我们的证明不需要对损失函数或迭代进行一致有界性假设,这更符合实际。最后,我们对来自实际应用领域的各种基准数据集进行了广泛的实验,结果表明,与现有的AUC最大化算法相比,我们的算法具有更好的性能。

PDF格式 BibTeX公司