不可微约束优化及其在公平性、召回、流失和其他目标中的应用

Andrew Cotter、Heinrich Jiang、Maya Gupta、Serena Wang、Taman Narayan、Seungil You、Karthik Sridharan。

年份:2019年,数量:20,版本:172,页码:1-59


摘要

我们表明,许多机器学习目标可以表示为模型预测的“速率约束”。我们研究在这些速率约束(或其他非凸或不可微约束)下训练非凸模型的问题。在非凸设置中,拉格朗日乘子的标准方法可能会失败。此外,如果约束是不可微的,则无法使用基于梯度的方法优化拉格朗日函数。为了解决这些问题,我们引入了一种新的“proxy-Lagrangian”公式。这导致了一种算法,假设可以访问优化预言机,通过对我们所说的半粗相关平衡进行两人非零和博弈求解来产生随机分类器,这反过来对应于约束优化问题的近似最优和可行解。然后,我们给出了一个过程,在给定$m$约束的情况下,将随机解缩小为最多$m+1$个确定性解的混合。这最终形成了一个程序,该程序可以解决具有可能不可微和非凸约束的非凸约束优化问题,并具有理论保证。我们提供了广泛的实验结果,涵盖了广泛的政策目标,包括各种公平性指标、准确性、覆盖率、召回率和流失率。

PDF格式 BibTeX公司