用可微微扰优化器学习

的一部分神经信息处理系统的进展33（NeurIPS 2020）

作者

昆汀·贝瑟特、马修·布隆德尔、奥利维尔·特布尔、马可·库图里、珍妮·菲利佩、弗朗西斯·巴赫

摘要

机器学习管道通常依赖优化器程序来做出离散决策（例如，排序、选择最近的邻居或最短路径）。尽管这些离散决策很容易以正向方式计算，但它们打破了计算图的反向传播。为了扩大能够以端到端方式解决的学习问题的范围，我们提出了一种系统化的方法，将优化器转换为可微且从不局部恒定的操作。我们的方法依赖于随机扰动的优化器，可以在现有的解算器中使用。可以有效地评估它们的导数，并通过选择的噪声幅度调整平滑度。我们还展示了该框架如何与结构化预测中开发的一系列损失联系起来，并为其在学习任务中的使用提供了理论保证。我们通过实验演示了我们的方法在各种任务中的性能。