平滑博弈的随机梯度下降和一致性优化：期望合作下的收敛性分析

的一部分神经信息处理系统34的进展（NeurIPS 2021）

作者

尼古拉斯·洛伊祖、雨果·贝拉德、戈蒂尔·吉德尔、伊奥尼斯·米利亚卡斯、西蒙·拉科斯特·朱利安

摘要

求解无约束光滑对策的两个最突出的算法是经典的随机梯度下降（SGDA）和最近引入的随机一致性优化（SCO）[Mescheder等人，2017]。众所周知，对于特定类别的博弈，SGDA收敛到平稳点，但目前的收敛分析需要有界方差假设。SCO被成功地用于解决大规模对抗性问题，但其收敛保证仅限于其确定性变体。在这项工作中，我们引入了期望共矫顽力条件，解释了它的优点，并在该条件下为求解一类潜在非单调随机变分不等式问题提供了SGDA和SCO的首次最后迭代收敛保证。我们证明了当两种方法使用恒定步长时，它们对解的邻域的线性收敛性，并且我们提出了有见地的步长切换规则，以确保收敛到精确解。此外，我们的收敛性保证在任意采样范式下保持不变，因此，我们深入了解了小批量处理的复杂性。