计算机科学>机器学习
职务: 非凸Minimax问题的超粒度和乐观梯度方法的严密性分析
摘要: 尽管对于凹凸极小极大问题的乐观梯度下降-上升(OGDA)和外梯度(EG)方法已经建立了收敛理论,但对于这些方法在非凸环境中的理论保证却知之甚少。 为了弥合这一差距,本文首次通过单调用超粒度方法的视角提供了统一的分析,建立了OGDA和EG方法在非凸-凹(NC-SC)和非凸-凸(NC-C)设置下的收敛性。 我们进一步建立了GDA/OGDA/EG收敛的下限,从而揭示了我们分析的严密性。 我们还进行了实验来支持我们的理论结果。 我们相信,我们的结果将促进对OGDA和EG方法的理论理解,这些方法用于解决复杂的非凸极大极小现实世界问题,例如生成对抗网络(GAN)或鲁棒神经网络训练。