跳到内容

Hiroki11x/共轭梯度_GAN

存储库文件导航

生成对抗网络的共轭梯度法@AISTATS2023

摘要

为了解决模型分布和数据分布之间的Jensen–Shannon发散最小化问题,需要生成模型,例如用于图像生成的模型,这在计算上是不可行的。生成性对抗网络(GANs)将此问题描述为两个模型(生成器和鉴别器)之间的博弈,其学习可以在博弈论和局部纳什均衡(LNE)的背景下进行。这种优化比最小化单个目标函数更复杂。因此,很难显示此优化的现有方法的稳定性和最佳性。在这里,我们建议将能够稳定快速求解一般大尺度驻点问题的共轭梯度法应用于GAN中的LNE问题。在温和的假设下,我们给出了证明和收敛性分析,表明该方法收敛于具有三种不同学习速率更新规则的LNE,其中包括作为首次尝试的恒定学习速率。最后,我们的结果表明,该方法优于随机梯度下降(SGD)、动量SGD,并且在FID得分方面与Adam取得了竞争性FID得分。

前提条件

gcc==7.4.0蟒蛇>= 3.7cuda==11.1cudnn==8.1

下载

安装

安装依赖库

pip安装-r要求.txt

修复环境路径

vim(维姆)/exp/env通用.sh

修复Wandb实体路径

例如,如果您想在SNGAN w/ResNet Generator上对ConstantLR案例进行CIFAR10网格搜索,则需要修改以下文件。

vim(维姆)/扫描_配置/CL_RESNET _CIFAR10/sgd.yaml

请更改实体名称XXXXXX年给你的魔杖实体。

项目:CL_RESNET_CIFAR10公司
实体:XXXXXX年
程序:主.py
方法:网格

扫描

本节介绍如何对sgd的超参数进行网格搜索。其他优化器也可以以相同的方式执行。

CIFAR10上带ResNet生成器的ConstantLR SNGAN

光盘exp/扫描脚本/CL_RESNET_CIFAR10/./sewp_agent_sgd.sh

CIFAR10上带ResNet生成器的DiminishingLR SNGAN

光盘exp/扫描脚本/DL_RESNET_CIFAR10/./sewp_agent_sgd.sh

关于

生成对抗网络的共轭梯度法(AISTATS2023)

资源

星星

观察者

叉子

发布

未发布版本

包装

未发布包