跳到内容

safpla/AutoLossRelease发布

存储库文件导航

AutoLoss:学习离散计划以进行交替优化

中再现实验的代码AutoLoss:学习离散计划以进行交替优化.

要求

python>=3.6,tensorflow-gpu==1.8.0,matplotlib==2.2.2,imageio==2.4.1,sklearn==0.20.2,nltk==3.4,subord-nmt==0.3.6

入门

安装和激活虚拟环境

virtualenv--python=python3.6/环境价值来源/env/bin/激活

再进行

pip安装-r要求.txt

数据集集合

回归与分类

回归和分类任务使用合成数据。要为回归或分类实验合成数据集,请运行以下脚本:

#回归,回归python数据io/gen_reg_data.py#分类python数据io/gen_cls_data.py

GAN公司

我们的GAN实验使用MNIST公司CIFAR-10公司数据集。为参数设置所需的路径数据目录在配置文件中配置/gan/cfg.py.训练脚本将在首次运行时自动下载数据。

CIFAR-10数据可在CIFAR10的下载页面.您需要从该页面下载python版本并解压缩。将配置文件“config/gan_cifar.py”中的参数“data_dir”设置为您保存数据的位置。

多任务神经翻译

您可以直接使用我们在此存储库中提供的预处理数据,路径为数据/nmt/.或者,您可以通过运行以下脚本来准备数据:

python数据io/gen_nmt_data.py

在这种情况下,您需要下载tigercorpus-2.2.xml.tar.gz公司TIGER语料库并解压缩到路径数据/nmt/pos.脚本需要一个名为tiger\_release\_aug07.corrected.16012013.xml.

注意安全:在配备Intel i7-6800K CPU@3.40GHz x 12 CPU的桌面上,多任务神经机器翻译任务的数据准备可能需要10-15分钟。

实验

使用以下脚本启动实验:

蟒蛇训练器.py--任务名称=[任务名称]--task_mode=[任务模式]--exp_name=[导出名称]

哪里

  • 任务名称是以下之一:规则,cls公司,,gan_cifar10,国家标准时间.
  • 任务模式是以下之一:火车,测试,基线.
  • exp名称可以是您想用来命名此实验的任何字符串。

示例:带AutoLoss的回归

对控制器进行回归任务培训:

python训练器.py--task_name=reg--task_mode=train--exp_name=reg_train

训练完成后,我们使用经过训练的控制器在新数据集上指导回归模型的训练:

#确保将“exp_name”设置为控制器培训实验中使用的名称。python训练器.py--task_name=reg--task_mode=test--exp_name=reg_train

脚本将自动加载在调节(_T)实验。

或者,您可以通过以下方式指定要测试的特定检查点:

python trainer.py--任务名称=reg--任务模式=测试--导出名称=reg_test--加载控制=/path/to/checkpoint/文件夹/

将结果与基线培训计划进行比较:

python trainer.py--任务名=reg--任务模式=基线--扩展名=reg_baseline

你可以在课堂上设计自己的训练计划控制器_设计在里面型号/reg.py

预训练模型

训练一名管制员完成GAN任务可能需要几天时间。我们为MNIST GAN提供了一个预处理控制器。要测试此控制器:

python trainer.py--task_name=gan--tack_mode=test--exp_name=[any-experiment-name]--load_ctrl=/path/to/AutoLossRelease/weights/gan_2l_adam_short_ctrl--model_dir=/path2/to/AtoroLossrelease/weight

引用

如果您在研究中使用此代码的任何部分,请引用我们的论文:

@其他{xu2018自动,title={AutoLoss:学习离散计划以进行备用优化},author={徐浩文、张浩、胡志婷、梁晓丹、鲁斯兰·萨拉库丁诺夫和埃里克·星},年份={2018年},eprint={1810.02442},archivePrefix={arXiv},primaryClass={cs.LG}}

关于

未提供描述、网站或主题。

资源

星星

观察者

叉子

发布

未发布版本

包装

未发布包

语言文字