飞镖

飞镖:可区分的体系结构搜索。本文通过以一种可微的方式描述任务来解决体系结构搜索的可伸缩性挑战。与传统的在离散不可微搜索空间上应用进化或强化学习的方法不同,我们的方法基于对结构表示的连续松弛,允许使用梯度下降对结构进行有效搜索。在CIFAR-10、ImageNet、Penn Treebank和WikiText-2上进行的大量实验表明,我们的算法在发现用于图像分类的高性能卷积结构和用于语言建模的递归结构方面表现出色,同时比最新的不可微技术快一个数量级。我们的实现已经公开,以促进对高效架构搜索算法的进一步研究。