×

Zoneout(分区)

swMATH ID: 36444
软件作者: David Krueger、Tegan Maharaj、János Kramár、Mohammad Pezeshki、Nicolas Ballas、Nan Rosemary Ke、Anirudh Goyal、Yoshua Bengio、Aaron Courville、Chris Pal
描述: 分区:通过随机保留隐藏激活来规范RNN。我们提出了一种新的正则化RNN的方法zoneout。在每个时间步长,zoneout随机地迫使一些隐藏单元保持其先前的值。像dropout一样,zoneout使用随机噪声来训练伪系综,从而提高泛化能力。但是,通过保留而不是删除隐藏单元,梯度信息和状态信息更容易通过时间传播,就像前馈随机深度网络一样。我们对各种RNN正则化器进行了实证研究,发现区域输出在任务之间可以显著提高性能。我们在Penn Treebank和Text8数据集的字符级和单词级语言建模中使用相对简单的模型获得了具有竞争力的结果,并且结合递归批规范化,在置换顺序MNIST上获得了最先进的结果。
主页: https://arxiv.org/abs/1606.01305
源代码:  https://github.com/teganmaharaj/zoneout
依赖项: 数学软件
关键词: arXiv_cs。;arXiv_cs。;机器学习;arXiv_cs。液化天然气;规范RNN;保留隐藏的激活;分区
相关软件: 亚当;手套;时钟RNN;ImageNet公司;MNIST公司;美国astsa;LSTM公司;国际货币数据库;UCF101型;单词2vec;跳过RNN;二进制连接;西雅娜;RM链轮;宾州树库;SGDR公司;GELUs公司;自动增强;CIFAR公司;github
引用于: 3文件

标准条款

1出版物描述软件 年份
Zoneout:通过随机保留隐藏激活来规范RNNarXiv公司
David Krueger、Tegan Maharaj、János Kramár、Mohammad Pezeshki、Nicolas Ballas、Nan Rosemary Ke、Anirudh Goyal、Yoshua Bengio、Aaron Courville、Chris Pal
2016

按年份列出的引文