Zoneout（分区） swMATH ID: 36444 软件作者： David Krueger、Tegan Maharaj、János Kramár、Mohammad Pezeshki、Nicolas Ballas、Nan Rosemary Ke、Anirudh Goyal、Yoshua Bengio、Aaron Courville、Chris Pal 描述： 分区：通过随机保留隐藏激活来规范RNN。我们提出了一种新的RNN正则化方法zoneout。在每个时间步长，分区会随机强制某些隐藏单位保持其先前的值。与辍学一样，zoneout使用随机噪声来训练伪集合，从而提高泛化能力。但是，通过保留而不是删除隐藏单元，梯度信息和状态信息更容易通过时间传播，就像前馈随机深度网络一样。我们对各种RNN正则化器进行了实证研究，发现区域输出在任务之间可以显著提高性能。我们在Penn Treebank和Text8数据集的字符级和单词级语言建模中使用相对简单的模型获得了具有竞争力的结果，并且结合递归批规范化，在置换顺序MNIST上获得了最先进的结果。 主页： https://arxiv.org/abs/1606.01305 源代码： https://github.com/teganmaharaj/zoneout 依赖项： 数学软件 关键词： arXiv_cs。氖;arXiv_cs。氯;机器学习;arXiv_cs。LG公司;规范RNN;保留隐藏的激活;分区 相关软件： 亚当;手套;时钟RNN;图像网络;MNIST公司;美国astsa;LSTM公司;国际货币数据库;UCF101型;单词2vec;跳过RNN;二进制连接;西雅娜;RMS公司;宾州树库;新加坡存托凭证;GELUs公司;AlexNet公司;自动增强;CIFAR公司 引用于： 3文件 标准条款 1出版物描述软件 年份 Zoneout：通过随机保留隐藏激活来规范RNNarXiv公司David Krueger、Tegan Maharaj、János Kramár、Mohammad Pezeshki、Nicolas Ballas、Nan Rosemary Ke、Anirudh Goyal、Yoshua Bengio、Aaron Courville、Chris Pal 2016 全部的 前5名9位作者引用 1 约书亚·本吉奥 1 萨拉特昌达尔 1 Cho，Kyunghyun先生 1 乔拉尔·吉尔切尔 1 Khoo、Yuehaw 1 迈克尔·科勒 1 亚当·科齐（Adam Krzyżak） 1 梁森伟 1 杨海照 3篇连载文章中引用 1 神经计算 1 伯努利 1 应用数学与计算交流 在2个字段中引用 三 计算机科学（68至XX） 2 统计学（62-XX） 按年份列出的引文