时钟RNN swMATH编号: 36448 软件作者: 扬·库特尼克(Jan Koutník)、克劳斯·格雷夫(Klaus Greff)、福斯蒂诺·戈麦斯(Faustino Gomez)、杰根·施密杜贝尔(Jürgen Schmidhuber) 描述: 发条RNN。序列预测和分类是机器学习中普遍存在的具有挑战性的问题,需要识别时间距离较远的输入之间的复杂依赖关系。递归神经网络(RNN)理论上有能力通过其递归(反馈)连接实现的短期记忆来处理这些时间依赖性。然而,在实践中,当需要长期记忆时,他们很难成功训练。本文介绍了对标准RNN体系结构的一种简单而强大的修改,即Clockwork RNN(CW-RNN),其中隐藏层被划分为单独的模块,每个模块以自己的时间粒度处理输入,仅以指定的时钟速率进行计算。CW-RNN没有使标准RNN模型更加复杂,而是减少了RNN参数的数量,显著提高了测试任务的性能,并加快了网络评估。该网络在初步实验中进行了演示,包括两个任务:音频信号生成和TIMIT口语单词分类,其性能优于RNN和LSTM网络。 主页: https://arxiv.org/abs/1402.3511 源代码: https://github.com/flandolfi/clockwork-rnn 关键词: arXiv_cs。无;机器学习;arXiv_cs。LG公司;时钟RNN;递归神经网络;RNN(参考号);CW-RNN公司 相关软件: 埃沃利诺;Zoneout(分区);亚当;ImageNet公司;RMS公司;LSTM公司;DARPA时间;国际货币数据库;UCF101型;单词2vec;跳过RNN;MNIST公司;二进制连接;西雅娜;宾州树库;SenticNet公司;Flickr30K手机;MS-COCO公司;AlexNet公司;SpiNNaker公司 引用于: 2文件 标准条款 1出版物描述软件 年份 发条式RNNarXiv公司扬·库特尼克(Jan Koutník)、克劳斯·格雷夫(Klaus Greff)、福斯蒂诺·戈麦斯(Faustino Gomez)、杰根·施密杜贝尔(Jürgen Schmidhuber) 2014 全部的 前5名9位作者引用 1 曹新余 1 陈功驰 1 胡昌华 1 马廷怀 1 荣、欢 1 司晓生 1 于欣 1 于勇 1 张建勋 2篇连载文章中引用 1 神经计算 1 数学生物科学与工程 在2个字段中引用 2 计算机科学(68至XX) 1 生物学和其他自然科学(92-XX) 按年份列出的引文