×

时钟RNN

swMATH ID: 36448
软件作者: 扬·库特尼克(Jan Koutník)、克劳斯·格雷夫(Klaus Greff)、福斯蒂诺·戈麦斯(Faustino Gomez)、杰根·施密杜贝尔(Jürgen Schmidhuber)
描述: 发条RNN。序列预测和分类是机器学习中普遍存在的具有挑战性的问题,需要识别时间距离较远的输入之间的复杂依赖关系。递归神经网络(RNN)理论上有能力通过其递归(反馈)连接实现的短期记忆来处理这些时间依赖性。然而,在实践中,当需要长期记忆时,他们很难成功训练。本文介绍了对标准RNN体系结构的一种简单而强大的修改,即Clockwork RNN(CW-RNN),其中隐藏层被划分为单独的模块,每个模块以自己的时间粒度处理输入,仅以指定的时钟速率进行计算。CW-RNN没有使标准RNN模型更加复杂,而是减少了RNN参数的数量,显著提高了测试任务的性能,并加快了网络评估。该网络在初步实验中进行了演示,包括两个任务:音频信号生成和TIMIT口语单词分类,其性能优于RNN和LSTM网络。
主页: https://arxiv.org/abs/1402.3511
源代码:  https://github.com/flandolfi/clockwork-rnn
关键词: arXiv_cs。;机器学习;arXiv_cs。LG公司;时钟RNN;循环神经网络;RNN(参考号);CW-RNN公司
相关软件: 埃沃利诺;Zoneout(分区);亚当;ImageNet公司;RMS公司;LSTM公司;DARPA时间;国际货币数据库;UCF101型;单词2vec;跳过RNN;MNIST公司;二进制连接;西雅娜;宾州树库;SenticNet公司;Flickr30K手机;MS-COCO公司;SpiNNaker公司;神经元
引用于: 2文件

标准条款

1出版物描述软件 年份
发条式RNNarXiv公司
扬·库特尼克(Jan Koutník)、克劳斯·格雷夫(Klaus Greff)、福斯蒂诺·戈麦斯(Faustino Gomez)、杰根·施密杜贝尔(Jürgen Schmidhuber)
2014

2篇连载文章中引用

1 神经计算
1 数学生物科学与工程

按年份列出的引文