×

反对称RNN

swMATH ID: 27774
软件作者: 张博、陈敏敏、艾尔达·哈伯、Ed H.Chi
描述: 反对称RNN:递归神经网络的动力学系统观点。递归神经网络在序列数据建模中得到了广泛的应用。然而,由于渐变的爆炸或消失,使用这些模型学习长期依赖性仍然很困难。在本文中,我们将递归网络与常微分方程联系起来。在此理论框架下,提出了一种称为反对称RNN的特殊形式的递归网络,由于其基本微分方程的稳定性,它能够捕获长期相关性。现有的提高RNN可训练性的方法通常会带来很大的计算开销。相比之下,反对称RNN通过设计实现了相同的目标。我们通过大量的仿真和实验展示了这种新架构的优势。反对称RNN表现出更可预测的动力学。它在需要长期记忆的任务上优于常规的LSTM模型,在短期依赖性占主导地位的任务上也与之相匹配,尽管它要简单得多。
主页: https://arxiv.org/abs/1902.09689
关键词: 机器学习;arXiv_状态ML;arXiv_cs。LG公司;循环神经网络;循环神经网络;LSTM模型
相关软件: 亚当;火炬差异;DeepONet(深度网络);神经CDE;GRU-ODE支架;火炬;张紧器2传感器;METIS公司;LSTM_编码器_编码器;MGMETIS公司;SINDy-PI公司;PyTorch公司;CUDA公司;波戈;MNIST公司;CIFAR公司;AlexNet公司;ImageNet公司;喀拉拉邦;数字Py
引用于: 9文件

标准条款

1出版物描述软件 年份
反对称RNN:递归神经网络的动态系统观arXiv公司
Bo Chang、Minmin Chen、Eldad Haber、Ed H.Chi
2019

按年份列出的引文