反对称RNN swMATH ID: 27774 软件作者: 张博、陈敏敏、艾尔达·哈伯、Ed H.Chi 描述: 反对称RNN:递归神经网络的动力学系统观点。递归神经网络在序列数据建模中得到了广泛的应用。然而,由于渐变的爆炸或消失,使用这些模型学习长期依赖性仍然很困难。在本文中,我们将递归网络与常微分方程联系起来。在此理论框架下,提出了一种称为反对称RNN的特殊形式的递归网络,由于其基本微分方程的稳定性,它能够捕获长期相关性。现有的提高RNN可训练性的方法通常会带来很大的计算开销。相比之下,反对称RNN通过设计实现了相同的目标。我们通过大量的仿真和实验展示了这种新架构的优势。反对称RNN表现出更可预测的动力学。它在需要长期记忆的任务上优于常规的LSTM模型,在短期依赖性占主导地位的任务上也与之相匹配,尽管它要简单得多。 主页: https://arxiv.org/abs/1902.09689 关键词: 机器学习;arXiv_状态ML;arXiv_cs。LG公司;循环神经网络;循环神经网络;LSTM模型 相关软件: 亚当;火炬差异;DeepONet(深度网络);神经CDE;GRU-ODE支架;火炬;张紧器2传感器;METIS公司;LSTM_编码器_编码器;MGMETIS公司;SINDy-PI公司;PyTorch公司;CUDA公司;波戈;MNIST公司;CIFAR公司;AlexNet公司;ImageNet公司;喀拉拉邦;数字Py 引用于: 9文件 标准条款 1出版物描述软件 年份 反对称RNN:递归神经网络的动态系统观arXiv公司Bo Chang、Minmin Chen、Eldad Haber、Ed H.Chi 2019 全部的 前5名20位作者引用 1 哈利什·巴特。 1 卡提克省杜莱萨米 1 E、 渭南 1 埃里克·福戈斯顿 1 拉奇特·古普塔 1 韩洁群 1 谢安尼先生 1 拉杰夫·库马尔·杰曼 1 达努什卡库拉纳特 1 李倩晓 1 Lim、Soon Hoe 1 孟平超 1 布拉克斯顿奥斯汀 1 潘绍武 1 马恩·克拉滕 1 Daniele E.Schiavazzi。 1 亚历克斯·谢尔斯汀斯基 1 童国祥格雷森 1 尹伟石 1 龙城尹 全部的 前5名引用于6个系列 2 物理D 2 机器学习研究杂志(JMLR) 2 SIAM应用动力系统杂志 1 计算机和流体 1 计算力学 1 电子研究档案 全部的 前5名在8个字段中引用 6 计算机科学(68-XX) 三 动力系统和遍历理论(37至XX) 2 常微分方程(34-XX) 2 统计学(62-XX) 2 可变形固体力学(74-XX) 2 生物学和其他自然科学(92-XX) 1 算子理论(47-XX) 1 流体力学(76-XX) 按年份列出的引文