文章

长短期存储器

作者:

九月曲棍球运动员,

尤尔根施米德胡贝作者信息和声明

神经计算,体积9,问题8

页1735-1780

https://doi.org/10.1162/neco.1999.9.8.1735

出版:1997年11月1日出版历史

摘要

学习通过反复反向传播在延长的时间间隔内存储信息需要很长时间，主要是因为错误回流不足、衰减。我们简要回顾了Hochreiter（1991）对这个问题的分析，然后介绍了一种新的、高效的、基于梯度的方法，称为长短期记忆（LSTM）。在不造成损害的情况下截断梯度，LSTM可以通过在特定单元内的恒定误差转盘中强制恒定误差流，学会跨越超过1000个离散时间步长的最小时间滞后。乘法门单元学习打开和关闭对恒定误差流的访问。LSTM在空间和时间上是局部的；其每个时间步长和权重的计算复杂度为O（运行）. 1. 我们对人工数据的实验涉及局部、分布式、实值和噪声模式表示。与实时递归学习、时间反向传播、递归级联相关、Elman网和神经序列组块相比，LSTM可以获得更多成功的运行，并且学习速度更快。LSTM还解决了以前递归网络算法从未解决过的复杂、人工长时间滞后任务。

工具书类

[1]

Almeida，L.B.（1987）。组合环境中带反馈的异步感知器的学习规则。在IEEE第一届神经网络国际会议，圣地亚哥（第2卷，第609-618页）。

[2]

Baldi，P.和Pineda，F.（1991年）。对比学习和神经振荡器。神经计算，3, 526-545.

[3]

Bengio，Y.和Frasconi，P.（1994）。通过时间分配学分：反向传播的替代方案。在J.D.Cowan、G.Tesauro和J.Alscort（编辑）中，神经信息处理系统的进展6（第75-82页）。加利福尼亚州圣马特奥：Morgan Kaufmann。

[4]

Bengio，Y.、Simard，P.和Frasconi，P.（1994年）。学习梯度下降的长期依赖性是困难的。IEEE神经网络汇刊，5(2), 157-166.

数字图书馆

[5]

Cleermans，A.、Servan-Schreiber，D.和McClelland，J.L.（1989）。有限状态自动机和简单递归网络。神经计算，1, 372-381.

数字图书馆

[6]

de Vries，B.和Principie，J.C.（1991）。时滞神经网络理论。R.P.Lippmann、J.E.Moody和D.S.Touretzky（编辑），神经信息处理系统的进展3（第162-168页）。加利福尼亚州圣马特奥：Morgan Kaufmann。

数字图书馆

[7]

Doya，K.（1992年）。递归神经网络学习中的分歧。在1992年IEEE电路与系统国际研讨会论文集（第2777-2780页）。

[8]

Doya，K.和Yoshizawa，S.（1989年）。使用连续时间反向传播学习的自适应神经振荡器。神经网络，2, 375-385.

数字图书馆

[9]

Elman，J.L.（1988）。及时发现结构（技术代表编号：CRL 8801）。圣地亚哥：加州大学圣地亚哥分校语言研究中心。

[10]

Fahlman，S.E.（1991）。递归级联相关学习算法。R.P.Lippmann、J.E.Moody和D.S.Touretzky（编辑），神经信息处理系统的进展3（第190-196页）。加利福尼亚州圣马特奥：Morgan Kaufmann。

数字图书馆

[11]

Hochreiter，J.（1991）。Untersuchungen zu dynamicschen neuronalen Netzen公司纽尔信息研究所文凭论文，Lehrstuhl，慕尼黑理工大学Brauer教授。请参见http://www7.informatik.tu-muenchen.de/~hochreit。

[12]

Hochreiter，S.和Schmidhuber，J.（1995）。长短期记忆（技术代表号：FKI-207-95）。慕尼黑理工大学Fakultät für Informatik。

[13]

Hochreiter，S.和Schmidhuber，J.（1996年）。通过重量猜测和“长短期记忆”来弥补长时间滞后。在F.L.Silva、J.C.Principe和L.B.Almeida（编辑）中，生物和人工系统中的时空模型（第65-72页）。阿姆斯特丹：IOS出版社。

[14]

Hochreiter，S.和Schmidhuber，J.（1997）。LSTM可以解决长时间滞后的难题。在神经信息处理系统的进展9马萨诸塞州剑桥：麻省理工学院出版社。

[15]

Lang，K.、Waibel，A.和Hinton，G.E.（1990年）。一种用于孤立词识别的时滞神经网络结构。神经网络，3, 23-43.

数字图书馆

[16]

Lin，T.、Horne，B.G.、Tino，P.和Giles，C.L.（1996）。在NARX递归神经网络中学习长期依赖性。IEEE神经网络汇刊，7, 1329-1338.

数字图书馆

[17]

Miller，C.B.和Giles，C.L.（1993）。递归神经网络中顺序效应的实验比较。国际模式识别与人工智能杂志，7(4), 849-872.

[18]

Mozer，M.C.（1989）。一种用于时间序列识别的聚焦反向传播算法。复杂系统，3, 349-381.

[19]

Mozer，M.C.（1992年）。多尺度时间结构的归纳。J.E.Moody、S.J.Hanson和R.P.Lippman（编辑），神经信息处理系统的进展4（第275-282页）。加利福尼亚州圣马特奥：Morgan Kaufmann。

[20]

Pearlmutter，B.A.（1989）。递归神经网络中的学习状态空间轨迹。神经计算，1(2), 263-269.

数字图书馆

[21]

Pearlmutter，B.A.（1995年）。动态递归神经网络的梯度计算：综述。IEEE神经网络汇刊，6(5), 1212-1228.

数字图书馆

[22]

皮内达，F.J.（1987）。递归神经网络反向传播的推广。物理评论信件，19(59), 2229-2232.

[23]

Pineda，F.J.（1988）。神经计算的动力学和结构。复杂性杂志，4, 216-245.

数字图书馆

[24]

Plate，T.A.（1993）。全息递归网络。在S.J.Hanson、J.D.Cowan和C.L.Giles（编辑）中，神经信息处理系统的进展5（第34-41页）。加利福尼亚州圣马特奥：Morgan Kaufmann。

[25]

Pollack，J.B.（1991）。动态识别器中通过相变进行的语言归纳。R.P.Lippmann、J.E.Moody和D.S.Touretzky（编辑），神经信息处理系统的进展3（第619-626页）。加利福尼亚州圣马特奥：Morgan Kaufmann。

[26]

Puskorius，G.V.和Feldkamp，L.A.（1994年）。非线性动力系统的卡尔曼滤波训练递归网络神经控制。IEEE神经网络汇刊，5(2), 279-297.

数字图书馆

[27]

Ring，M.B.（1993）。通过递增添加更高的顺序来学习连续任务。在S.J.Hanson、J.D.Cowan和C.L.Giles（编辑）中，神经信息处理系统的进展5（第115-122页）。加利福尼亚州圣马特奥：Morgan Kaufmann。

[28]

Robinson，A.J.和Fallside，F.（1987）。效用驱动的动态误差传播网络（技术代表编号：CUED/F-INFENG/TR.1）。剑桥：剑桥大学工程系。

[29]

Schmidhuber，J.（1989）。动态前馈和递归网络的局部学习算法。连接科学，1(4), 403-412.

[30]

Schmidhuber，J.（1992a）。固定大小的存储O（n）^三)全递归连续运行网络的时间复杂度学习算法。神经计算，4(2), 243-248.

数字图书馆

[31]

Schmidhuber，J.（1992年b）。使用历史压缩原理学习复杂的扩展序列。神经计算，4(2), 234-242.

数字图书馆

[32]

Schmidhuber，J.（1992年c）。学习明确的简化序列描述。J.E.Moody、S.J.Hanson和R.P.Lippman（编辑），神经信息处理系统的进展4（第291-298页）。加利福尼亚州圣马特奥：Morgan Kaufmann。

[33]

Schmidhuber，J.（1993）。Netzwerkarchitekturen、Zielfunktitonen和Kettenregel慕尼黑工业大学信息研究所。

[34]

Schmidhuber，J.和Hochreiter，S.（1996年）。猜测可以胜过许多长时间滞后算法（技术代表编号：IDSIA-19-96）。瑞士卢加诺：人工智能研究所。

[35]

Silva，G.X.、Amaral，J.D.、Langlois，T.和Almeida，L.B.（1996）。快速训练循环网络。在F.L.Silva、J.C.Principe和L.B.Almeida（编辑）中，生物和人工系统中的时空模型（第168-175页）。阿姆斯特丹：IOS出版社。

[36]

Smith，A.W.和Zipser，D.（1989）。使用实时递归学习算法学习序列结构。国际神经系统杂志，1(2), 125-131.

数字图书馆

[37]

Sun，G.、Chen，H.和Lee，Y.（1993）。时间扭曲不变神经网络。在S.J.Hanson、J.D.Cowan和C.L.Giles（编辑）中，神经信息处理系统的进展5（第180-187页）。加利福尼亚州圣马特奥：Morgan Kaufmann。

[38]

Watrous，R.L.和Kuhn，G.M.（1992年）。使用二阶递归网络归纳有限状态语言。神经计算，4, 406-414.

数字图书馆

[39]

Werbos，P.J.（1988）。反向传播的推广及其在循环天然气市场模型中的应用。神经网络，1, 339-356.

[40]

Williams，R.J.（1989）。递归神经网络精确梯度计算算法的复杂性（技术代表编号NU-CCS-89-27）。波士顿：东北大学计算机科学学院。

[41]

Williams，R.J.和Peng，J.（1990年）。一种高效的基于梯度的递归网络轨迹在线训练算法。神经计算，4, 491-501.

[42]

Williams，R.J.和Zipser，D.（1992年）。用于递归网络的基于梯度的学习算法及其计算复杂性。Y.Chauvin和D.E.Rumelhart（编辑），反向传播：理论、架构和应用新泽西州希尔斯代尔：埃尔鲍姆。

数字图书馆

引用人

古普塔H达斯坦尼MSichman J公司亚历山那州N迪格纳姆五世(2024)用于导航和主动传感的高效连续空间信念MDP解决方案第23届自治代理和多代理系统国际会议记录10.5555/3635637.3663275(2749-2751)在线发布日期：2024年5月6日
https://dl.acm.org/doi/10.5555/3635637.3663275
Gendron G公司陈毅罗杰斯·M刘毅Azhar M公司海达里S瓦尔迪兹DKnowles K公司奥利里·P艾尔SWitbrock M公司多比·G刘杰德尔马斯P达斯坦尼MSichman J公司亚历山那州N迪格纳姆五世(2024)基于因果结构发现和图神经网络的社会动物行为建模第23届自治代理和多代理系统国际会议记录10.5555/3635637.3663132(2276-2278)在线发布日期：2024年5月6日
https://dl.acm.org/doi/10.5555/3635637.3663132
威尔·J包Z阿博德OMeuser T公司达斯坦尼MSichman J公司亚历山那州N迪格纳姆五世(2024)递归消息传递图中多智能体强化学习的可推广性第23届自治代理和多代理系统国际会议记录10.5555/3635637.3663055(1919-1927)在线发布日期：2024年5月6日
https://dl.acm.org/doi/10.5555/3635637.3663055
显示更多引用者

索引术语

长短期存储器

建议

长短记忆尖峰网络及其应用
ICONS 2020：2020年神经形态系统国际会议

基于事件的神经形态系统的最新进展引起了人们对尖峰神经网络（SNN）的使用和发展的极大兴趣。然而，尖峰神经元的不可微性使得SNN与传统神经网络不兼容。。。
关于扩展长短期记忆和依赖性双向递归神经网络
集锦
- 这项工作对RNN细胞的记忆特性进行了前所未有的分析。
- 这项工作开发了扩展的LSTM，它比以前的RNN单元保留更长的内存。
- 提出了一种新的鲁棒RNN模型，称为依赖BRNN。
- 这个。。。
摘要
在这项工作中，我们首先分析了三个递归神经网络（RNN）细胞的记忆行为；即简单RNN（SRN）、长短期存储器（LSTM）和门控递归单元（GRU），其中存储器被定义为。。。
乌尔都语声学建模的长短记忆递归神经网络结构

近年来，递归神经网络（RNN）在声学建模方面取得了显著的进步。然而，RNN的潜力尚未用于乌尔都语声学建模。连接主义时间分类和基于注意的RNN。。。

评论

信息和贡献者

问询处

发布于

封面图像神经计算

神经计算第9卷第8期

1997年11月15日

212页

国际标准编号：0899-7667

出版商

麻省理工学院出版社

美国马萨诸塞州剑桥

出版历史

出版：1997年11月1日

限定符

第条

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

14,348
引文总数
查看引文
0
总下载次数

下载次数（过去12个月）0
下载次数（最近6周）0

反映截至2024年9月19日的下载量

其他指标

查看作者指标

引文

引用人

古普塔H达斯坦尼MSichman J公司亚历山那州N迪格纳姆五世(2024)用于导航和主动传感的高效连续空间信念MDP解决方案第23届自治代理和多代理系统国际会议记录10.5555/3635637.3663275(2749-2751)在线发布日期：2024年5月6日
https://dl.acm.org/doi/10.5555/3635637.3663275
Gendron G公司陈毅罗杰斯·M刘毅Azhar M公司海达里S瓦尔迪兹DKnowles K公司奥利里·P艾尔·S威布罗克M多比·G刘杰德尔马斯P达斯坦尼MSichman J公司亚历山那州N迪格纳姆五世(2024)基于因果结构发现和图神经网络的社会动物行为建模第23届自治代理和多代理系统国际会议记录10.5555/3635637.3663132(2276-2278)在线发布日期：2024年5月6日
https://dl.acm.org/doi/10.5555/3635637.3663132
威尔·J包Z阿伯德·O用户T达斯坦尼MSichman J公司亚历山那州N迪格纳姆五世(2024)递归消息传递图中多智能体强化学习的可推广性第23届自治代理和多代理系统国际会议记录10.5555/3635637.3663055(1919-1927)在线发布日期：2024年5月6日
https://dl.acm.org/doi/10.5555/3635637.3663055
绍特A波特基NAcar E公司广场A达斯坦尼MSichman J公司亚历山那州N迪格纳姆五世(2024)核心：通过强化学习实现可扩展和高效的因果发现第23届自治代理和多代理系统国际会议记录10.5555/3635637.3663027(1664-1672)在线发布日期：2024年5月6日
https://dl.acm.org/doi/10.5555/3635637.3663027
汗A威利·T关恩塔切蒂A鲁C格伦斯特特ERocktäschel T公司福斯特J达斯坦尼MSichman J公司亚历山那州N迪格纳姆五世(2024)将对手塑造扩展到高维游戏第23届自主智能体和多智能体系统国际会议论文集10.5555/3635637.3662955(1001-1010)在线发布日期：2024年5月6日
https://dl.acm.org/doi/10.5555/3635637.3662955
Gebrekidan T公司斯坦因·S诺曼·T达斯坦尼MSichman J公司亚历山那州N迪格纳姆五世(2024)任意行动空间在线组合资源分配的联合行动选择深度强化学习第23届自治代理和多代理系统国际会议记录10.5555/3635637.3662918(660-668)在线发布日期：2024年5月6日
https://dl.acm.org/doi/10.5555/3635637.3662918
吴Z她问周C(2024)基于人工智能的智能客户服务系统优化组织与最终用户计算杂志10.4018/JOEUC.33692336:1(1-27)在线发布日期：2024年2月21日
https://dl.acm.org/doi/10.4018/JOEUC.336923
李伟蔡毅哈纳菲亚M廖Z(2024)基于跨订单电子商务客户数据分析的个性化产品推荐实证研究组织与最终用户计算杂志10.4018/JOEUC.33549836:1(1-16)在线发布日期：2024年1月30日
https://dl.acm.org/doi/10.4018/JOEUC.335498
徐杰(2024)用长短期记忆深度学习模型预测需水量国际信息技术与系统方法杂志10.4018/ijitsa33891017:1(1-18)在线发布日期：2024年2月27日
https://dl.acm.org/doi/10.4018/IJITSA.338910
张杰玲B(2024)基于mel倒谱系数和gammatone倒谱系数联合方法的呼吸部位分类智能与模糊系统杂志：工程与技术应用10.3233/JIFS-23544646:2(3623-3634)在线发布日期：2024年2月14日
https://dl.acm.org/doi/10.3233/JIFS-235446
显示更多引用者

视图选项

查看选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子

查看问题目录