于勇;司晓生;胡昌华;张建勋 递归神经网络综述：LSTM细胞和网络架构。 （英语） Zbl 1494.68236号 神经计算。 31，第7期，1235-1270（2019）. 摘要：递归神经网络（RNN）已被广泛应用于与文本、音频和视频等顺序数据相关的研究领域。然而，当输入间隙较大时，由sigma单元或tanh单元组成的RNN无法学习输入数据的相关信息。通过在单元结构中引入门函数，长短期存储器（LSTM）可以很好地处理长期依赖性问题。自引入以来，LSTM几乎实现了基于RNN的所有令人兴奋的结果。LSTM已成为深度学习的焦点。我们回顾了LSTM细胞及其变体，以探索LSTM细胞的学习能力。此外，LSTM网络分为两大类：LSTM主导网络和集成LSTM网络。此外，还讨论了它们的各种应用。最后，提出了LSTM网络未来的研究方向。 引用于12文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 2017年10月68日 人工神经网络与深度学习 92B20型 生物研究、人工生命和相关主题中的神经网络 软件：MS-COCO公司;埃沃利诺;时钟RNN;Flickr30K手机;LSTM公司 PDF格式BibTeX公司 XML格式引用 \textit{Y.Yu}等人，《神经计算》。31，编号71235-1270（2019；兹bl 1494.68236） 全文： 内政部 参考文献： [1] Achanta，R.、Shaji，A.、Smith，K.、Lucchi，A.，Fua，P.和Süsstrunk，S.（2010年）。SLIC超级像素。https://www.researchgate.net/publication/44234783_SLIC_superpoixes网站 [2] Altché，F.和Fortelle，A.D.L.（2017）。用于公路轨迹预测的LSTM网络。IEEE第20届智能运输系统国际会议论文集。新泽西州皮斯卡塔韦：IEEE， [3] Bengio，Y.（2009年）。学习人工智能的深层架构。机器学习的基础和趋势，2（1），1-127·Zbl 1192.68503号 [4] Bengio，Y.、Simard，P.和Frasconi，P.（1994年）。学习梯度下降的长期依赖性是困难的。IEEE神经网络汇刊，5（2），157-166， [5] Brahma，S.（2018）。后缀双向长短期记忆。http://www.researchgate.net/publication/325262895_Suffix_Bididirectional_Long_Short-Term_Memory（http://www.researchgate.net/publication/325262895_Suffix_Bididirectional_Long_Short-Term_Memory） [6] Britz，D.、Goldie，A.、Luong，M.T.和Le，Q.（2017）。大量探索神经机器翻译架构。arXiv:1703.03906。 [7] Brown，B.、Yu，X.和Garverick，S.（2004）。混合模式模拟VLSI连续时间递归神经网络。电路、信号和系统：IASTED国际会议论文集。 [8] Carrio，A.、Sampedro，C.、Rodriguez-Ramos，A.和Campoy，P.（2017）。无人机深度学习方法及其应用综述。传感器杂志，2，1-13， [9] Chen，T.B.和Soo，V.W.（1996年）。递归神经网络结构对时间序列学习的比较研究。IEEE神经网络国际会议论文集。新泽西州皮斯卡塔韦：IEEE， [10] Chen，X.、Fang，H.、Lin，T.Y.、Vedantam，R.、Gupta，S.、Dollar，P.和Zitnick，C.L.（2015）。Microsoft COCO标题：数据收集和评估服务器。arXiv:504.00325v2。 [11] Chen，X.、Mottaghi，R.、Liu，X.和Fidler，S.、Urtasun，R.和Yuille，A.（2014）。检测你能做的：使用整体模型和身体部位检测和表示对象。IEEE计算机视觉和模式识别会议论文集。新泽西州皮斯卡塔韦：IEEE， [12] Cheng，M.、Xu，Q.、Lv，J.、Liu，W.、Li，Q.和Wang，J.（2016）。MS-LSTM：用于BGP异常检测的多尺度LSTM模型。IEEE第24届网络协议国际会议论文集。新泽西州皮斯卡塔韦：IEEE。 [13] Cho，K.、Van Merrienboer，B.、Gulcehre，C.、Bahdanau，D.、Bougares，F.、Schwenk，H.和Bengio，Y.（2014年）。使用RNN编码器-解码器学习短语表示以进行统计机器翻译。arXiv:1406.1078v3。 [14] Chung，J.、Gulcehre，C.、Cho，K.H.和Bengio，Y.（2014年）。门控递归神经网络对序列建模的实证评估。arXiv:1412.3555v1。 [15] Chung，J.、Gulcehre，C.、Cho，K.和Bengio，Y.（2015）。门控反馈递归神经网络。arXiv:1502.02367v1。 [16] Deng，L.（2013）。三类深度学习架构及其应用：教程调查。在APSIPA交易中的信号和信息处理。剑桥：剑桥大学出版社。 [17] Dey，R.和Salemt，F.M.（2017年）。门控递归单元（GRU）神经网络的门控变量。IEEE国际中西部电路与系统研讨会论文集。新泽西州皮斯卡塔韦：IEEE， [18] Du，X.，Zhang，H.，Nguyen，H.V.，&Han，Z.（2017）。用于车对车通信中交通预测的堆叠LSTM深度学习模型。在IEEE车辆技术会议论文集上。新泽西州皮斯卡塔韦：IEEE， [19] Elman，J.L.（1990）。及时发现结构。认知科学，14（2），179-211， [20] Fernández，S.、Graves，A.和Schmidhuber，J.（2007a）。基于递阶递归神经网络的结构域序列标记。第20届国际人工智能联合会议论文集。加利福尼亚州圣马特奥：摩根·考夫曼。 [21] Fernández，S.、Graves，A.和Schmidhuber，J.（2007b）。递归神经网络在鉴别关键词识别中的应用。《人工神经网络国际会议论文集》（第220-229页）。柏林：斯普林格， [22] Francesconi，E.、Frasconi，P.、Gori，M.、Marinai，S.、Sheng，J.Q.、Soda，G.和Sperduti，A.（1997）。基于递归神经网络的标志识别。《图形识别国际研讨会论文集》（第104-117页）。柏林：斯普林格。 [23] Frasconi，P.、Gori，M.和Sperduti，A.（1998年）。数据结构自适应处理的通用框架。IEEE神经网络汇刊，9（5），768-786， [24] 福岛，K.（1980）。Neocognitron：不受位置变化影响的模式识别机制的自组织神经网络模型。生物控制论，36（4），193-202·Zbl 0419.92009号 [25] Gallagher，J.C.、Boddhu，S.K.和Vigraham，S..（2005年）。一种用于可进化硬件应用的可重构连续时间递归神经网络。2005年IEEE进化计算大会会议记录。新泽西州皮斯卡塔韦：IEEE， [26] Gers，F.（2001）。递归神经网络中的长-短期记忆。博士学位。，柏林Beuth Hochschule für Technik。 [27] Gers，F.A.和Schmidhuber，J.（2000）。递归网络的时间和计数。IEEE-INNS-ENNS国际神经网络联合会议论文集。新泽西州皮斯卡塔韦：IEEE， [28] Gers，F.A.和Schmidhuber，J.（2001）。LSTM递归网络学习简单的无上下文和上下文敏感语言。IEEE传输。神经系统。净值。，12(6), 1333-1340. , [29] Gers，F.A.、Schmidhuber，J.和Cummins，F.（2000）。学会遗忘：使用LSTM进行持续预测。神经计算，12（10），2451-2471， [30] Gers，F.A.和Schraudolph，N.（2002年）。使用LSTM递归网络学习精确计时。机器学习研究杂志，3115-143·Zbl 1088.68717号 [31] Goel，K.、Vohra，R.和Sahoo，J.K.（2014）。使用RNN-DBN通过建模时间相关性生成复调音乐。《人工神经网络国际会议论文集》。柏林：斯普林格， [32] Goller，C.和Kuchler，A.（1996年）。通过结构反向传播学习任务相关的分布式表示。神经网络，1347-352。 [33] Graves，A.（2012年）。递归神经网络监督序列标记。柏林：斯普林格·Zbl 1235.68014号 [34] Graves，A.（2014）。用递归神经网络生成序列。arXiv:1308.0850v5。 [35] Graves，A.、Fernández，S.和Schmidhuber，J.（2007）。多维递归神经网络。《人工神经网络国际会议论文集》。柏林：斯普林格。 [36] Graves，A.、Wayne，G.和Danihelka，I.（2014）。神经图灵机器。arXiv:1410.5401v2。 [37] Graves，A.、Wayne，G.、Reynolds，M.、Harley，T.、Danihelka，I.、Grabskabarwińska，A.和Agapiou，J.（2016）。使用具有动态外部存储器的神经网络进行混合计算。《自然》，538（7626），471-476， [38] Graves，A.和Schmidhuber，J.（2005年）。基于双向LSTM和其他神经网络结构的框架音素分类。神经网络，18（5），602-610， [39] Greff，K.、Srivastava，R.K.、KoutníK，J.、Steunebrink，B.R.和Schmidhuber，J.（2016）。LSTM：一个探索空间的奥德赛。IEEE神经网络和学习系统汇刊，28（10），2222-2232， [40] Guo，Y.，Liu，Y.、Georgiou，T.和Lew，M.S.（2017）。深度神经网络语义切分综述。国际多媒体信息检索杂志，2，1-7。 [41] Han，X.，Wu，Z.，Jiang，Y.G.，&Davis，L.S.（2017）。学习与双向LSTM的时尚兼容性。2017年ACM多媒体会议记录。纽约：ACM， [42] He，T.和Droppo，J.（2016）。在深度神经网络中利用LSTM结构进行语音识别。《IEEE声学、语音和信号处理国际会议论文集》（第5445-5449页）。新泽西州皮斯卡塔韦：IEEE， [43] Heck，J.C.和Salem，F.M.（2017年）。递归神经网络的简化最小选通单元变化。IEEE国际中西部电路与系统研讨会论文集（第1593-1596页）。新泽西州皮斯卡塔韦：IEEE， [44] Hochreiter，S.（1991年）。Untersuchungen zu dynamicschen neuronalen Netzen公司。博士学位。，慕尼黑理工大学。 [45] Hochreiter，S.和Schmidhuber，J.（1997）。长短期记忆。神经计算，9（8），1735-1780， [46] Hsu，W.N.，Zhang，Y.，Lee，A.，&Glass，J.（2016）。利用卷积递归深度神经网络中的深度和高速公路连接进行语音识别。细胞，50（1），395-399。 [47] Irie，K.、Tüske，Z.、Alkhouli，T.、Schlüter，R.和Ney，H.（2016）。LSTM、GRU、highway和一些注意事项：语音识别中语言建模的经验概述。《国际演讲会议录》（第3519-3523页）。纽约州红钩市：科伦， [48] Ivakhnenko，A.G.（1971）。复杂系统的多项式理论。IEEE系统、人类和控制论汇刊，4364-378， [49] Ivakhnenko，A.G.和Lapa，V.G.（1965年）。控制论预测装置。加利福尼亚州萨克拉门托：CCM信息公司。 [50] Jing，L.、Gulcehre，C.、Peurifoy，J.、Shen，Y.、Tegmark，M.、Soljać，M.和Bengio，Y.（2017年）。门正交递归单元：关于学习遗忘。arXiv:1706.02761·Zbl 1476.68232号 [51] Jordan，M.（1986年）。连接时序机中的吸引子动力学和并行性。《认知科学学会年会论文集》（第531-546页）。新泽西州皮斯卡塔韦：IEEE。 [52] Jozefowicz，R.、Zaremba，W.和Sutskever，I.（2015）。递归网络体系结构的实证研究。《机器学习国际会议国际会议论文集》（第2342-2350页）。纽约：ACM。 [53] Kalchbrenner，N.、Danihelka，I.和Graves，A.（2015）。网格长短期记忆。arXiv:1507.01526。 [54] Karpathy，A.、Johnson，J.和Li，F.F.（2015）。可视化和理解循环网络。arXiv:1506.02078。 [55] Khan，S.和Yairi，T.（2018年）。深度学习在系统健康管理中的应用综述。机械系统和信号处理，107241-265， [56] Kim，J.、El-Khamy，M.和Lee，J.（2017）。残余LSTM：设计一种用于远程语音识别的深层递归结构。arXiv:1701.03360。 [57] Koutnik，J.、Greff，K.、Gomez，F.和Schmidhuber，J.（2014）。发条式RNN。arXiv:1402.3511v1。 [58] Krause，B.、Lu，L.、Murray，I.和Renals，S.（2016）。用于序列建模的乘法LSTM。arXiv:1609.07959。 [59] Krumm，J.和Horvitz，E.（2015）。目击者：通过推特feed中的时空信号识别当地事件。第23届SIGSPATIAL地理信息系统进展国际会议论文集。纽约：ACM， [60] LeCun，Y.、Boser，B.、Denker，J.S.、Henderson，D.、Howard，R.E.、Hubbard，W.和Jackel，L.D.（1989）。反向传播应用于手写邮政编码识别。神经计算，1（4），541-551， [61] LeCun，Y.、Bottou，L.、Bengio，Y.和Haffner，P.（1998）。基于梯度的学习应用于文档识别。IEEE会议录，86（11），2278-2324， [62] Li，B.和Sainath，T.N.（2017年）。降低二维LSTM的计算复杂性。《国际演讲会议录》（第964-968页）。纽约州红钩市：科伦， [63] Li，J.、Luong，M.T.、Dan，J和Hovy，E.（2015）。什么时候需要树结构来深入学习表示法？arXiv:153.00185v5。 [64] Li，J.、Mohamed，A.、Zweig，G.和Gong，Y.（2016a）。探索大词汇量ASR的多维LSTMS。IEEE声学、语音和信号处理国际会议论文集（第4940-4944页）。新泽西州皮斯卡塔韦：IEEE， [65] Li，J.、Mohamed，A.、Zweig，G.和Gong，Y.（2016b）。用于自动语音识别的LSTM时间和频率递归。《自动语音识别和理解会议记录》（第187-191页）。新泽西州皮斯卡塔韦：IEEE。 [66] Li，S.，Li，W.，Cook，C.，Zhu，C.，&Gao，Y.（2018）。独立递归神经网络：构建更长、更深的RNN。《IEEE计算机视觉和模式识别会议记录》（第5457-5466页）。新泽西州皮斯卡塔韦：IEEE， [67] Liang，X.、Lin，L.、Shen，X.，Feng，J.、Yan，S.和Xing，E.P.（2017）。涉及LSTM的可解释结构。在IEEE计算机视觉和模式识别会议论文集（第2171-2184页）。新泽西州皮斯卡塔韦：IEEE， [68] Liang，X.，Liu，S.，Shen，X.、Yang，J.、Liu，L.、Dong，J和Yan，S.（2015）。使用主动模板回归进行深度人工解析。IEEE模式分析和机器智能汇刊，37（12），2402， [69] Liang，X.，Shen，X.、Feng，J.、Lin，L.和Yan，S.（2016）。使用图LSTM进行语义对象解析。《欧洲计算机视觉会议记录》（第125-143页）。柏林：斯普林格， [70] Liang，X，Shen，X，X.，Xiang，D.，Feng，J.，Lin，L.，&Yan，S.（2016）。使用局部-全局长-短期记忆进行语义对象解析。《IEEE计算机视觉和模式识别会议论文集》（第3185-3193页）。新泽西州皮斯卡塔韦：IEEE， [71] Lin，T.Y.、Maire，M.、Belongie，S.、Hays，J.、Perona，P.、Ramanan，D.和Zitnick，C.L.（2014）。Microsoft COCO:上下文中的通用对象。《欧洲计算机视觉会议记录》（第740-755页）。柏林：斯普林格， [72] Lipton，Z.C.、Berkowitz，J.和Elkan，C.（2015）。用于序列学习的递归神经网络的批判性综述。arXiv:1506.000190。 [73] Liu，P.，Qiu，X.，Chen，J.，&Huang，X..（2016）。用于文本语义匹配的深度融合LSTM。《计算语言学协会第54届年会会议记录》（第1034-1043页）。宾夕法尼亚州斯特劳德斯堡：ACL， [74] Liu，P.，Qiu，X.，&Huang，X..（2016）。模拟句子对与耦合LSTM的交互作用。arXiv:1605.05573。 [75] Liu，Q.，Zhou，F.，Hang，R.，&Yuan，X.（2017）。基于双向卷积LSTM的光谱空间特征学习用于高光谱图像分类。遥感，9（12），1330-1339， [76] Mallinar，N.和Rosset，C.（2018年）。深度规范相关的LSTM。arXiv:1801.05407。 [77] McCarter，G.和Storkey，A.（2007年）。空运图像分割数据库。 [78] Miwa，M.和Bansal，M.（2016）。在序列和树结构上使用LSTM进行端到端关系提取。arXiv:1601.00770。 [79] Moniz，J.R.A.和Krueger，D.（2018年）。嵌套LSTM。arXiv：1801.10308。 [80] Mozer，M.C.和Das，S.（1993年）。发现无上下文语言结构的连接主义符号操纵器。S.J.Hanson、J.D.Cowan和C.L.Giles（编辑），《神经信息处理系统的进展》，5（第863-870页）。马萨诸塞州剑桥：麻省理工学院出版社。 [81] Nair，V.和Hinton，G.E.（2010年）。校正的线性单元改进了受限的Boltzmann机器。《机器学习国际会议国际会议记录》（第807-814页）。威斯康星州麦迪逊：无所不在。 [82] Neil，D.、Pfeiffer，M.和Liu，S.C.（2016年）。分阶段LSTM：加速长序列或基于事件的序列的重复网络训练。D.D.Lee、U.von Luxburg、R.Garnett、M.Sugiyama和I.Guyon（编辑），《神经信息处理系统的进展》，16（第3882-3890页）。纽约州红钩市：Curran。 [83] Nie，Y.、An，C.、Huang，J.、Yan，Z.和Han，Y.（2016）。双向LSTM模型，用于问答中的题目和正文分析。IEEE第一届网络空间数据科学国际会议（第307-311页）。新泽西州皮斯卡塔韦：IEEE， [84] Nina，O.和Rodriguez，A.（2016年）。简化的LSTM单元和搜索空间概率探索用于图像描述。《信息、通信和信号处理国际会议记录》（第1-5页）。新泽西州皮斯卡塔韦：IEEE。 [85] Niu，Z.，Zhou，M.，Wang，L.，Gao，X.和Hua，G.（2017）。用于密集视觉语义嵌入的分层多模式LSTM。《IEEE计算机视觉国际会议论文集》（1899-1907页）。新泽西州皮斯卡塔韦：IEEE， [86] Oord，A.V.D.、Kalchbrenner，N.和Kavukcuoglu，K.（2016）。像素递归神经网络。arXiv:1601.06759。 [87] Palangi，H.、Deng，L.、Shen，Y.、Gao，J.、He，X.、Chen，J.和Ward，R.（2015）。使用长短期记忆网络嵌入深句子：信息检索的分析和应用。IEEE/ACM音频语音和语言处理汇刊，24（4），694-707， [88] Pearlmutter，B.A.（1989）。递归神经网络中的学习状态空间轨迹。神经计算，1（2），263-269， [89] Peng，Z.、Zhang，R.、Liang，X.、Liu，X.和Lin，L.（2016）。使用分层LSTM进行几何场景解析。《国际人工智能联合会议记录》（第3439-3445页）。加利福尼亚州帕洛阿尔托：AAAI出版社。 [90] Plummer，B.A.、Wang，L.、Cervantes，C.M.、Caicedo，J.C.、Hockenmaier，J.和Lazebnik，S.（2017）。Flickr30k实体：为更丰富的图像到句子模型收集区域到短语的对应关系。国际计算机视觉杂志，123（1），74-93， [91] Pulver，A.和Lyu，S.（2017年）。带有工作存储器的LSTM。《国际神经网络联合会议记录》（第845-851页）。新泽西州皮斯卡塔韦：IEEE， [92] Qu，Z.、Haghani，P.、Weinstein，E.和Moreno，P.（2017）。使用CTC-SMBR-LSTM进行基于音节的声学建模。IEEE自动语音识别和理解研讨会论文集（第173-177页）。新泽西州皮斯卡塔韦：IEEE， [93] Rahman，L.、Mohammed，N.和Azad，A.K.A.（2017年）。引入生物细胞状态的LSTM模型。《电气工程和信息通信技术国际会议论文集》（第1-6页）。新泽西州皮斯卡塔韦：IEEE。 [94] Ranzato，M.A.、Szlam，A.、Bruna，J.、Mathieu，M.、Collobert，R.和Chopra，S.（2014）。视频（语言）建模：自然视频生成模型的基线。arXiv:1412.6604。 [95] Rawat，W.和Wang，Z.（2017年）。用于图像分类的深度卷积神经网络：综述。神经计算，29（9），1-10·Zbl 1476.68245号 [96] Robinson，A.J.和Fallside，F.（1987）。效用驱动的动态误差传播网络。剑桥：剑桥大学工程系。 [97] Sainath，T.N.、Vinyals，O.、Senior，A.和Sak，H.（2015）。卷积、长短期记忆、完全连接的深层神经网络。在IEEE国际声学、语音和信号处理会议上（第4580-4584页）。新泽西州皮斯卡塔韦：IEEE， [98] Sak，H.I.，Senior，A.和Beaufays，F.O.（2014）。用于大词汇量语音识别的基于长短期记忆的递归神经网络结构。arXiv:1402.1128v1。 [99] Saleh，K.、Hossny，M.和Nahavandi，S.（2018年）。使用堆叠LSTM网络从运动轨迹对脆弱道路使用者进行意图预测。《IEEE智能交通系统国际会议论文集》（第327-332页）。新泽西州皮斯卡塔韦：IEEE。 [100] Schlag，I.和Schmidhuber，J.（2017年）。用于实时神经程序生成的门控快速权重。元学习研讨会，NIPS元学习研讨会。 [101] Schmidhuber，J.（1993）。降低全递归网络中学习复杂度和时变变量数量之间的比率。《神经网络国际会议论文集》（第460-463页）。伦敦：斯普林格， [102] Schmidhuber，J.（2012）。自界定神经网络。arXiv：2012年。 [103] Schmidhuber，J.、Wierstra，D.、Gagliolo，M.和Gomez，F.（2007年）。埃沃利诺训练循环网络。神经计算，19（3），757-779·Zbl 1127.68085号 [104] Schneider，N.和Gavrila，D.M.（2013）。基于递归贝叶斯滤波器的行人路径预测：一项比较研究。《德国模式识别会议论文集》（第174-183页）。柏林：斯普林格， [105] Schuster，M.和Paliwal，K.K.（1997）。双向递归神经网络。IEEE信号处理汇刊，45（11），2673-2681， [106] Shabanian，S.、Arpit，D.、Trischler，A.和Bengio，Y.（2017年）。可变Bi-LSTM。arXiv:1711.05717。 [107] Sharma，P.和Singh，A.（2017年）。深度神经网络时代：综述。第八届国际计算、通信和网络技术会议记录（第1-5页）。新泽西州皮斯卡塔韦：IEEE， [108] Shi，X.，Chen，Z.，Wang，H.，Woo，W.C.，Woo。卷积LSTM网络：降水预报的机器学习方法。C.Cortes、D.D.Lee、M.Sugiyama和R.Garnett（编辑），《神经信息处理系统的进展》（第802-810页）。纽约州红钩市：Curran。 [109] Song，J.、Tang，S.、Xiao，J.，Wu，F.和Zhang，Z.（2016）。LSTM-in-LSTM用于生成图像的长描述。计算视觉媒体，2（4），1-10， [110] Sperduti，A.和Starita，A.（1997年）。用于结构分类的监督神经网络。IEEE神经网络汇刊，8（3），714-735， [111] Srivastava，R.K.、Greff，K.和Schmidhuber，J.（2015）。公路网。arXiv:1505.00387。 [112] Šter，B.（2013）。选择性递归神经网络。神经处理快报，38（1），1-15， [113] Sun，G.（1990年）。学习无上下文语法的连接主义下推自动机。《神经网络国际联合会议记录》（第577-580页）。新泽西州皮斯卡塔韦：IEEE。 [114] Sutskever，I.、Vinyals，O.和Le，Q.V.（2014）。用神经网络进行序列到序列的学习。Z.Ghahramani、M.Welling、C.Cortes、N.D.Lawrence和K.Q.Weinberger（编辑），《神经信息处理系统的进展》（第3104-3112页）。纽约州红钩市：Curran。 [115] Tai，K.S.、Socher，R.和Manning，C.D.（2015）。改进了树结构长短期记忆网络的语义表示。计算机科学，5（1），36。 [116] Teng，Z.和Zhang，Y.（2016）。具有头部词汇化的双向树结构LSTM。arXiv:1611.06788。 [117] Thireou，T.和Reczko，M.（2007年）。用于预测真核蛋白质亚细胞定位的双向长短期记忆网络。IEEE/ACM计算生物学和生物信息学汇刊，4（3），441-446， [118] Veeriah，V.、Zhuang，N.和Qi，G.J.（2015）。用于动作识别的差分递归神经网络。IEEE计算机视觉国际会议论文集（第4041-4049页）。新泽西州皮斯卡塔韦：IEEE， [119] Vohra，R.、Goel，K.和Sahoo，J.K.（2015）。使用DBN-LSTM对数据中的时间依赖性进行建模。《IEEE数据科学和高级分析国际会议论文集》（第1-4页）。新泽西州皮斯卡塔韦：IEEE， [120] Wang，J.和Yuille，A.（2015）。使用结合形状和外观的组合模型进行语义零件分割。《IEEE计算机视觉和模式识别会议论文集》（第1788-1797页）。新泽西州皮斯卡塔韦：IEEE， [121] Wei，H.、Zhou，H.，Sankaranarayanan，J.、Sengupta，S.和Samet，H.（2018年）。剩余卷积LSTM用于推特计数预测。2018年网络会议指南（第1309-1316页）。日内瓦：国际万维网会议指导委员会， [122] Weiss，G.、Goldberg，Y.和Yahav，E.（2018年）。关于有限精度RNN在语言识别中的实际计算能力。arXiv:1805.04908。 [123] Weng，J.J.、Ahuja，N.和Huang，T.S.（1993年5月）。学习从2D图像中识别和分割3D对象。第四届计算机视觉国际会议论文集（第121-128页）。新泽西州皮斯卡塔韦：IEEE。 [124] Werbos，P.J.（1988）。反向传播的推广及其在循环天然气市场模型中的应用。神经网络，1（4），339-356， [125] Williams，R.J.（1989）。递归神经网络精确梯度计算算法的复杂性（技术报告NU-CCS-89-27）。波士顿：东北大学计算机科学学院。 [126] Wu，H.、Zhang，J.和Zong，C.（2016）。顺序标记中跳跃连接的实证研究。arXiv:1610.03167。 [127] Xie，X.，&Shi，Y.（2018）。长期记忆神经图灵机。计算机科学与应用，8（1），49-58， [128] 山口，K.（2012）。解析时尚照片中的服装。《IEEE计算机视觉和模式识别会议论文集》（第3570-3577页）。新泽西州皮斯卡塔韦：IEEE， [129] Yang，Y.，Dong，J.，Sun，X.，Lima，E.，Mu，Q.，&Wang，X.（2017）。用于海面温度预测的CFCC-LSTM模型。IEEE地球科学与遥感快报，99，1-5。 [130] Yao，K.、Cohn，T.、Vylomova，K.，Duh，K.和Dyer，C.（2015）。深度锁定LSTM。arXiv:1508.03790v4。 [131] Yu，B.，Xu，Q.，&Zhang，P.（2018）。基于MAC-LSTM的问题分类。IEEE第三届网络空间数据科学国际会议论文集。新泽西州皮斯卡塔韦：IEEE， [132] Zaremba，W.和Sutskever，I.（2014）。学习执行。arXiv:1410.4615。 [133] Zhang，J.，Zheng，Y.，&Qi，D.（2016）。用于城市人群流量预测的深度时空残差网络。IEEE声学、语音和信号处理会议记录（第1655-1661页）。新泽西州皮斯卡塔韦：IEEE。 [134] Zhang，X.、Lu，L.和Lapata，M.（2015）。树递归神经网络及其在语言建模中的应用。arXiv:1511.0006v1。 [135] Zhang，Y.、Chen，G.、Yu，D.、Yao，K.、Khudanpur，S.和Glass，J.（2015）。用于远程语音识别的高速公路长短记忆RNN。《IEEE声学、语音和信号处理国际会议论文集》（第5755-5759页）。新泽西州皮斯卡塔韦：IEEE。 [136] Zhao，R.、Wang，J.、Yan，R.和Mao，K.（2016）。使用LSTM网络进行机器健康监测。第十届国际传感技术会议论文集（第1-6页）。新泽西州皮斯卡塔韦：IEEE， [137] Zhou，C.，Sun，C.，Liu，Z.，&Lau，F.C.M.（2016）。用于文本分类的C-LSTM神经网络。计算机科学，1（4），39-44。 [138] Zhou，G.，Wu，J.，Zhang，C.，&Zhow，Z.（2016）。递归神经网络的最小选通单元。国际自动化与计算杂志，13（3），226-234， [139] Zhu，G.，Zhang，L.，Shen，P.，&Song，J.（2017）。使用3D卷积和卷积LSTM的多模态手势识别。IEEE接入，5，4517-4524， [140] Zhu，X.、Sobhani，P.和Guo，H.（2015）。树结构上的长短期记忆。arXiv:153.04881。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。