Shujaat汗；贾瓦德·艾哈迈德；伊姆兰·纳西姆；穆罕默德·莫伊努丁 一种新的基于分数梯度的递归神经网络学习算法。 （英语） Zbl 1477.68271号 电路系统。信号处理。 37，第2号，593-612（2018）. 摘要：在本研究中，我们提出了一种新的递归神经网络学习算法，称为分数时间反向传播（FBPTT）。考虑到分数微积分的潜力，我们建议使用基于分数微积分梯度下降法推导FBPTT算法。在非线性系统辨识、模式分类和Mackey-Glass混沌时间序列预测这三个主要的估计问题上，所提出的FBPTT方法优于传统的时间算法反向传播。 引用于6文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 90立方厘米 分数编程 关键词：时间反向传播（BPTT）；循环神经网络；梯度下降；分数微积分；Mackey-Glass混沌时间序列；最小冗余和最大相关性（MRMR） PDF格式BibTeX公司 XML格式引用 \textit{S.Khan}等人，《电路系统》。信号处理。37，第2号，593--612（2018；Zbl 1477.68271） 全文： 内政部 参考文献： [1] J.Ahmad，《新型Mimo架构的高效自适应波束形成算法设计》，卡拉奇Iqra大学博士论文（2014） [2] J.Amhad、M.Usman、S.Khan、I.Naseem、H.J.Syed，《Rvp-flms：鲁棒变功率分数lms算法》，2016年IEEE控制系统、计算与工程（ICCSCE）国际会议，IEEE，2016年 [3] J.An，S.Cho，使用递归神经网络从脑电图记录中识别抓举任务的手运动，2016年国际大数据和智能计算会议（BigComp），IEEE，2016年，第427-429页 [4] E.A.Antonelo，E.Camponogara，A.Plucenio，带有回波状态网络的垂直立管模型的系统识别。IFAC论文在线48（6），304-310（2015）·doi:10.1016/j.ifacol.2015.08.048 [5] G.Bao，Z.Zeng，一类具有不连续激活函数的离散时间递归神经网络的全局渐近稳定性分析。神经计算193，242-249（2016）·doi:10.1016/j.neucom.2016.02.017 [6] G.W.Bohannan，温度和电机控制应用中的模拟分数阶控制器。J.可控震源。控制14（9-10），1487-1498（2008）·doi:10.1177/1077546307087435 [7] J.Cervera，A.Baños，使用crone结构的qft中的自动循环成形。J.可控震源。控制14（9-10），1513-1529（2008）·Zbl 1229.93069号 ·doi:10.1177/1077546307087433 [8] W.Chan，N.Jaitly，Q.V.Le，O.Vinyals，《听、听、拼：一种用于大词汇会话语音识别的神经网络》，2016年IEEE声学、语音和信号处理国际会议（ICASSP），2016年 [9] N.I.Chaudhary，M.A.Z.Raja，M.S.Aslam，N.Ahmed，volterra lms算法到分数阶的新推广及其在系统辨识中的应用。神经计算。申请。(2016). doi:10.1007/s00521-016-2548-5 [10] X.Chen，T.Tan，X.Liu，P.Lanchantin，M.Wan，M.J.Gales，P.C.Woodland，多流派广播语音识别的递归神经网络语言模型自适应，《ISCA Interspeech会议录》，德国德累斯顿，2015年，第3511-3515页 [11] L.Debnath，分数微积分在科学和工程中的最新应用，国际数学杂志。数学。科学。2003(54), 3413-3442 (2003) ·Zbl 1036.26004号 ·doi:10.1155/S0161171203301486 [12] K.Doya，S.Yoshizawa，使用连续时间反向传播学习的自适应神经振荡器。神经网络。2(5), 375-385 (1989) ·doi:10.1016/0893-6080（89）90022-1 [13] M.Fairbank，E.Alonso，D.Prokhorov，《带批评者的自适应动态规划与时间反向传播之间的等价性》。IEEE传输。神经网络。学习。系统。24(12), 2088-2100 (2013) ·doi:10.1109/TNNLS.2013.2271778 [14] Z.Gan，C.Li，R.Henao，D.E.Carlson，L.Carin，《用于序列建模的深时间sigmoid信念网络》，摘自C.Cortes，N.D.Lawrence，D.D.Lee，M.Sugiyama，R.Garnett编辑的《神经信息处理系统进展》28（Curran Associates，Inc.，2015），第2467-2475页 [15] K.George，K.Subramanian，N.Sheshadhri，改善非线性系统自适应控制中的瞬态响应。IFAC论文在线49（1），658-663（2016）·doi:10.1016/j.ifacol.2016.03.131 [16] T.R.Golub，D.K.Slonim，P.Tamayo，C.Huard，M.Gaasenbeek，J.P.Mesirov，H.Coller，M.L.Loh，J.R.Downing，M.A.Caligiuri等人，《癌症的分子分类：通过基因表达监测进行类别发现和预测》，《科学》286（5439），531-537（1999）·doi:10.1126/science.286.5439.531 [17] I.Grau，G.Nápoles，I.Bonet，M.M.García，通过时间算法反向传播，用于使用可变长度实例训练递归神经网络。计算。修女。17(1), 15-24 (2013) [18] S.O.Haykin，《神经网络：综合基金会》（Prentice Hall PTR，Upper Saddle River，1994）·Zbl 0828.68103号 [19] M.Hermans、J.Dambre、P.Bienstman，《经过时间反向传播训练的光电系统》。IEEE传输。神经网络。学习。系统。26(7), 1545-1550 (2015) ·doi:10.1109/TNNLS.2014.2344002 [20] M.Hermans、M.Soriano、J.Dambre、P.Bienstman、I.Fischer，《作为机器学习实现的光子延迟系统》。arXiv预印arXiv:1501.02592（2015）·Zbl 1351.68215号 [21] H.Jaeger，递归神经网络训练教程，涵盖BPPT、RTRL、EKF和“回声状态网络”方法，GMD报告159，（德国国家信息技术研究中心，2002年），第48页 [22] Y.Ji，G.Haffari，J.Eisenstein，语篇关系语言模型的潜在变量递归神经网络。arXiv预印arXiv:1603.01913（2016） [23] 贾浩，长短期记忆网络对股票价格预测的有效性研究。arXiv预印arXiv:1603.07893（2016） [24] A.Joulin，T.Mikolov，《用堆栈增强递归网络推断算法模式》，载于《神经信息处理系统进展》28，由C.Cortes，N.D.Lawrence，D.D.Lee，M.Sugiyama，R.Garnett编辑（Curran Associates，Inc.，2015），第190-198页 [25] G.Jumarie、修正Riemann-Liouville导数和不可微函数的分数阶taylor级数是进一步的结果。计算。数学。申请。51(9), 1367-1376 (2006) ·Zbl 1137.65001号 ·doi:10.1016/j.camwa.2006.02.001 [26] G.Jumarie，从不可微函数的修正Riemann-Liouville导数导出的一些基本分式微积分公式表。申请。数学。莱特。22（3），378-385（2009）·Zbl 1171.26305号 ·doi:10.1016/j.aml.2008.06.003 [27] G.Jumarie，通过分数分析处理空间粗粒度导致的非线性的方法。非线性分析。真实世界应用。11(1), 535-546 (2010) ·Zbl 1195.37054号 ·doi:10.1016/j.nonrwa.2009.01.003 [28] G.Jumarie，《通过分数差分的分数微积分中的导数链规则及其在系统建模中的应用》。打开Phys。11(6), 617-633 (2013) ·doi:10.2478/s11534-013-0256-7 [29] C.Junhua，D.Baorong，S.Guangren，一种新型时间序列人工神经网络：石油产量预测案例研究。科学。J.控制工程6（1），1-7（2016） [30] F.Ken-ichi，N.Yuichi，用连续时间递归神经网络逼近动力学系统。神经网络。6, 801-806 (1993). doi:10.1016/S0893-6080（05）80125-X·doi:10.1016/S0893-6080（05）80125-X [31] S.Khan，I.Naseem，R.Togneri，M.Bennamoun，rbf神经网络的新型自适应核。电路系统。信号处理。36(4), 1639-1653 (2017). doi:10.1007/s00034-016-0375-7 [32] M.Kleinz，T.Osler，分数导数的儿童花园。《大学数学杂志》31（2），82-88（2000）·Zbl 0995.26506号 [33] J.Koscak，R.Jaksa，P.Sincák，通过时间算法随机更新反向传播预测温度日廓线。数学杂志。系统。科学。2(4), 217-225 (2012) [34] B.Krishna，K.Reddy，1/2级断裂装置的主动和被动实现。主动-被动电子。康彭。2008, 369421 (2008). doi:10.1155/2008/369421 [35] Q.V.Le，深度学习教程第2部分：自动编码器、卷积神经网络和递归神经网络（斯坦福大学计算机科学系，加利福尼亚州，2015年） [36] Q.V.Le，N.Jaitly，G.E.Hinton，《初始化校正线性单元递归网络的简单方法》。arXiv预印arXiv:1504.00941（2015） [37] M.F.Lima、J.A.T.Machado、M.M.Crisóstomo，从分数微积分的角度对机器人碰撞的实验信号进行分析。JACIII 11（9），1079-1085（2007）·doi:10.20965/jaciii.2007.p1079 [38] J.Lovoie，T.J.Osler，R.Tremblay，分数导数和特殊函数。SIAM版本18（2），240-268（1976）·兹比尔0324.44002 ·doi:10.1137/1018042 [39] R.Magin，M.Ovadia，使用分数微积分对心脏组织电极界面进行建模。J.可控震源。控制14（9-10），1431-1442（2008）·2018年9月22日Zbl ·doi:10.1177/1077546307087439 [40] A.Mazumder，A.Rakshit，D.Tibarewala，认知脑电状态分类的基于时间的递归神经网络反向传播方法，2015年IEEE国际工程与技术会议（ICETECH），IEEE，2015年，第1-5页 [41] T.Mikolov，A.Joulin，S.Chopra，M.Mathieu，M.Ranzato，《在递归神经网络中学习更长的记忆》。arXiv预印arXiv:1412.7753（2014） [42] P.K.Muthukumar，A.W.Black，统计参数语音合成的递归神经网络后滤波器。arXiv预印arXiv:1601.07215（2016） [43] R.Panda，M.Dash，分数广义样条和信号处理。信号处理。86(9), 2340-2350 (2006) ·Zbl 1172.65315号 ·doi:10.1016/j.sigpro.2005.10.017 [44] G.Parascandolo，H.Huttunen，T.Virtanen，现实生活录音中用于检测复音声音事件的递归神经网络。arXiv预印arXiv:1604.00861（2016） [45] H.Peng，F.Long，C.Ding，基于最大相关性、最大相关性和最小冗余的互信息准则的特征选择。IEEE传输。模式分析。机器。智力。27(8), 1226-1238 (2005) ·doi:10.1109/TPAMI.2005.159 [46] 蒲云英、袁晓元、廖国光、周杰伦、张楠、蒲晓霞、曾云英，用于任意阶分数阶微积分的递归双路串联模拟分形电路，载于《ICO20：光学信息处理》，60271Y（2006）。doi:10.1117/12.668189 [47] M.A.Z.Raja，N.I.Chaudhary，carma系统参数估计的两阶段分数最小均方辨识算法。信号处理。107, 327-339 (2015) ·doi:10.1016/j.sigpro.2014.06.015 [48] S.Ravuri，A.Stolcke，词汇话语分类的递归神经网络和lstm模型，国际言语交际协会第十六届年会，2015 [49] Y.Roudi，G.Taylor，《利用隐藏变量学习》。货币。操作。神经生物学。35, 110-118 (2015) ·doi:10.1016/j.conb.2015.07.006 [50] J.Sabatier，O.P.Agrawal，J.T.Machado，分数微积分进展（Springer，柏林，2007）·Zbl 1116.00014号 ·doi:10.1007/978-1-4020-6042-7 [51] S.Saha，G.Raghava，使用递归神经网络预测抗原中的连续b细胞表位。蛋白质结构。功能。生物信息。65(1), 40-48 (2006) ·doi:10.1002/port.21078 [52] H.Sak，A.Senior，K.Rao，F.Beaufays，语音识别的快速准确递归神经网络声学模型。arXiv预印本arXiv:1507.06947（2015） [53] B.Shoaib，I.M.Qureshi，Shafqatullah，Ihsanulhaq，混沌时间序列预测的自适应步长修正分数最小均方算法。下巴。物理。B 23（5），050503（2014） [54] L.Sommacal、P.Melchior、A.Oustaloup、J.M.Cabelguen、A.J.Ijspeert，青蛙腓肠肌的分数多模型。J.可控震源。对照14（9-10）、1415-1430（2008）·Zbl 1229.92019年9月 ·doi:10.1177/1077546307087440 [55] L.Sun，S.Kang，K.Li，H.Meng，使用基于深度双向长短期记忆的递归神经网络进行语音转换，2015年IEEE声学、语音和信号处理国际会议（ICASSP），IEEE，2015，第4869-4873页 [56] W.Sun，H.Gao，O.Kaynak，车辆主动悬架系统的有限频率H∞控制。IEEE传输。控制系统。Technol公司。19(2), 416-422 (2011). doi:10.1109/TCST.2010.2042296·doi:10.1109/TCST.2010.2042296 [57] W.Sun，Y.Zhang，Y.Huang，H.Gao，O.Kaynak，瞬态性能保证鲁棒自适应控制及其在精密运动控制系统中的应用。IEEE传输。Ind.Electron公司。63(10), 6510-6518 (2016) ·doi:10.1109/TIE.2016.2542787 [58] W.Sun，Y.Zhao，J.Li，L.Zhang，H.Gao，带频带约束和执行器输入延迟的主动悬架控制。IEEE传输。Ind.Electron公司。59(1), 530-537 (2012) ·doi:10.1109/TIE.2011.2134057 [59] M.Sundermeyer，I.Oparin，J.L.Gauvain，B.Freiberg，R.Schluter，H.Ney，前馈和递归神经网络语言模型的比较，2013年IEEE声学、语音和信号处理国际会议（ICASSP），IEEE，2013年，第8430-8434页 [60] 谭彦，何振华，田碧，修正lms算法在分数阶上的新推广。IEEE信号处理。莱特。22(9), 1244-1248 (2015) ·doi:10.1109/LSP.2015.2394301 [61] N.T.Vu，P.Gupta，H.Adel，H.Schütze，双向递归神经网络，口语理解排名损失，2016年IEEE声学、语音和信号处理国际会议（ICASSP） [62] M.Weilbeer，分数阶微分方程的有效数值方法及其分析背景。Papierflieger（布伦瑞克理工大学，布伦瑞格，2005）·Zbl 1104.26012号 [63] C.Weng，D.Yu，S.Watanabe，B.H.F.Juang，用于鲁棒语音识别的递归深度神经网络，2014年IEEE声学、语音和信号处理国际会议（ICASSP），IEEE，2014年，第5532-5536页 [64] T.Wigren，使用受限黑盒参数化的非线性状态空间模型的递归预测误差识别和缩放。Automatica 42（1），159-168（2006）·Zbl 1121.93316号 ·doi:10.1016/j.automatica.2005.08.017 [65] T.Wigren，J.Schoukens，《非线性系统辨识中用于开发和基准测试的三个自由数据集》，摘自《控制会议（ECC）》，2013年欧洲，IEEE，2013年，第2933-2938页 [66] R.J.Williams，J.Peng，用于在线训练递归网络轨迹的高效梯度算法。神经计算。2(4), 490-501 (1990) ·doi:10.1162/neco.1990.2.4.490 [67] R.J.Williams，D.Zipser，递归网络的基于梯度的学习算法及其计算复杂性。反向传播理论。申请。1, 433-486 (1995) [68] W.Zaremba，I.Sutskever，O.Vinyals，递归神经网络正则化。arXiv预印arXiv:1409.2329（2014） [69] M.Zhang，Z.McCarthy，C.Finn，S.Levine，P.Abbeel，学习具有连续记忆状态的深度神经网络策略。arXiv预印arXiv:1507.01273（2015） [70] S.Zheng，S.Jayasumana，B.Romera Paredes，V.Vineet，Z.Su，D.Du，C.Huang，P.H.Torr，作为递归神经网络的条件随机场，《IEEE国际计算机视觉会议论文集》，2015年，第1529-1537页 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。