×

采用稀疏RLS算法的在线序列回波状态网络用于时间序列预测。 (英语) Zbl 1441.62213号

摘要:近年来,回波状态网络(ESN)被广泛用于时间序列预测。为了满足实际应用的需求,避免过拟合问题,提出了稀疏递归最小二乘在线序贯ESN(OSESN-SRLS)算法。首先,分别利用输出权重的范数稀疏惩罚约束和范数稀疏罚约束来控制网络规模。其次,将稀疏递归最小二乘(SRLS)算法和次梯度技术相结合来估计输出权重矩阵。第三,设计了\(\ell_0\)或\(\ell_1\)范数正则化参数的自适应选择机制。在选定的正则化参数下,证明了所开发的SRLS与常规RLS具有可比性或更好的性能。此外,为了保证其有效性,从理论上分析了OSESN-SRLS的收敛性。仿真结果表明,提出的OSESN-SRLS在估计精度和网络紧凑性方面始终优于其他现有ESN。

MSC公司:

62升12 序贯估计
62M10个 统计学中的时间序列、自相关、回归等(GARCH)
62M20型 随机过程推断和预测
68T05型 人工智能中的学习和自适应系统

软件:

达奇
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Akaike,H.,统计模型识别的新视角,IEEE自动控制汇刊,19,6716-723(1974)·兹伯利0314.62039
[2] 巴巴迪,B。;北卡罗普蒂迪斯。;Tarokh,V.,SPARLS:The sparse RLS algorithm,IEEE Transactions on Signal Processing,58,8,4013-4025(2010年)·Zbl 1392.94080号
[3] Bo,Y.C。;Zhang,X.,基于回波状态网络的溶解氧控制在线自适应动态规划,应用软计算,62830-839(2018)
[4] 陈,S。;大卫·L·D。;Michael,A.S.,《基追踪的原子分解》,《暹罗评论》,第43、1、129-159页(2001年)·Zbl 0979.94010号
[5] 陈,Y。;顾毅。;Hero,A.O.,用于系统识别的稀疏LMS,国际声学、语音和信号处理会议,312,5-3128(2009)
[6] Denis,S.,《矩阵:理论与应用》(2013),施普林格出版社
[7] Dimitri,P.B。;Angelia,N。;Asuman,E.O.,《凸分析与优化》(2013),雅典娜科学出版社
[8] Duan,H.B。;Wang,X.H.,用于图像恢复的正交鸽子激励优化回声状态网络,IEEE神经网络和学习系统汇刊,27,11,2413-2425(2016)
[9] 埃夫隆,B。;哈斯蒂,T。;Johnstone,I.,最小角回归,《统计年鉴》,32,2,407-499(2004)·Zbl 1091.62054号
[10] Eksioglu,E.M。;Tanc,A.K.,带凸正则化的RLS算法,IEEE信号处理快报,18,8,470-473(2011)
[11] 埃里克,E.A。;爱德华多,C。;Bjarne,F.,气举油井数据驱动井下压力估算的回波状态网络,神经网络,85,106-117(2017)
[12] 菲利普,M.B。;西蒙,S。;Aurelio,U.,使用带有外生变量的回声状态网络预测电话呼叫负载,神经网络,71,204-213(2015)
[13] Ganesh,K.V.,基于回声状态网络的多机电力系统广域监测器的在线设计,神经网络,20,3,404-413(2007)
[14] 顾义堂。;Jin,J。;Mei,S.,\(\ell_0\)-稀疏系统识别的范数约束LMS算法,IEEE Signal Processing Letters,16,9,774-777(2009)
[15] Han,H.G。;Chen,Q.L。;乔,J.F.,用于水质预测的高效自组织RBF神经网络,神经网络,24,7,717-725(2011)·Zbl 1263.92002号
[16] Han,H.G.等人。;吴,X.L。;乔,J.F.,基于自组织模糊神经网络和自适应计算算法的非线性系统建模,IEEE系统、人与控制论汇刊,44,4,554-564(2014)
[17] 哈罗德,S。;Yiannis,D.,在线有限和无限回声状态高斯过程的时空学习,IEEE神经网络和学习系统汇刊,26,3,522-536(2015)
[18] 辛顿,G.E。;Salakhutdinov,R.R.,《用神经网络降低数据的维数》,《科学》,3135786504-507(2006)·Zbl 1226.68083号
[19] Horikawa,S.I。;Furuhashi,T。;Uchikawa,Y.,《利用模糊神经网络和反向传播算法进行模糊建模》,IEEE神经网络汇刊,3,5,801-806(1992)
[20] Jaeger,H.,用回声状态网络识别自适应非线性系统,《神经信息处理系统进展》,第15期,第593-600页(2003年)
[21] Jaeger,H。;Haas,H.,利用非线性:预测无线通信中的混沌系统和节能,科学,304,5667,78-80(2004)
[22] Jagannathan,S。;Lewis,F.L.,使用多层神经网络识别非线性动力系统,Automatica,32,12,1707-1712(1996)·Zbl 0879.93010号
[23] Koryakin,D。;罗曼,J。;Butz,M.V.,平衡回波状态网络,神经网络,36,8,35-45(2012)
[24] 拉赫扎尔,B。;Petia,K.H。;Petia,G.,《学习用回声状态网络解码人类情绪》,神经网络,78,112-119(2016)
[25] 刘,L。;刘,D。;Johnson,D.,垂直混合对三峡水库湘西湾浮游植物水华的影响:管理意义,水研究,46,7,2121-2130(2012)
[26] 刘振东。;刘,Y。;Li,C.G.,网络上的分布式稀疏递归最小二乘,IEEE信号处理汇刊,62,61386-1395(2014)·Zbl 1394.94347号
[27] Lorenz,E.N.,《确定性非周期流》,《大气科学杂志》,20,2,130-141(1963)·Zbl 1417.37129号
[28] Lun,S.X。;姚,X.S。;Hu,H.F.,一种新的可变内存长度回声状态网络,信息科学,370,103-119(2016)·Zbl 1428.68245号
[29] Ozturk,M.C。;徐,D。;Principe,J.C.,回波状态网络的分析与设计,神经计算,19,1,111-138(2007)·Zbl 1125.68102号
[30] 乔·J·F。;王,L。;Yang,C.L.,基于修正贝叶斯信息准则的非线性系统建模自适应套索回波状态网络,神经计算与应用,1-15(2018)
[31] Rao,C.R。;Mitra,S.K.,矩阵的广义逆及其应用(1971),威利:威利纽约·Zbl 0236.15004号
[32] Schwarz,G.,估算模型的维度,《统计年鉴》,6,2,461-464(1978)·Zbl 0379.62005年
[33] 塞巴斯蒂安,O。;马丁,V.B。;Danil,K.,用神经进化优化经常性水库,神经计算,192128-138(2016)
[34] 西蒙,S。;Wang,D.H。;Massimo,P.,分布式大数据应用中回波状态网络的分散训练算法,神经网络,78,65-74(2016)·Zbl 1414.68074号
[35] 宋庆生。;赵,X.M。;Feng,Z.R.,基于回波状态网络的自适应遗忘因子递推最小二乘算法,(第八届世界智能控制与自动化大会论文集(2011)),295-298
[36] Tibshiranit,R.,《通过套索进行回归收缩和选择》,《皇家统计学会期刊B辑方法学》,58,1,267-288(1996)·Zbl 0850.62538号
[37] Wang,H.S。;Yan,X.F.,用二进制粒子群优化算法优化回波状态网络,基于知识的系统,86,182-193(2015)
[38] Wen,S.P。;胡,R。;Yang,Y.,基于忆阻器的回声状态网络与在线均衡器,IEEE系统、人与控制系统汇刊,1-10(2018)
[39] Xu,M.L。;Han,M.,多变量时间序列预测的自适应弹性回波状态网络,IEEE系统、人与控制论汇刊,46,10,2173-2183(2016)
[40] Yang,C.L。;乔·J·F。;Han,H.G.,用于时间序列预测的多项式回波状态网络设计,神经计算,290,148-160(2018)
[41] 尹,S。;刘易斯,F.L。;Zeng,Z.G.,具有混合无界时变时滞的模糊记忆神经网络的指数镇定,IEEE神经网络和学习系统汇刊,1-12(2018)
[42] 张海杰。;汤米,C。;Jonathan,W.,使用多层SOM组织书籍和作者,IEEE神经网络和学习系统交易,27,12,2537-2550(2016)
[43] 周德兴,《论弹性网的分组效应》,《统计学与概率快报》,第83、9、2108-2112页(2013)·Zbl 1285.68145号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。