×
范海进;宋青（Song，Qing）

一种具有稀疏更新的线性递归核在线学习算法。 （英语） Zbl 1298.68218号

神经网络。 50, 142-153 (2014).
摘要：在本文中，我们提出了一种用于在线学习的具有选择性稀疏更新的递归核算法。该算法在估计电流输出时引入了线性递归项。这使得过去的信息可以重用，以递归梯度项的形式更新算法。为了确保该递归梯度的重用确实加快了收敛速度，提出了一种新的混合递归训练，根据当前训练误差的大小来开启或关闭递归信息的学习。此外，该算法还包括一个与数据相关的自适应学习速率，可以在每次训练迭代时保证系统权重收敛。当训练违反导出的收敛条件时，将学习率设置为零，这使得算法更新过程稀疏。对权值收敛进行了理论分析，实验结果表明，该算法在收敛速度和估计精度方面具有良好的性能。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
68周27 在线算法；流式算法

关键词：

内核方法;线性递归;混合循环训练;权重收敛
PDF格式BibTeX公司 XML格式引用
\textit｛H.Fan｝和\textit｛Q.Song｝，神经网络。50、142--153（2014年；Zbl 1298.68218）
全文： 内政部

参考文献：

[1] Aronszajn，N.，《再生核理论》（1951），哈佛大学：哈佛大学剑桥，马萨诸塞州·Zbl 0037.20701号
[2] Baltersee，J。；Chambers，J.，用流水线递归神经网络对语音进行非线性自适应预测，IEEE信号处理汇刊，46，8，2207-2216（1998）
[3] 博托，M。；Antoniou，A.，鲁棒集成员仿射投影自适应滤波算法，IEEE信号处理学报，60，1，73-81（2012）·Zbl 1391.93225号
[4] Billings，S.A。；Wei，H.-L。；Balikhin，M.A.，广义多尺度径向基函数网络，神经网络，20，10，1081-1094（2007）·Zbl 1254.68197号
[5] Burges，C.，模式识别、数据挖掘和知识发现支持向量机教程，2，2，121-167（1998）
[6] 坎贝尔，C.，《内核方法：当前技术的调查》，神经计算，48，1-4，63-84（2002）·Zbl 1006.68770号
[7] 陈，B。；赵，S。；朱，P。；Príncipe，J.，量化核最小均方算法，IEEE神经网络和学习系统汇刊，23，1，22-32（2012）
[8] 克鲁特，W。；Shan，S。；Fisher，D.，使用输入输出稳定性理论的离散时间自适应控制系统的鲁棒性分析：教程，IEE Proceedings D:control theory and Applications，135，2133-141（1988）·Zbl 0639.93005号
[9] 迪尼兹，P。；Werner，S.，Set-membership binormalized data-rewing LMS算法，IEEE Transactions on Signal Processing，51，1，124-134（2003）·Zbl 1369.94130号
[10] 恩格尔，Y。；曼诺，S。；Meir，R.，核递归最小二乘算法，IEEE信号处理学报，52，8，2275-2285（2004）·Zbl 1369.68280号
[11] 郭毅。；高杰。；Kwan，P.，双内核嵌入，IEEE模式分析和机器智能汇刊，30,81490-1495（2008）
[12] Kivinen，J。；Smola，A。；Williamson，R.，《使用内核进行在线学习》，IEEE信号处理汇刊，52，8，2165-2176（2004）·Zbl 1369.68281号
[13] 李，D。；Han，M。；Wang，J.，基于新型鲁棒回波状态网络的混沌时间序列预测，IEEE神经网络和学习系统汇刊，23，5，787-799（2012）
[14] 刘伟。；帕克，我。；Príncipe，J.，设计稀疏核自适应滤波器的信息论方法，IEEE神经网络汇刊，20，12，1950-1961（2009）
[15] 刘伟。；Pokharel，P。；Príncipe，J.，《内核最小均方算法》，IEEE信号处理学报，56，2，543-554（2008）·Zbl 1390.94278号
[16] 刘伟。；Príncipe，J.，核仿射投影算法，《信号处理进展EURASIP期刊》（2008）·Zbl 1184.68411号
[17] 梅米塞维奇，R。；西格尔，L。；Fleet，D.，用于区分推理的共享内核信息嵌入，IEEE模式分析和机器智能汇刊，34，4，778-790（2012）
[19] Nagaraj，S。；Gollamudi，S。；卡普尔，S。；Huang，Y.-F.，Beacon:一种具有稀疏更新的自适应集员滤波技术，IEEE信号处理学报，47，11，2928-2941（1999）
[20] Ozay，N。；Sznaier，M。；拉各亚，C。；Camps，O.，切换仿射系统集成员身份识别的稀疏化方法，IEEE自动控制事务，57，3，634-648（2012）·兹比尔1369.93163
[21] Pearlmutter，B.A.，动态递归神经网络的梯度计算：一项调查，IEEE神经网络汇刊，6，5，1212-1228（1995）
[22] Platt，J.，函数插值的资源分配网络，神经计算，3，2，213-225（1991）
[23] 钱，N.，关于梯度下降学习算法中的动量项，神经网络，12，1，145-151（1999）
[24] 邱，W。；Chang，C.等人。；刘伟。；Poon，P。；胡，Y。；Lam，F.，用于追踪诱发电位的径向基函数网络的实时数据再利用自适应学习，IEEE生物医学工程学报，53，2，226-237（2006）
[26] Rasmussen，C.，机器学习中的高斯过程，（Bousquet，O.；von Luxburg，U.；Rätsch，G.，《机器学习高级讲座》，计算机科学讲稿，第3176卷（2004），Springer:Springer Berlin，Heidelberg），63-71·Zbl 1120.68436号
[27] 理查德，C。；J.Bermudez。；Honeine，P.，带核时间序列数据的在线预测，IEEE信号处理汇刊，57，3，1058-1067（2009）·Zbl 1391.94376号
[28] 罗伊，S。；Shynk，J.J.，动量LMS算法分析，IEEE声学、语音和信号处理汇刊，38，12，2088-2098（1990）
[29] Sch o lkopf，B。；Herbrich，R。；Smola，A.，《一个广义代表定理》，（计算学习理论，计算机科学讲义，第2111卷（2001），施普林格：施普林格-柏林，海德堡），416-426·Zbl 0992.68088号
[30] Sebald，D。；Bucklew，J.，非线性均衡的支持向量机技术，IEEE信号处理汇刊，48，11，3217-3226（2000）
[31] 沙尔马，R。；西塞塔雷斯。；Bucklew，J.，动量自适应滤波算法分析，IEEE信号处理汇刊，46，5，1430-1434（1998）
[32] 斯拉瓦基斯，K。；Theodoridis，S.，使用投影映射的滑动窗口广义核仿射投影算法，EURASIP信号处理进展杂志（2008）·Zbl 1184.94063号
[33] Song，Q.，具有循环约束学习的Jordan网络的稳健初始化，IEEE神经网络汇刊，22，12，2460-2473（2011）
[34] 宋，Q。；Wu，Y。；Soh，Y.，离散时间域递归神经网络的鲁棒自适应梯度衰减训练算法，IEEE神经网络汇刊，19，11，1841-1853（2008）
[35] Soni，R。；加里凡，K。；Jenkins，W.，自适应滤波中的低复杂性数据重用方法，IEEE信号处理学报，52，2，394-405（2004）·Zbl 1369.94292号
[36] Sperduti，A.，关于结构递归神经网络的计算能力，神经网络，10，3，395-400（1997）
[37] S˘Raudys，支持向量机有多好？，神经网络，13，1，17-19（2000）
[38] 苏肯斯，J。；Vandewalle，J.，递归最小二乘支持向量机，IEEE电路与系统汇刊。一、 47、7、1109-1114（2000）
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。