×
冯寿波;任伟杰;韩敏;陈彦伟

大规模噪声混沌时间序列预测的鲁棒流形广义学习系统：摄动视角。 （英语） Zbl 1441.62232号

神经网络。 117, 179-190 (2019).
摘要：由于传感器扰动或极端动力学，动力系统中普遍存在噪声和异常值。因此，鲁棒性和泛化能力对系统建模至关重要。本文提出了一种鲁棒流形广义学习系统（RM-BLS），用于系统建模和大规模噪声混沌时间序列预测。流形嵌入用于混沌系统进化发现。流形表示被扰动随机破坏，而与低维流形嵌入无关的特征被特征选择丢弃。它产生了一个健壮的学习范式，并获得了更好的泛化性能。我们还为Stiefel流形优化开发了一种有效的解决方案，其中通过Cayley变换和曲线搜索算法来保持正交约束。此外，我们讨论了随机扰动近似和其他主流正则化方法之间的共同思想。我们还证明了扰动到流形嵌入和Tikhonov正则化之间的等价性。大规模含噪混沌时间序列预测的仿真结果表明了该方法的鲁棒性和泛化性能。

引用于2文件

MSC公司：

62M10个 统计学中的时间序列、自相关、回归等（GARCH）
62兰特 歧管统计
62G35型 非参数稳健性
68T05型 人工智能中的学习和自适应系统
62M20型 随机过程推断和预测
37D45号 奇异吸引子，双曲行为系统的混沌动力学

关键词：

时间序列;吉洪诺夫;正规化;扰动，扰动;歧管;广泛的学习系统

软件：

马诺普特
PDF格式BibTeX公司 XML格式引用
\textit{S.Feng}等人，神经网络。117179-190（2019年；Zbl 1441.62232）
全文： DOI程序

参考文献：

[1] Audhkhasi，K。；Osoba，O。；Kosko，B.，噪声增强卷积神经网络，神经网络，78，15-23（2015）·Zbl 1414.68042号
[2] Ba，J.和Frey，B.（2013）。深度神经网络训练的自适应辍学。在NIPS会议记录; Ba，J.和Frey，B.（2013）。深度神经网络训练的自适应辍学。在NIPS会议记录
[3] Y.本吉奥。；科尔维尔，A。；Vincent，P.，《表征学习：回顾与新视角》，IEEE模式分析与机器智能汇刊，35，8，1798-1828（2013），arXiv:1206.5538
[4] Bishop，C.M.，带噪声的训练等价于tikhonov正则化，神经计算，7，1，108-116（1995）
[5] Boumal，N。；米什拉，B。；Absil，P.A。；Sepulchre，R.，Manopt，一个用于流形优化的Matlab工具箱，机器学习研究杂志，15，1455-1459（2014），arXiv:1308.5200·Zbl 1319.90003号
[6] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，机器学习中的基础和趋势®，3，1，1-122（2011）·Zbl 1229.90122号
[7] Chen，C.L.P。；Liu，Z.，《广泛学习系统：无需深层架构的高效增量学习系统》，IEEE神经网络和学习系统汇刊，29，1，10-24（2017）
[8] Chen，C.L.P。；刘，Z。；Feng，S.，广义学习系统的通用逼近能力及其结构变化，IEEE神经网络和学习系统汇刊，30，4，1191-1204（2019）
[9] Cheng，L。；刘伟。；侯，Z.-G。；黄，T。；Yu，J。；Tan，M.，压电致动器的自适应Takagi-Sugeno模糊模型预测控制器，IEEE工业电子学报，64，4，3048-3058（2017）
[10] Dadkhahi，H。；杜阿尔特，M.F。；Marlin，B.M.，用于噪声时间序列降维的样本外扩展，IEEE图像处理汇刊，26，11，5435-5446（2017），arXiv:1606.08282·Zbl 1409.94099号
[11] Elfwing，S。；Uchibe，E。；Doya，K.，强化学习中神经网络函数逼近的Sigmoid加权线性单位，神经网络，107，3-11（2018），arXiv:1702.03118
[12] 范，J。；Wang，J.，基于神经动力学优化的两阶段模糊聚类算法及其在PolSAR图像分割中的应用，IEEE模糊系统汇刊，26，1，72-83（2018）
[13] Feng，S。；Chen，C.L.P.，《模糊广义学习系统：用于回归和分类的新型神经模糊模型》，IEEE控制论汇刊，PP，1-11（2018）
[14] Gal，Y.和Ghahramani，Z.（2016）。放弃作为贝叶斯近似：表示深度学习中的模型不确定性。在ICML会议记录arXiv:1506.02142；Gal，Y.和Ghahramani，Z.（2016）。辍学作为贝叶斯近似：表示深度学习中的模型不确定性。在ICML会议记录arXiv:1506.02142
[15] Giannakis，D。；Majda，A.J.，具有间歇性和低频可变性的时间序列的非线性拉普拉斯谱分析，国家科学院学报，109，7，2222-2227（2012）·Zbl 1256.62053号
[16] Gonzalez-Vida，A。；巴纳吉，P。；Skarmeta，A.F.，BEATS:时间序列分段的特征值块算法，IEEE知识与数据工程汇刊，30，11，2051-2064（2018）
[17] 桂，J。；孙，Z。；季S。；陶，D。；Tan，T.，基于结构化稀疏性的特征选择：综合研究，IEEE神经网络和学习系统汇刊，28，7，1490-1507（2016）
[18] Han，M。；Feng，S。；Chen，C.L.P。；徐，M。；邱，T.，结构化流形广义学习系统：大规模混沌时间序列分析和预测的流形视角，IEEE知识与数据工程汇刊，1-13（2018）
[19] Han，M。；钟，K。；邱，T。；Han，B.，用于混沌时间序列预测的区间2型模糊神经网络：简明概述，IEEE控制论汇刊，49，7，2720-2731（2019）
[20] 辛顿，G.E。；北斯利瓦斯塔瓦。；Krizhevsky，A。；Sutskever，I。；Salakhutdinov，R.R.，《通过防止特征检测器的联合自适应改进神经网络》，ArXiv，1-18（2012），ArXiv:1207.0580
[21] Hochreiter，S.和Schmidhuber，J.（1995）。通过发现平面极小值来简化神经网络。在NIPS会议记录; Hochreiter，S.和Schmidhuber，J.（1995）。通过发现平面极小值来简化神经网络。在NIPS会议记录
[22] 胡，Q。；张，S。；谢，Z。；米·J。；Wan，J.，基于噪声模型的支持向量回归及其在短期风速预测中的应用，神经网络，57，1-11（2014）·Zbl 1325.62177号
[23] 黄，J。；聂，F。；黄，H。；丁，C.，稳健流形非负矩阵分解，ACM数据知识发现汇刊，8，3，1-21（2014）
[24] Jastrzȩbski，S。；肯顿，Z。；Arpit，D。；巴拉斯，N。；Fischer，A。；Y.本吉奥。；Storkey，A.，影响SGD最小值的三个因素，ArXiv，1-14（2018），ArXiv:1711.04623v3
[25] 吉姆·K·C。；贾尔斯，C。；Horne，B.G.，《递归神经网络中的噪声分析：收敛和泛化》，IEEE神经网络汇刊，7，6，1424-1438（1996）
[26] Juefei-Xu，F.、Boddeti，V.N.和Savvides，M.（2018年）。扰动神经网络。在CVPR程序arXiv:1806.01817；Juefei-Xu，F.、Boddeti，V.N.和Savvides，M.（2018年）。摄动神经网络。在CVPR程序arXiv:1806.01817年
[27] Jylänki，P。；Vanhatalo，J。；Vehtari，A.，《具有学生t可能性的高斯过程回归》，《机器学习研究杂志》，12，3227-3257（2011），arXiv:1106.4431·Zbl 1280.60025号
[28] Khan，S.H。；海亚特，M。；Porikli，F.，带谱丢失的深度神经网络正则化，神经网络，110，82-90（2019）
[29] 赖，R。；Osher，S.，正交约束问题的分裂方法，科学计算杂志，58,2431-449（2014）·Zbl 1296.65087号
[30] Lee，C.-C。；P.-c.钟。；蔡，J.-r。；Chang，C.-i.，稳健径向基函数神经网络，IEEE系统汇刊，人与控制论，B部分，29，6，674-685（1999）
[31] 勒万多夫斯基，M。；马克里斯，D。；Velastin，S.A。；Nebel，J.C.，多变量序列建模集的结构拉普拉斯特征映射，IEEE控制论汇刊，44，6，936-949（2014）
[32] 李，D。；Han，M。；Wang，J.，基于新型鲁棒回波状态网络的混沌时间序列预测，IEEE神经网络和学习系统汇刊，23，5，787-797（2012）
[33] Loyola R.，D.G。；佩德格纳纳，M。；Gimeno García，S.，超大型高维数据的智能采样和增量函数学习，神经网络，78，75-87（2016）·Zbl 1414.68066号
[34] Lu，X.J。；Ming，L。；Liu，W.B。；Li，H.X.，用于噪声数据稳健建模的概率正则化极端学习机，IEEE控制论汇刊，48，8，2368-2377（2018）
[35] Mahoney，M.W.，矩阵和数据的随机算法，机器学习中的基础和趋势®，3，2，123-224（2011），arXiv:1104.5557·Zbl 1232.68173号
[36] 米奈，A.A。；Williams，R.D.，前馈网络中的扰动响应，神经网络，7，5，783-796（1994）
[37] Morcos，A.S.、Barrett，D.G.T.、Rabinowitz，N.C.和Botvinick，M.（2018）。关于单一方向对泛化的重要性。在ICLR的程序arXiv:1803.06959；Morcos，A.S.、Barrett，D.G.T.、Rabinowitz，N.C.和Botvinick，M.（2018）。关于单方向推广的重要性。在ICLR的程序arXiv公司：1803.06959
[38] Novak，R.、Bahri，Y.、Abolafia，D.A.、Pennington，J.和Sohl-Dickstein，J.（2018）。神经网络的敏感性和泛化：一项实证研究。在ICLR的程序; Novak，R.、Bahri，Y.、Abolafia，D.A.、Pennington，J.和Sohl-Dickstein，J.（2018）。神经网络的敏感性和泛化：一项实证研究。在ICLR的程序
[39] 北卡罗来纳州帕里赫。；Boyd，S.，Proximal algorithms，Foundations and Trends®in Optimization，1，3，127-239（2014），arXiv:1502.03175
[40] 帕克，J.-G。；Jo，S.，噪声存在下回归的近似贝叶斯MLP正则化，神经网络，83，75-85（2016）
[41] Poernomo，A。；Kang，D.-K.，《偏向性辍学和交叉图辍学：卷积神经网络中有效辍学正则化的学习》，神经网络，104，60-67（2018）
[42] 乔，J。；王，G。；李伟（Li，W.）。；Li，X.，用于非线性系统建模的带有PLSR的深度信念网络，神经网络，104，68-79（2018）·Zbl 1434.68519号
[43] 邱，T。；赵，A。；夏，F。；Si，W。；Wu，D.O.，ROSE：无标度无线传感器网络的鲁棒性策略，IEEE/ACM网络交易，25，5，2944-2959（2017）
[44] 拉扎，美国。；A.卡梅拉。；Murphy，A.L。；Palpanas，T。；Picco，G.P.，现实世界无线传感器网络的实际数据预测，IEEE知识与数据工程汇刊，27，8，2231-2244（2015）
[45] 斯卡达潘，S。；王，D。；Uncini，A.，用于稳健数据建模的贝叶斯随机向量函数链接网络，IEEE控制论汇刊，48，7，2049-259（2018）
[46] 沈，X。；田，X。；刘，T。；徐，F。；Tao，D.，连续辍学，IEEE神经网络和学习系统汇刊，29，9，3926-3937（2017）
[47] 盛，C。；赵，J。；Wang，W。；Leung，H.，基于自举储层计算网络集成的噪声非线性时间序列的预测区间，IEEE神经网络和学习系统汇刊，24，71036-148（2013）
[48] 北斯利瓦斯塔瓦。；辛顿，G。；Krizhevsky，A。；Sutskever，I。；Salakhutdinov，R.，《辍学：防止神经网络过拟合的简单方法》，《机器学习研究杂志》，1929-1958（2014），arXiv:1102.4807·Zbl 1318.68153号
[49] Stulp，F。；Sigaud，O.，《许多回归算法，一个统一模型：综述》，神经网络，69，60-79（2015）·Zbl 1403.62065号
[50] 文森特，P。；拉罗谢尔，H。；我·拉朱伊。；Y.本吉奥。；Manzagol，P.-A.，堆叠去噪自动编码器：使用局部去噪标准pierre-antoine Manzagol在深度网络中学习有用的表示，机器学习研究杂志，11，3371-3408（2010），arXiv:0-387-31073-8·Zbl 1242.68256号
[51] 武科维奇，N。；Miljković，Z.，存在重尾噪声时前馈神经网络的鲁棒顺序学习，神经网络，63，31-47（2015）·Zbl 1325.68202号
[52] Wager，S.等人。；王，S。；Liang，P.，《辍学培训作为适应性正规化》，《NIPS学报》（2013年），（第351-359页）。arXiv公司：1307.1493
[53] Wan，L.、Zeiler，M.、Zhang，S.、LeCun，Y.和Fergus，R.（2013）。使用dropconnect对神经网络进行正则化。在ICML会议记录arXiv:1509.08985；Wan，L.、Zeiler，M.、Zhang，S.、LeCun，Y.和Fergus，R.（2013）。使用dropconnect对神经网络进行正则化。在ICML会议记录arXiv:1509.08985
[54] 王，D。；Chen，J.，基于深度学习的监督语音分离：综述，IEEE/ACM音频语音和语言处理事务，26，10，1702-1726（2018），arXiv:1708.07524
[55] Wang，H。；北卡罗来纳州凯斯卡。；熊，C。；Socher，R.，《识别神经网络中的泛化特性》，ArXiv，1-23（2018），ArXiv:1809.07402
[56] Wang，S.I.和Manning，C.D.（2013）。快速辍学训练。在ICML会议记录; Wang，S.I.和Manning，C.D.（2013）。快速辍学训练。在ICML会议记录
[57] 温，Z。；Yin，W.，《正交约束优化的一种可行方法》，《数学规划》，142，1-2，397-434（2013）·Zbl 1281.49030号
[58] Wu，H。；Gu，X.，卷积神经网络的辍学培训，神经网络，71，1-10（2015）
[59] 夏，Y。；邓，Z。；郑伟新，二维ARMA模型参数估计的一种新型快速算法的分析与应用，Automatica，49，3056-3064（2013）·Zbl 1358.93170号
[60] 夏，Y。；Wang，J.，基于低维递归神经网络的稳健回归估计，IEEE神经网络和学习系统汇刊，29，12，5935-5946（2018）
[61] 夏，Y。；Zheng，W.X.，噪声存在下自回归信号的新参数估计，Automatica，62，98-105（2015）·Zbl 1329.93139号
[62] 徐，M。；Han，M。；Chen，C.P.，时间序列预测的递归广义学习系统，IEEE控制论汇刊，1-13（2018）
[63] Yan，S。；徐，D。；张，B。；张海杰。；杨琼。；Lin，S.，图嵌入和扩展：降维的一般框架，IEEE模式分析和机器智能汇刊，29，1，40-51（2007）
[64] Yu，J。；R·洪。；王，M。；You，J.，基于稀疏斑块对齐框架的图像聚类，模式识别，47，11，3512-3519（2014）·Zbl 1373.68341号
[65] 张，K。；Luo，M.，回归问题的Outlier-robust极端学习机，神经计算，151，P3，1519-1527（2015）
[66] Zhao，Y。；Fatehi，A。；Huang，B.，使用变分贝叶斯方法对具有时变时滞的ARX模型进行稳健估计，IEEE控制论汇刊，48，2，532-542（2018）
[67] 朱，J。；陈，J。；胡，W。；Zhang，B.，贝叶斯方法的大学习，《国家科学评论》，4，4627-651（2017），arXiv:11411.6370
[68] 朱，Z。；吴杰。；Yu，B。；Wu，L。；Ma，J.，随机梯度下降中的各向异性噪声：其逃离极小值和正则化效应的行为，ArXiv，1-15（2018），ArXiv:1803.00195v4
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。