×
吴伟;王健;程明松;李正雪

BP神经网络在线梯度法的收敛性分析。 （英语） Zbl 1217.68191号

神经网络。 91-98（2011）第1号第24页.
摘要：本文研究了一类单隐层BP神经网络的在线梯度学习方法。我们假设在每个训练周期中，训练集中的每个样本以随机顺序提供给网络一次。有趣的是，这些随机学习方法可以证明是确定性收敛的。本文给出了几种学习方法的弱收敛性和强收敛性结果，表明误差函数的梯度分别为零，权重序列分别为不动点。与现有结果相比，对保证收敛的激活函数和学习速率的条件进行了放宽。我们的收敛结果不仅适用于S-S型神经网络（输出神经元和隐藏神经元都是Sigmoid函数），而且适用于P-P、P-S和S-P型神经网络，其中S和P分别表示Sigmoids函数和多项式函数。

引用于17文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

神经网络;反向传播学习;在线梯度法;弱收敛;强收敛性
PDF格式BibTeX公司 XML格式引用
\textit{W.Wu}等人，神经网络。24，第1号，91--98（2011；Zbl 1217.68191）
全文： 内政部

参考文献：

[1] Bertsekas博士。；Tsitsiklis，J.N.，《神经动力学编程》（1996），雅典娜科学出版社·Zbl 0924.68163号
[2] 查克拉博蒂，D。；Pal，N.R.，多层感知器实现适当泛化和增量学习的新型训练方案，IEEE神经网络汇刊，14，1-14（2003）
[3] Fine，T.L。；Mukherjee，S.，神经网络的参数收敛和学习曲线，神经计算，11，747-769（1999）
[4] Finnoff，W.，恒定学习速率反向传播算法的扩散近似和对局部极小值的抵抗，神经计算，6285-295（1994）
[5] Heskes，T。；Wiegerinck，W.，《批模式、在线、循环和近似循环学习的理论比较》，IEEE神经网络汇刊，7919-925（1996）
[6] LeCun，Y.，Une procedure d apsentisage pour reseuiáseuil asymmetricque，A la Frontieredel’Intelligence Ariticelle des Sciences de la Connaissance des Neurosciences，85，599-604（1985）
[7] 李，Z.X。；丁晓生，以技术指标为输入的bp神经网络预测股市，数值数学：中国大学学报，27373-377（2005）
[8] 李，Z.X。；Wu，W。；Tian，Y.L.，随机输入前馈神经网络在线梯度法的收敛性，计算与应用数学杂志，163165-176（2004）·Zbl 1062.68101号
[9] Liang，Y.C。；冯，D.P。；Lee，H.P。；Lim，S.P.公司。；Lee，K.H.，前馈神经网络的逐次逼近训练算法，神经计算，42，11-322（2002）·Zbl 0992.68179号
[10] Mangasarian，O.L。；Solodov，M.V.，通过非单调扰动最小化的串行和并行反向传播收敛，优化方法和软件，4117-134（1994）
[11] Nakama，T.，神经网络梯度下降学习批量和在线训练的理论分析，神经计算，73151-159（2009）
[12] Parker，D.B.（1982年）。学习逻辑，发明报告。斯坦福大学，加利福尼亚州斯坦福。；Parker，D.B.（1982年）。学习逻辑，发明报告。斯坦福大学，加利福尼亚州斯坦福。
[13] Rumelhart，D.E。；辛顿，G.E。；Williams，R.J.，通过反向传播错误学习表征，《自然》，323533-536（1986）·Zbl 1369.68284号
[14] Shao，H.M。；Wu，W。；刘伟斌，线性输出MLP训练BP算法的收敛性，数值数学：中国大学学报（英文版），16193-202（2007）·Zbl 1174.92312号
[15] Tadic，V.和Stankovic，S.（2000年）。用归一化随机梯度算法在神经网络中学习：局部收敛。在第五届神经网络应用电子工程研讨会论文集; Tadic，V.和Stankovic，S.（2000年）。用归一化随机梯度算法在神经网络中学习：局部收敛。在第五届神经网络应用电子工程研讨会论文集
[16] Terence，D.S.，单层线性前馈神经网络中的最优无监督学习，神经网络，2459-473（1989）
[17] Werbos，P.J.（1974）。超越回归：行为科学中预测和分析的新工具。博士论文。哈佛大学，剑桥，马萨诸塞州。；Werbos，P.J.（1974）。超越回归：行为科学中预测和分析的新工具。博士论文。哈佛大学，马萨诸塞州剑桥。
[18] Wilson，D.R。；Martinez，T.R.，梯度下降学习批量训练的普遍效率低下，神经网络，16，1429-1451（2003）
[19] Wu，W。；Xu，Y.S.，神经网络在线梯度法的确定收敛性，计算与应用数学杂志，144，335-347（2002）·Zbl 1066.68111号
[20] Wu，W。；冯·G·R。；李，Z.X。；Xu，Y.S.，BP神经网络在线梯度法的确定收敛性，IEEE神经网络汇刊，16533-540（2005）
[21] Wu，W。；冯·G·R。；Li，X.，通过岭函数和最小化训练多层感知器，计算数学进展，17，331-347（2002）·兹比尔1002.90069
[22] Wu，W。；邵志清，具有线性可分离训练模式的连续感知器在线梯度方法的收敛性，《应用数学快报》，16，999-1002（2003）·Zbl 1091.68097号
[23] Wu，W.，Shao，H.M.，&Qu，D.（2005）。用于BP网络训练的梯度方法的强收敛性。在2005年神经网络与大脑国际会议论文集; Wu，W.，Shao，H.M.，&Qu，D.（2005）。BP网络训练梯度方法的强收敛性。在2005年神经网络与大脑国际会议论文集
[24] 徐，Z.B。；张，R。；Jin，W.F.，《在线BP训练收敛时，IEEE神经网络汇刊》，第20期，第1529-1539页（2009年）
[25] 张，H.S。；Wu，W。；刘，F。；Yao，M.C.，前馈神经网络带惩罚的在线梯度法的有界性和收敛性，IEEE神经网络汇刊，201050-1054（2009）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。