×
伯恩德·波尔;佛罗伦萨沃戈特

仅使用输入相关性，大大提高了时序学习的稳定性和更快的收敛性。 （英语） Zbl 1095.68651号

神经计算。 第6号第18页，1380-1412页（2006年）.
摘要：目前，所有重要的、低级的、无监督的网络学习算法都遵循Hebb范式，其中输入和输出活动相互关联，以改变突触的连接强度。然而，其结果是，经典的Hebbian学习总是带有一个潜在的不稳定自相关项，这是因为每个输入都以加权形式反映在神经元的输出中。这种自相关可以导致正反馈，增加权重将增加输出，反之亦然，这可能导致分歧。这可以通过不同的策略来避免，例如重量标准化或重量饱和，但这可能会导致不同的问题。因此，在大多数情况下，高学习率不能用于希伯来语学习，导致收敛速度相对较慢。在这里，我们引入了一种新的基于相关性的学习规则，它与我们的各向同性序列顺序（ISO）学习规则相关，但将学习规则中输出的导数替换为反射输入的导数。因此，新规则只使用输入相关性，有效地实现了严格的异突触学习。这看起来像是一个小修改，但导致性能显著提高。从学习规则中删除输出会删除不需要的、不稳定的自相关项，从而允许我们使用高学习率。因此，我们可以从数学上证明，在理想条件下，使用新规则可以达到一次性学习的理论最优。然后，将这一结果与四种不同的实验设置进行测试，我们将表明，在所有这些实验中，实现学习目标只需要很少的（有时甚至只有一次）学习经验。因此，新的学习规则比ISO学习速度快100倍，通常更稳定。

引用于6文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

网络学习算法
PDF格式BibTeX公司 XML格式引用
\textit{B.Porr}和\textit{F.Wörgötter}，神经计算。18，第6号，1380--1412（2006；Zbl 1095.68651）
全文： DOI程序

参考文献：

[1] DOI:10.1146/年度修订编号09.030186.002041·doi:10.1146/annurev.ne.09.030186.002041
[2] 内政部：10.1007/BF00365229·Zbl 0364.92016年 ·doi:10.1007/BF00365229
[3] 内政部：10.1038/35036191·doi:10.1038/35036191
[4] 内政部：10.1007/BF03033301·doi:10.1007/BF03033301
[5] Bienenstock E.，J.神经科学。第2页32–（1982）
[6] DOI:10.1113/jphysiol.1973.sp010273·doi:10.1113/jphysiol.1973年sp010273
[7] 内政部：10.1016/0004-3702（91）90053-M·doi:10.1016/0004-3702（91）90053-M
[8] 数字对象标识码：10.1073/pnas.81.8.2577·doi:10.1073/pnas.81.8.2577
[9] 大研P.，马赫。学习。14（3）第295页–（1994）
[10] 内政部：10.1016/S0364-0213（87）80025-3·doi:10.1016/S0364-0213（87）80025-3
[11] 数字对象标识码：10.1121/1.413512·doi:10.1121/1.413512
[12] 内政部：10.1038/nature02194·doi:10.1038/nature02194
[13] DOI:10.1016/S0028-3908（02）00334-9·doi:10.1016/S0028-3908（02）00334-9
[14] DOI:10.1016/S0301-0082（03）00085-6·doi:10.1016/S0301-0082（03）00085-6
[15] Kaelbling L.P.，《人工智能研究杂志》4，第237页–（1996）
[16] DOI:10.1016/j.neu-biorev.2003.11.015·doi:10.1016/j.neu-biorev.2003.11.015
[17] 内政部：10.1109/2.36·数字对象标识代码：10.1109/2.36
[18] 数字对象标识码：10.1088/0954-898X_1_3_001·doi:10.1088/0954-898X_1_3_001
[19] 内政部：10.1126/science.285.5435.1870·doi:10.1126/science.285.5435.1870
[20] 内政部：10.1126/science.275.5297.213·doi:10.1126/science.275.5297.213
[21] DOI:10.1016/S0896-6273（00）80169-5·doi:10.1016/S0896-6273（00）80169-5
[22] DOI:10.1016/j.coph.2004.08.008·doi:10.1016/j.coph.2004.08.008
[23] DOI:10.1007/BF00275687·Zbl 0488.92012号 ·doi:10.1007/BF00275687
[24] DOI:10.1016/j.neunet.2004.08.005·doi:10.1016/j.neunet.2004.08.005
[25] 内政部：10.1162/08997660360581930·Zbl 1024.68086号 ·doi:10.1162/08997660360581930
[26] 内政部：10.1162/08997660360581921·Zbl 1022.68111号 ·doi:10.1162/08997660360581921
[27] 内政部：10.1098/rsta.2003.1273·doi:10.1098/rsta.2003.1273
[28] DOI:10.1023/A:1008910918445·Zbl 0955.92009号 ·doi:10.1023/A:1008910918445
[29] DOI:10.1037/h0042519·doi:10.1037/h0042519
[30] 内政部：10.1126/science.275.5306.1593·数字对象标识代码：10.1126/science.275.5306.1593
[31] 内政部：10.1162/089976601300014376·Zbl 1003.92010年 ·doi:10.1162/089976601300014376
[32] Sutton R.，机器学习3（1），第9页–（1988）
[33] 数字对象标识码：10.1037/0033-295X.88.2.135·doi:10.1037/0033-295X.88.2.135
[34] 内政部：10.1016/0921-8890（95）00022-8·doi:10.1016/0921-8890（95）00022-8
[35] DOI:10.1016/S0893-6080（98）00029-X·doi:10.1016/S0893-6080（98）00029-X
[36] DOI:10.1038/nature02024·doi:10.1038/nature00204
[37] 内政部：10.1007/BF00288907·doi:10.1007/BF00288907
[38] Watkins C.，机器学习8 pp 279–（1992）
[39] DOI:10.11162/089766053011555·doi:10.1162/0899766053011555
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。