学习算法对于神经网络为纪念神经心理学家 赫布:
    轴突细胞A的活性足以激发细胞B,并反复或持续地参与激发,在一个或两个细胞中发生一些生长过程或代谢变化,从而提高A作为激发B细胞之一的效率。

-Hebb,行为组织

这意味着重量之间突触如果两个神经元s被同时激活,如果它们被异步激活,则会减少。

H E B B I A N L E A R N G公司

突触调节的原理。

1949年,在他的《行为的组织》一书中,唐纳德·赫布阐明了突触调制的原理,这将启动对神经网络他的假设规定了两个神经元之间的连接强度应该根据它们当时的放电方式而改变多少。赫布最初的原则基本上是这样的:神经元刺激其他一些神经元,同时接收神经元也在放电,那么两个神经元之间的连接强度就会增加(反之亦然;也就是说,如果一个神经元在放电,而另一个没有放电,那么连接强度就会降低)。

当从以下观点来看希伯的原则时人工神经元s和人造神经网络s、 我们可以把它描述为一种确定如何改变权重的方法模型神经元.如果两个神经元同时激活,则两个神经元之间的重量将增加;如果它们单独激活,则会减少。倾向于同时为正或同时为负的节点将具有较强的正权重,而倾向于相反的节点则具有较强的负权重。更简单地说:一起点火,一起接线这一最初的原则可能是重量选择有。今天,“赫布学习”一词通常指韦伯提出的原始原理的某种数学抽象形式。本质上,在赫伯学习中,调整学习节点之间的权重,以便每个权重更好地表示这些节点之间的关系。

希伯来语学习相当简单;它可以很容易地编码到计算机程序中,并用于更新某些网络的权重;然而,许多更复杂的学习方法可以被认为是有点希伯来人的性质。

生物系统中赫布学习的一个很好的例子是基于巴甫洛夫伊恩式的实验。它侧重于联想学习。在这个例子中,我们考虑一只毛茸茸的小兔子对某些刺激作出反应:一阵风的无条件刺激引起眨眼的无条件反应;除此之外,某些听觉音调的条件刺激最终也会产生眨眼的反应。首先,如果向兔子的眼睛吹气,兔子会很自然地眨眼。在这一点上不会然而,当它听到声音时会眨眼;它不在乎这个。然而,如果我们多次将音调与气流配对,即同时激活两者,动物就会习惯于将声音与其他值得眨眼的东西联系起来。声调神经元和眨眼神经元同时被激活,从而加强了两者之间的联系;从这一点上来说,动物将习惯于在听到这种声音时眨眼,即使没有空气来匹配。神经元已经“学会”了声音和眨眼这两个事件之间的联系。

现在让我们考虑在一个更为人工的系统中进行赫布学习(例如,一个由McCulloch-Pitts神经元s) ●●●●。如果一个特定MP神经元的输入重复且持续为1,而同一个神经元的输出也持续为1突触将得到加强。这种学习很有用,因为这些规则可以“教会”神经元如何从给定的输入中产生所需的输出。随着细胞活动的相关性越来越强,连接它们的突触将变得更强。这些变化突触s似乎是记忆; 我们可以设想神经网络作为一组细胞,当一种独特的体验再次出现时,这些细胞通过充当阻力最小的路径来共同表示记忆的存储。[科恩]

希伯来学习在生物系统和人工系统中都是相似的,这并不奇怪,因为人工系统是基于对自然界中此类事物的观察而建立的模型。因此,我们可以看到突触塑性在两者中;也就是说,学习和应急行为的能力。赫布的关键观点是,刺激和反应是因果相关的,突触前和突触后细胞之间的因果互动应该加强它们之间的联系。[科恩]我们可以在我们自己设计的生物系统和人工系统中看到这一点。然而,重量变化的复杂性和微妙性在自然系统中会更加明显,因为我们的模型往往并不简单。

注:只要所有的输入模式都是正交的或不相关。正交性的要求严重限制了希伯来学习规则。一个更强大的学习规则是delta规则,它利用每个输出单元的期望输出和实际输出之间的差异来改变输入到其中的权重。

参考文献

内塔·科恩。(2003).人工神经网络:感知器的兴衰。演讲幻灯片。
2003年3月16日检索自:http://www.comp.leeds.ac.uk/ar23/syllabus/topic2/ar23_architecture4.ppt

阿利斯泰尔·诺特和西蒙·麦卡勒姆。(2002).真实的大脑和(我们认为)它是如何工作的。
2003年3月16日检索自:www.cs.otago.ac.nz/coursework/cosc343/讲座/PDF/Lec6.PDF


版本0.1/17032003
  • 从大学作品中创建节点
  • 需要核实一些事实

登录登记在这里写点什么或联系作者。