局部均衡学习的最小控制原则

的一部分神经信息处理系统进展35（NeurIPS 2022）主要会议轨道

作者

亚历山大·穆勒曼斯（Alexander Meulemans）、尼古拉·祖切特（Nicolas Zucchet）、小林盛（Seijin Kobayashi）、约翰·冯·奥斯瓦尔德（Johannes von Oswald）、佐奥·萨克拉门托（Joáo Sacramento）

摘要

平衡系统是表达神经计算的有力方法。作为特殊情况，它们包括当前在神经科学和机器学习方面非常感兴趣的模型，例如深度神经网络、平衡递归神经网络、深度平衡模型或元学习。在这里，我们提出了一种新的原理，用于学习具有时间和空间长度规则的此类系统。我们的原理将学习视为一个\emph{least-control}问题，首先引入一个最优控制器，将系统引导到一个解决状态，然后将学习定义为减少达到这种状态所需的控制量。我们表明，将学习信号纳入动力学作为最优控制，可以传输与活动相关的学分分配信息，避免在内存中存储中间状态，并且不依赖于无穷小的学习信号。在实践中，当应用于涉及递归神经网络和元学习的一系列问题时，我们的原理可以使性能与领先的基于梯度的学习方法相匹配。我们的研究结果揭示了大脑可能如何学习，并提供了解决大量机器学习问题的新方法。