神经计算(2024) 36 (4): 718–743.
出版:2024年3月21日
图
摘要
近年来,将信息理论学习与深度学习相结合受到了广泛关注,因为它为解决大数据带来的挑战提供了一种很有前景的方法。然而,对卷积结构的理论理解仍然不完整,卷积结构对许多结构化深度学习模型至关重要。为了部分弥补这一差距,本文旨在利用学习理论对深度卷积神经网络(CNN)算法进行泛化分析。具体来说,我们重点研究了使用从信息理论学习中导出的相关诱导损失函数的稳健回归。我们的分析表明,当目标函数位于Korobov空间时,基于深度CNN的稳健回归算法的显式收敛速度。本研究揭示了CNN的理论基础,并为理解其性能和局限性提供了框架。
查看文章
神经计算(2024) 36 (4): 549–595.
出版:2024年3月21日
摘要
Hopfield吸引子网络是人类记忆的鲁棒分布式模型,但它们缺乏一种通用的机制来实现对输入的状态相关吸引子转换。我们提出了构造规则,使得吸引子网络可以实现任意有限状态机(FSM),其中状态和刺激由高维随机向量表示,所有状态转换都由吸引子网的动力学来实现。数值模拟表明,就可实现的FSM的最大大小而言,该模型对于稠密双极状态向量的吸引子网络的大小是线性的,对于稀疏二进制状态向量的大小是近似二次的。我们表明,该模型对不精确和噪声权重具有鲁棒性,因此是高密度但不可靠设备实现的首选。通过赋予吸引子网络仿真任意FSM的能力,我们提出了一条似是而非的路径,通过该路径FSM可以作为生物神经网络中的分布式计算原语存在。
查看文章
神经计算(2024) 36 (4): 744–758.
出版:2024年3月21日
摘要
通过增加给定模型中的参数数量,深度学习的最新进展取得了重大进展。然而,这是以计算资源为代价的,这促使研究人员探索模型压缩技术,以减少参数数量,同时保持甚至提高性能。卷积神经网络(CNN)已被公认为比完全连接(FC)网络更有效。在这封信中,我们提出了一种列行卷积神经网络(CRCNN),将一维卷积应用于图像数据,显著减少了学习参数和操作步骤的数量。CRCNN使用列和行本地接收字段执行数据抽象,在连接到FC层之前连接每个方向的特征。实验结果表明,与以往的工作相比,CRCNN在减少参数数量的同时保持了相当的准确性。此外,CRCNN还用于一类异常检测,证明了其在各种应用中的可行性。
查看文章
神经计算(2024) 36 (4): 596–620.
出版:2024年3月21日
图
摘要
我们介绍了非线性物理网络的一种学习算法——频率传播。在带有可变电阻器的电阻电路中,以一个频率在一组输入节点上施加激活电流,以另一个频率向一组输出节点施加错误电流。电路对这些边界电流的电压响应是激活信号和误差信号的叠加,其系数可以在频域的不同频率中读取。每个电导都会根据两个系数的乘积按比例更新。该学习规则是局部的,并被证明对损失函数进行梯度下降。我们认为,频率传播是物理网络(无论是电阻网络、弹性网络还是流网络)的多机制学习策略的一个实例。多机制学习策略包含至少两个物理量,可能由独立的物理机制控制,在训练过程中充当激活和错误信号。然后使用这两个信号的本地可用信息更新可训练参数,以执行梯度下降。我们证明了早期通过流网络中的化学信号实现学习的工作(Anisetti,Scellier等,2023)也属于多机制学习的范畴。
查看文章