神经计算(2024) 36 (4): 718–743.
出版：2024年3月21日
图
摘要
近年来，将信息理论学习与深度学习相结合受到了广泛关注，因为它为解决大数据带来的挑战提供了一种很有前景的方法。然而，对卷积结构的理论理解仍然不完整，卷积结构对许多结构化深度学习模型至关重要。为了部分弥补这一差距，本文旨在利用学习理论对深度卷积神经网络（CNN）算法进行泛化分析。具体来说，我们重点研究了使用从信息理论学习中导出的相关诱导损失函数的稳健回归。我们的分析表明，当目标函数位于Korobov空间时，基于深度CNN的稳健回归算法的显式收敛速度。本研究揭示了CNN的理论基础，并为理解其性能和局限性提供了框架。
查看文章
神经计算(2024) 36 (4): 549–595.
出版：2024年3月21日
摘要
Hopfield吸引子网络是人类记忆的健壮分布式模型，但它们缺乏一种通用机制来影响状态相关的吸引子转换以响应输入。我们提出了构造规则，使得吸引子网络可以实现任意有限状态机（FSM），其中状态和刺激由高维随机向量表示，所有状态转换都由吸引子网的动力学来实现。数值模拟表明，就可实现的FSM的最大大小而言，该模型对于稠密双极状态向量的吸引子网络的大小是线性的，对于稀疏二进制状态向量的大小是近似二次的。我们表明，该模型对不精确和噪声权重具有鲁棒性，因此是高密度但不可靠设备实现的首选。通过赋予吸引子网络仿真任意FSM的能力，我们提出了一条似是而非的路径，通过该路径FSM可以作为生物神经网络中的分布式计算原语存在。
查看文章
神经计算(2024) 36 (4): 744–758.
出版：2024年3月21日
摘要
通过增加给定模型中的参数数量，深度学习的最新进展取得了重大进展。然而，这是以计算资源为代价的，这促使研究人员探索模型压缩技术，以减少参数数量，同时保持甚至提高性能。卷积神经网络（CNN）被认为比全连接（FC）网络更高效。在这封信中，我们提出了一种列行卷积神经网络（CRCNN），将一维卷积应用于图像数据，显著减少了学习参数和操作步骤的数量。CRCNN使用列和行本地接收字段执行数据抽象，在连接到FC层之前连接每个方向的特征。实验结果表明，与以往的工作相比，CRCNN在减少参数数量的同时保持了相当的准确性。此外，CRCNN还用于一类异常检测，证明了其在各种应用中的可行性。
查看文章
神经计算(2024) 36 (4): 596–620.
出版：2024年3月21日
图
摘要
我们介绍了频率传播，一种用于非线性物理网络的学习算法。在带有可变电阻器的电阻电路中，以一个频率在一组输入节点上施加激活电流，以另一个频率向一组输出节点施加错误电流。电路对这些边界电流的电压响应是激活信号和误差信号的叠加，其系数可以在频域的不同频率中读取。每个电导都会根据两个系数的乘积按比例更新。该学习规则是局部的，并被证明对损失函数进行梯度下降。我们认为，频率传播是物理网络（无论是电阻网络、弹性网络还是流网络）的多机制学习策略的一个实例。多机制学习策略包含至少两个物理量，可能由独立的物理机制控制，在训练过程中充当激活和错误信号。然后使用这两个信号的本地可用信息更新可训练参数，以执行梯度下降。我们证明了早期通过流网络中的化学信号实现学习的工作（Anisetti，Scellier等，2023）也属于多机制学习的范畴。
查看文章
神经计算(2024) 36 (4): 677–704.
出版：2024年3月21日
摘要
从原始感官数据表示场景及其组成对象是使机器人能够与其环境交互的核心能力。在这封信中，我们提出了一种新的场景理解方法，利用以对象为中心的生成模型，使代理能够使用主动推理（一种行为和感知的神经启发框架）在异中心参考框架中推断对象类别和姿势。为了评估主动视觉代理的行为，我们还提出了一个新的基准，在该基准中，给定特定对象的目标视点，代理需要找到与给定的工作空间中随机定位的对象的最佳匹配视点。我们证明，我们的主动推理代理能够平衡认知搜寻和目标驱动行为，并且在成功率方面，在数量上优于监督和强化学习基线两倍多。
查看文章
包括：补充数据
