Centonze，Martino Salomone公司;伊多·坎特;阿德里亚诺·巴拉 双向联想记忆中通过混响学习的统计机制。 （英语） Zbl 07845807号 物理A 637，文章ID 129512，30 p.（2024）。 摘要：我们研究双向联想神经网络，该网络暴露于大量随机原型的噪声示例中，当提供的信息为足够地：在这种情况下，学习是异质关联的，包括成对的模式，它是通过将示例中描述的信息反射到网络层来实现的。通过采用Guerra的插值技术，我们提供了监督和非监督学习过程的完整统计力学图（在描述的副本对称级别），获得了分析相图、学习阈值、与蒙特卡罗模拟和信噪比结果完全一致的地面状态图。在大数据集的限制下，Kosko存储处方及其由Kurchan、Peliti和Saber在80年代提供的统计力学图片被完全恢复。针对自然测试案例，讨论了处理信息混响而非存储方面的计算优势。特别是，我们展示了这个网络如何允许两个耦合的受限玻尔兹曼机的积分表示，它们的隐藏层完全由祖母神经元构建，为了证明，通过单独耦合这些祖母-母亲神经元，我们可以关联它们相关的模式：因此，通过在正确的祖母神经元中只添加一个突触，就有可能恢复巴甫洛夫的经典条件反射（因此节省了大量的这些链接，以便进一步存储经典的自动关联设置的信息）。同样，为BAM的突触耦合配备转置矩阵（并在这两者之间交替，例如引入时钟）就足够了，以使这些网络能够计算模式序列（在与自相关情况不同的情况下，仍保持详细平衡）。 MSC公司： 82至XX 统计力学，物质结构 关键词：统计力学;机器学习;人工智能;可解释人工智能;联想记忆;复杂系统 PDF格式BibTeX公司 XML格式引用 \textit{M.S.Centonze}等人，Physica A 637，文章ID 129512，30 p.（2024；Zbl 07845807） 全文： 内政部 arXiv公司 参考文献： [1] 稠密赫布神经网络：监督学习的复制对称图，《物理a》，2023年出版·Zbl 07735666号 [2] 连续时间动力学神经网络的统计力学，J.Phys。A： 数学。将军，1993年4月26日·Zbl 0772.92002号 [3] 非凸多物种hopfield模型，J.Stat.Phys。，172, 5, 1247-1269, 2018 ·Zbl 1406.82017年 [4] 三层限制玻尔兹曼机器的学习和检索操作模式，J.Stat.Phys。，185, 10, 2021 ·Zbl 07442691号 [5] 具有“磁化”的层次关联网络的平均场分析，J.Phys。A： 数学。Gen.，21,92211988年·Zbl 0661.68082号 [6] 具有修正交互作用的类hopfield神经网络的统计力学，J.Phys。A、 1991年10月24日、24日、19日·兹比尔0800.82009 [7] 具有涌现集体计算能力的神经网络和物理系统，Proc。国家。阿卡德。科学。美国，79,82554-25581982·Zbl 1369.92007号 [8] 平均场自旋玻璃模型中的破复型对称边界，Comm.Math。物理。，233, 1-12, 2003 ·Zbl 1013.82023号 [9] 从巴甫洛夫条件反射到帮助学习，神经计算。，35, 930-957, 2023 ·Zbl 1520.91296号 [10] 《神经信息处理系统理论》，2005年，牛津出版社·Zbl 1117.68064号 [11] 类比神经网络的副本对称近似，J.Stat.Phys。，140, 784-796, 2010 ·Zbl 1201.82038号 [12] 关于hopfield网络和boltzmann机器的等价性，神经网络。，34, 1-9, 2012 ·Zbl 1258.68112号 [13] 二体自旋系统的平衡统计力学，J.Phys。A、 第44、24条，第245002页，2011年·Zbl 1220.82059号 [14] 种植模式的霍普菲尔德模式：一种师生自主学习模式，应用。数学。计算。，458，第128253条，pp.，2023·Zbl 07736296号 [15] 神经网络在高斯模式海洋中检索布尔模式，J.Stat.Phys。，2017年10月16日·Zbl 1373.82060号 [16] 二分平均场自旋玻璃的普遍性，J.Math。物理。，53, 12, 2012 ·Zbl 1278.82063号 [17] 舍林顿-柯克帕特里克自旋玻璃模型的普遍性，（2006，爱思唯尔），215-222·Zbl 1099.82005年 [18] 祖母细胞系谱，神经科学家，8，5，512-518，2002 [19] 约束满足问题的景观分析，物理学。版本E，76，2，第021122条，2007年 [20] 约束满足问题和神经网络：统计物理观点，J.Physiol。（巴黎），103,1107-1132009 [21] Y.LeCun，D.Touresky，G.Hinton，T.Sejnowski，《反向传播的理论框架》，摘自：Proc。1988连接主义Mod。《暑期学校》，1988年第1卷，第21-28页。 [22] 前馈和反馈网络中的学习算法和概率分布，Proc。国家。阿卡德。科学。美国，84，23，8429-84331987 [23] 使用并行tap方程和限制boltzmann机器的结构化数据集的反问题，科学。代表，199902021年11月1日 [24] 随机特征hopfield模型中的存储和学习阶段转换，Phys。修订稿。，2023年出版 [25] hidden流形hopfield模型与学习相变，2023，arXiv 2303.16880 [26] 在人工智能算法中，生物学习曲线优于现有曲线。代表，2019年9月1日，11558日 [27] 有效的浅层学习作为深度学习的替代，科学。代表，13，1，5423，2023 [28] 幂律缩放以帮助应对人工智能中的关键挑战，科学。代表，10，1，19628，2020 [29] 《对比发散学习》。《国际法》（PMLR）第9条、第1条、第147-169条，2005年 [30] boltzmann机器的学习算法，Cognit。科学。，9, 1, 147-169, 1985 [31] 受限玻尔兹曼机：最新进展和平均场理论，中国。物理学。B、 第30、4条，第040202页，2021 [32] 黑箱模型解释方法调查，ACM Comp。Surv公司。（CSUR），2018年5月51日至42日 [33] 监督希伯来人的学习，欧罗皮斯。莱特。，第141页，第1100页，第2023页 [34] 限制玻尔兹曼机器中合成表示的出现，物理学。修订稿。，118、13，第138301条，2017年 [35] 多任务关联网络。修订稿。，第109、26条，第268101页，2012年 [36] 注意力理论：刺激与强化的关联性变化，心理学。修订版，82、4、276-298、1975 [37] 认知功能神经网络模型的生物约束，《神经科学自然评论》。，22, 8, 488-502, 2021 [38] 《机器学习与物理科学》，《现代物理学评论》。，第91、4条，第045002页，2019年 [39] 不对称神经网络中的时间关联，Phys。修订稿。，57, 22, 2861, 1986 [40] 神经网络计算钟声，Proc。国家。阿卡德。科学。美国，85，7，2141-21451988 [41] 梦见神经网络：遗忘虚假记忆并强化纯粹记忆，神经网络。，112, 24-40, 2019 [42] G.Hinton，O.Vinyals，J.Dean，《在神经网络中提取知识》。 [43] 具有一般先验的受限boltzmann机器中的相变，Phys。版本E，96，4，第042156条，pp.，2017 [44] 关于最大熵方法的基本原理，Proc。IEEE，70，9，939-9521982年 [45] 二进制和灰度模式的双向异联想存储器，IEEE Trans。诺尔。净值。，17, 2, 385-396, 2006 [46] 量化肿瘤-肿瘤动力学中药物反应的异质性，Proc。国家。阿卡德。科学。美国，120，11，文章e2122352120 pp.，2023 [47] 《行为的组织：神经心理学理论》，2005年，心理学出版社 [48] bam蓄水量，J.Physique I，5，1，85-961995 [49] 《双向联想记忆的统计研究》，J.Physique I，4，11，1627-16391994年 [50] 多光谱平均场自旋玻璃。严格的结果，（2015年，施普林格），691-708·Zbl 1327.82089号 [51] 双向联想存储器的热力学，J.Phys。A、 2022年 [52] 浅层神经网络概念的出现。，148, 232-253, 2022 [53] hopfield模型中的平均场消息传递方程及其推广，Phys。版本E，95，2，第022117条，pp.，2017 [54] 双向联想存储器，IEEE Trans。系统。人类网络。，18, 1, 49-60, 1988 [55] 层次网络的检索能力：从dyson到hopfield，Phys。修订稿。，114，2，第028103条，pp.，2015 [56] 无标度网络上的广泛并行处理，Phys。修订稿。，第113、23条，第238106页，2014年 [57] 机器学习和统计物理学，J.Phys。A、 第53条，第500401页，2020年 [58] 用于模式识别的密集联想记忆，高级神经信息处理。系统。，29, 2016 [59] 高阶自旋类和神经网络的稳定点数目，Phys。修订稿。，58, 913-916, 1987 [60] 高阶玻尔兹曼机器（1986年，美国物理研究所），398-403 [61] 限制型boltzmann机器简介，（2012，Springer），14-36 [62] 动态系统中的信息处理：和谐理论技术的基础。代表，1986年，科罗拉多大学博尔德分校计算机科学系 [63] 具有层次结构信息的神经网络的鞅方法，Z.Phys。B、 1988年，第71页，第261-271页 [64] 具有任意先验的受限boltzmann机和广义hopfield网络的相图，Phys。版本E，97，2，第022310条，pp.，2018 [65] 《自旋玻璃理论及其以外：复制方法及其应用简介》，J.Physique I，4，11，1627-16391987 [66] 在神经网络的自旋类模型中存储无限数量的模式，Phys。修订稿。，55, 14, 1530, 1985 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。