×

有向无环网络水库计算中的存储容量。 (英语) Zbl 1459.68061号

摘要:水库计算(RC)因其硬件实现潜力和低培训成本而成为一个有吸引力的研究领域。该领域一个有趣的研究方向是通过分析RC模型的短期记忆特性来解释其潜在的动力学,该特性可以通过全局指数:记忆容量(MC)进行量化。本文研究了水库网络被指定为有向无环网络(DAN)的RC的全局MC,首先我们给出了其全局MC在理论上受水库DAN最长路径长度的限制。由于全局MC在技术上受模型超参数的影响,因此详细研究了MC对该RC超参数的依赖性。在进一步的研究中,我们使用改进的传统网络嵌入方法(即struc2vec)挖掘水库DAN中的底层记忆社区,可以将其视为具有相同记忆轮廓的水库节点簇。实验结果表明,这种记忆共同体结构可以具体解释该RC的全局MC。最后,利用DAN检测到的记忆社区结构提出了聚类RC,与其他RC模型相比,该模型在几个混沌时间序列基准上的预测性能得到了提高,训练成本更低。
©2021美国物理研究所

MSC公司:

2006年第68季度 作为计算模型的网络和电路;电路复杂性
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 田中,G。;Yamane,T。;Héroux,J.B。;Nakane,R。;北金泽。;武田,S。;Numata,H。;Nakano,D。;Hirose,A.,《物理油藏计算的最新进展:综述》,神经网络。,115, 100-123 (2019) ·doi:10.1016/j.neunet.2019.03.005
[2] Jaeger,H.,“分析和训练递归神经网络的“回声状态”方法——附勘误表,”德国国家信息技术研究中心,GMD技术报告,德国波恩,2001年,第148卷,第13页。
[3] Maass,W。;Natschläger,T。;Markram,H.,《无稳定状态的实时计算:基于扰动的神经计算的新框架》,《神经计算》。,14, 2531-2560 (2002) ·Zbl 1057.68618号 ·doi:10.1162/089976602760407955
[4] Ganguly,S.和Ghosh,A.W.,“使用低能垒磁技术构建水库计算硬件”,《2020年神经形态系统国际会议》(计算机械协会,2020年),第1-8页。
[5] 宋,Z。;Wu,K。;Shao,J.,使用深度回波状态网络预测目的地,神经计算,406343-553(2020)·doi:10.1016/j.neucom.2019.09.115
[6] Krishnagopal,S。;Girvan,M。;Ott,E。;Hunt,B.R.,《通过水库计算分离混沌信号》,《混沌》,3023123(2020)·数字对象标识代码:10.1063/1.5132766
[7] Ghosh,S。;Krisnanda,T。;Paterek,T。;Liew,T.C.H。
[8] 朱,Q。;马,H。;Lin,W.,仅基于时间序列检测不稳定周期轨道:当自适应延迟反馈控制满足水库计算时,混沌,29093125(2019)·Zbl 1423.37064号 ·数字对象标识代码:10.1063/1.5120867
[9] Jaeger,H.,《利用非线性:预测混沌系统和无线通信节能》,《科学》,304,78-80(2004)·doi:10.1126/science.1091277
[10] Jaeger,H.,《回声状态网络中的短期记忆》(GMD-德国国家计算机科学研究所,2002年),第60页。
[11] 罗丹,A。;Tiňo,P.,最小复杂度回波状态网络,IEEE Trans。神经网络。,22131-144(2011年)·doi:10.1109/TNN.2010.2089641
[12] 法卡什,I。;波萨克,R。;Gergeľ,P.,回声状态网络中记忆容量的计算分析,神经网络。,83, 109-120 (2016) ·doi:10.1016/j.neuet.2016.07.012
[13] Ribeiro,L.F.、Saverese,P.H.和Figueiredo,D.R.,“结构2vec:从结构身份学习节点表示”,载于第23届ACM SIGKDD国际知识发现和数据挖掘会议论文集(计算机协会,2017年),第385-394页。
[14] 张,T。;Ramakrishnan,R。;Livny,M.,BIRCH:一种用于超大数据库的高效数据聚类方法,ACM Sigmod Record,25103-114(1996)·doi:10.1145/235968.233324
[15] Pathak,J。;亨特,B。;Girvan,M。;卢,Z。;Ott,E.,《从数据对大型时空混沌系统进行无模型预测:水库计算方法》,Phys。修订稿。,120, 24102 (2018) ·doi:10.1103/PhysRevLett.120.024102
[16] 坎茨,H。;Schreiber,T.,《非线性时间序列分析》(2004),剑桥大学出版社·Zbl 1050.62093号
[17] 林伯恩,T。;科尔,A。;Stemler,T。;哥伦比亚特区科里亚。;小型,M。;Jüngling,T.,回声状态网络的一致性,混沌,29023118(2019)·doi:10.1063/1.5079686
[18] 张,D。;尹,J。;朱,X。;张,C.,《网络表征学习:调查》,IEEE Trans。大数据,6,3-28(2018)·doi:10.1109/TBDATA.2018.2850013
[19] Mikolov,T。;Chen,K。;Corrado,G。;J·迪安。
[20] Rényi,A.等人,“关于熵和信息的度量”,载于《第四届伯克利数理统计与概率研讨会论文集》,第1卷:对统计理论的贡献(加利福尼亚大学出版社,1961年),第547-561页·Zbl 0106.33001号
[21] 范德马滕,L。;Hinton,G.,《使用t-SNE可视化数据》,J.Mach。学习。研究,92579-2605(2008)·Zbl 1225.68219号
[22] Perozzi,B.、Al-Rfou,R.和Skiena,S.,“深度行走:社会表征的在线学习”,载于第20届ACM SIGKDD国际知识发现和数据挖掘会议论文集(计算机协会,2014年),第701-710页。
[23] Cao,S.、Lu,W.和Xu,Q.,“GraRep:使用全局结构信息学习图形表示”,载于《信息和知识管理国际会议论文集》(计算机协会,2015年),第891-900页。
[24] 唐J.、曲M.、王M.、张M.、严J.和梅Q.,“线路:大规模信息网络嵌入”,《第24届万维网国际会议论文集》(国际万维网会议指导委员会,2015年),第1067-1077页。
[25] Hirsch,M.W.、Smale,S.和Devaney,R.L.,《微分方程、动力系统和混沌导论》,第三版(学术出版社,波士顿,2013),第305-328页。
[26] Rössler,O.,连续混沌方程,Phys。莱特。A、 57、397-398(1976)·Zbl 1371.37062号 ·doi:10.1016/0375-9601(76)90101-8
[27] 格里菲斯,A。;Pomerance,A。;Gauthier,D.J.,用极低连通性水库计算机预测混沌系统,混沌,29231108(2019)·doi:10.1063/1.5120710
[28] Welch,B.L.,《当涉及几个不同的人口差异时学生问题的概括》,《生物特征》,34,28-35(1947)·Zbl 0029.40802号 ·doi:10.2307/2332510
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。