斯蒂芬·格兰特。;好吧，T.Wendy 表示对象、关系和序列。 （英语） Zbl 1414.68056号 神经计算。 第8期第25号，2038-2078（2013）. 摘要：向量符号体系结构（VSA）是用于机器学习算法的对象（例如单词、图像部分）、关系（例如句子结构）和序列的高维向量表示。它们由表示无序对象集合的向量加法运算符、关联对象组的绑定运算符和编码复杂结构的方法组成。我们首先开发机器学习对VSA施加的约束；例如，相似的结构必须由相似的向量表示。这些限制条件表明，当前的VSA除了直接约束术语外，还应通过约束术语总和来表示短语（“聪明的巴西女孩”）。我们证明了矩阵乘法可以用作VSA的绑定算子，并且矩阵元素可以随机选择。生命系统的一个结果是，结合在数学上是可能的，而无需事先为大量突触指定精确的神经元间连接属性。结合这些思想的VSA，即附加项矩阵绑定（MBAT），描述了满足所有约束的VSA。关于机器学习，对于某些类型的问题，适当的VSA表示允许我们证明可学习性，而不是依赖模拟。我们还建议将机器（和神经）学习和表示划分为三个阶段，每个阶段的学习角色不同。对于神经建模，我们给出了神经系统具有许多循环连接的代表性原因，以及短语在语言处理中的重要性。规模模拟和分析表明，一般而言，VSA，特别是MBAT，已准备好用于实际应用。 引用于7文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 PDF格式BibTeX公司 XML格式引用 \textit{S.I.Gallant}和\textit{T.W.Okaywe}，神经计算。25，第8号，2038--2078（2013；Zbl 1414.68056） 全文： 内政部 arXiv公司 参考文献： [1] Anderson，J.A.（1973年）。从短记忆列表中识别项目的理论。《心理评论》，80（6），417-438， [2] Anderson，J.A.和Silverstein，J.W.、Ritz，S.A.和Jones，R.S.（1977年）。独特特征、分类感知和概率学习：神经模型的一些应用，《心理学评论》，84，413-451， [3] Bemis，D.K.和Pylkkänen，L.（2011）。简单作文：一种对最小语言短语理解的脑磁图研究。《神经科学杂志》，31（8），2801-2814， [4] Block，H.D.，&Levin，S.A.（1970年）。关于求解线性不等式组的迭代过程的有界性。程序。阿默尔。数学。Soc.26229-235·Zbl 0206.16805号 [5] Brown，P.F.、Cock，J.、Della Pietra，S.A.、Della Petetra，V.J.、Jelinek，F.、Lafferty，J.D.（1990）。机器翻译的统计方法。计算语言学，16（2），79-85。 [6] Brown，P.F.、deSouza，P.V.、Mercer，R.L.、Pietra，V.J.D.和Lai，J.C.（1992）。自然语言的基于类的n-gram模型。计算语言学，18467-479。 [7] Caid，W.R.、Dumais，S.T.和Gallant，S.I.（1995）。用于文档检索的学习向量空间模型。信息处理与管理，31419-429， [8] Collobert，R.和Weston，J.（2008）。自然语言处理的统一架构：具有多任务学习的深度神经网络。第25届机器学习国际会议论文集（第160-167页）。纽约：ACM， [9] Collobert，R.、Weston，J.、Bottou，L.、Karlen，K.K.和Kuksa，P.（2011）。自然语言处理（几乎）从头开始。《机器学习研究杂志》，12461-2505·Zbl 1280.68161号 [10] Cover，T.M.（1965）。线性不等式组的几何和统计性质及其在模式识别中的应用。IEEE电子计算机汇刊，14，326-334·Zbl 0152.18206号 [11] Deerwester，S.、Dumais，S.T.、Landauer，T.K.、Furnas，G.W.和Harshman，R.A.（1990年）。通过潜在语义分析进行索引。《信息科学学会杂志》，41（6），391-407， [12] Elman，J.L.（1990）。及时发现结构。认知科学，14，179-211， [13] Frasconi，P.、Gori，M.、Sperduti，A.（1998）。数据结构自适应处理的通用框架。IEEE神经网络汇刊，9768-786， [14] Gallant，S.I.（1993）。神经网络学习和专家系统。马萨诸塞州剑桥：麻省理工学院出版社·Zbl 0850.68281号 [15] Gallant，S.I.和Smith，D.（1987年）。随机单元格：一个想法，它的时间来了又走了##img##又来了？《IEEE神经网络国际会议论文集》（第2卷，第671-678页）。新泽西州皮斯卡塔韦：IEEE。 [16] 盖勒，R.W.（1998）。乘法绑定、表示运算符和类比[海报摘要]。在K.Holyoak、D.Gentner和B.Kokinov（编辑）的《类比研究进展：认知、计算和神经科学理论和数据的整合》中。保加利亚索非亚：新保加利亚大学。 [17] 盖勒，R.W.（2003）。向量符号结构回答了Jackendoff对认知神经科学的挑战。P.Slezak（Ed.），《ICCS/ASCS认知科学国际会议论文集》（第133-138页）。澳大利亚悉尼：新南威尔士大学。 [18] Hagenbuchner，M.、Sperduti，A.和Tsoi，A.C.（2009年）。循环图和无界图的图自组织映射。神经计算，72，1419-1430， [19] Hinton，G.E.（1981年）。在并行硬件中实现语义网络。G.E.Hinton和J.A.Anderson（编辑），联想记忆的并行模型。新泽西州希尔斯代尔：埃尔鲍姆。 [20] Hinton，G.E.（1984）。分布式表示（技术代表CMU-CS-84-157）。宾夕法尼亚州匹兹堡：卡内基梅隆大学计算机科学系。 [21] Hinton，G.E.（1986年a）。分布式表示。D.E.Rumelhart和J.L.McClelland（编辑）。并行分布式处理：认知微观结构的探索，第1卷：基础。麻省理工学院出版社，马萨诸塞州剑桥：美国。 [22] Hinton，G.E.（1986年b）。学习概念的分布式表示。《认知科学学会第八届年会论文集》（第1-12页）。新泽西州马华：埃尔鲍姆。 [23] Hinton，G.E.（1990年）。将局部层次结构映射到连接主义网络。人工智能，46（1990），47-75， [24] Huang，F.和Yates，A.（2009年）。监督序列标记中处理稀疏性的分布表示。在计算语言学协会会议记录中（第495-503页）。宾夕法尼亚州斯特劳德斯堡：计算语言学协会， [25] Jackendoff，R.（2002）。语言基础：大脑、意义、语法、进化。纽约：牛津大学出版社， [26] Jones，M.N.和Mevort，D.J.K.（2007年）。在复合全息词典中表示词义和顺序信息。心理评论，114，1-37， [27] Kanerva，P.（1988年）。稀疏分布式内存。马萨诸塞州剑桥：麻省理工学院出版社·Zbl 0685.68009号 [28] Kanerva，P.（1994）。用于在多个级别上编码概念的二进制溅射代码。M.Marinaro和P.Morasso（编辑），《人工神经网络国际会议论文集》（第1卷，第226-229页）。纽约：Springer-Verlag。 [29] Kanerva，P.（1997）。完全分布式表示。程序中。1997年真实世界计算研讨会（报告TR-96001）（第358-365页）。日本筑波市：真实世界计算伙伴关系。 [30] Kanerva，P.（2009）。超维计算：介绍使用高维随机向量进行分布式表示的计算。认知。计算。，139-159中， [31] Kelly，M.A.（2010年）。推进全息简化表示的理论和实用性（加拿大安大略省金斯顿皇后大学硕士论文）。 [32] Kelly，M.A.，Blostein，D.，&Mevort，D.J.K.（出版中）。全息简化表示中的编码结构。加拿大实验心理学杂志。 [33] Kohonen，T.（1977年）。联想记忆：一种系统理论方法。纽约：斯普林格·Zbl 0354.68115号 [34] Kohonen，T.（1995）。自组织地图。纽约：斯普林格·Zbl 0827.68092号 [35] Levy，S.D.和Gayler，R.W.（2008年）。向量符号建筑：人工智能的新型建筑材料。在第一届人工智能大会的会议记录中。IOS出版社·Zbl 1147.68316号 [36] Lin，D.和Wu，X.（2009）。区分学习的短语聚类。《计算语言学协会会议记录》（第1030-1038页）。宾夕法尼亚州斯特劳德斯堡：计算语言学协会， [37] Maass，W.、Natschläger，T.和Markram，H.（2002）。无稳定状态的实时计算：基于扰动的神经计算新框架。神经计算，142531-2560·Zbl 1057.68618号 [38] Minsky，M.和Papert，S.（1969年）。感知器：计算几何入门。马萨诸塞州剑桥：麻省理工学院出版社·Zbl 0197.43702号 [39] Mitchell，J.和Lapata，M.（2008）。基于向量的语义合成模型。ACL-08会议记录（第236-244页）。宾夕法尼亚州斯特劳德斯堡：计算语言学协会。 [40] Okanohara，D.和Tsujii，J.（2007）。带有伪阴性样本的判别语言模型。ACL第45届年会会议记录（第73-80页）。宾夕法尼亚州斯特劳德斯堡：计算语言学协会。 [41] Paccanaro，A.（2003年）。通过非线性关系嵌入学习高维关系数据的分布式表示。2003年人工神经网络和神经信息处理联合国际会议论文集。纽约：斯普林格·Zbl 1037.68703号 [42] Paccanaro，A.和Hinton，G.E.（2001a）。通过线性关系嵌入学习层次结构。T.G.Dietterich、S.Becker和Z.Ghahramani（编辑），《神经信息处理系统的进展》，14（第857-864页）。马萨诸塞州剑桥：麻省理工学院出版社。 [43] Paccanaro，A.和Hinton，G.E.（2001b）。使用线性关系嵌入学习概念的分布式表示。IEEE传输。知识。数据工程，13，232-244， [44] Plate，T.A.（1992）。全息递归网络。在C.L.Giles、S.J.Hanson和J.D.Cowan（编辑），《神经信息处理系统的进展》，5。加利福尼亚州圣马特奥：Morgan Kaufmann。 [45] Plate，T.A.（2003）。全息简化表示：认知结构的分布式表示。加利福尼亚州斯坦福：CSLI出版物。 [46] Pollack，J.（1990）。递归分布式表示。人工智能，46，77-105， [47] Rachkovskij，D.A.和Kussul，E.M.（2001）。通过上下文相关细化对二进制稀疏分布表示进行绑定和规范化。神经计算，13，411-452·Zbl 0973.68204号 [48] Recchia，G.L.、Jones，M.N.、Sahlgren，M.和Kanerva，P.（2010年）。在语义的向量空间模型中编码序列信息：比较全息简化表示和随机置换。S.Ohisson&R.Catrambone（编辑），Proc。认知科学学会第32届年会（第865-870页）。德克萨斯州奥斯汀：认知科学学会。 [49] Rosenblatt，F.（1959年）。感知器中统计可分性的两个定理。程序中。思维机械化研讨会，国家物理实验室。伦敦：H.M.文具办公室。 [50] Rudolph，S.和Giesbrecht，E.（2010年）。语言的组合矩阵空间模型。《计算语言学协会第48届年会会议记录》（第907-916页）。宾夕法尼亚州斯特劳德斯堡：计算语言学协会。 [51] Sahlgren，M.、Holst，A.和Kanerva，P.（2008年）。排列作为在单词空间中编码顺序的一种手段。程序中。认知科学学会第30届年会（第1300-1305页）。德克萨斯州奥斯汀：认知科学学会。 [52] Salton，G.和McGill，M.J.（1983年）。现代信息检索导论。纽约：McGraw-Hill·Zbl 0523.68084号 [53] Smolensky，P.（1990）张量积变量绑定和联结系统中符号结构的表示。人工智能，46，159-216·Zbl 0717.68095号 [54] Socher，R.、Lin，C.、Ng，A.Y.和Manning，C.D.（2011年）。用递归神经网络分析自然场景和自然语言。在第28届国际机器学习大会论文集上。纽约：ACM。 [55] Socher，R.、Manning，C.D.和Ng，A.Y.（2010年）。使用递归神经网络学习连续短语表示和句法分析。在NIPS 2010深度学习和无监督特征学习研讨会上发表。 [56] Socher，R.、Pennington，J.、Huang，E.、Ng，A.Y.和Manning，C.D.（2011年）。用于预测情绪分布的半监督递归自动编码器。《2011年自然语言处理实证方法会议论文集》。宾夕法尼亚州斯特劳德斯堡：计算语言学协会。 [57] Sperduti，A.（1997年）。数据结构自适应处理的一般框架（技术代表DSI-RT-15/97）。佛罗伦萨：费伦泽大学信息学院。 [58] Sperduti，A.（2007年）。结构化输入递归主成分分析的有效计算。《第18届欧洲机器学习会议记录》（第335-346页）。纽约：斯普林格， [59] Sperduti，A.、Starita，A.和Goller，C.（1995年）。学习术语分类的分布式表示。《国际人工智能联合会议论文集》。加利福尼亚州圣马特奥：Morgan Kaufmann。 [60] Treisman，A.（1999）。约束性问题的解决方案：通过争议和趋同取得进展。神经元，24，105-110， [61] Vapnik，V.N.和Chervonenkis，A.Y.（1971）。关于事件相对频率与其概率的一致收敛性。理论概率论。应用。，16, 264-280. , ·Zbl 0247.60005号 [62] Voegtlin，T.和Dominey，P.F.（2005年）。线性递归分布式表示。神经网络。，18, 878-895. , ·Zbl 1077.68788号 [63] Waibel，A.、Hanazawa，T.、Hinton，G.、Shikano，K.和Lang，K.J.（1989年）。基于时滞神经网络的音素识别。IEEE声学、语音和信号处理汇刊，37，328-339， 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。