×
波德斯，安托万;泽维尔·格洛特;杰森·韦斯顿;约书亚·本吉奥

用于学习多关系数据的语义匹配能量函数。 （英语） Zbl 1319.68169号

机器。学习。 94，第2期，233-259（2014）.
摘要：大规模关系学习对于处理从计算生物学或信息检索到自然语言处理等许多应用领域每天生成的大量结构化数据至关重要。本文提出了一种新的神经网络结构，用于将多关系图嵌入到保持和增强原始数据的灵活连续向量空间中。网络被训练为对这些图的语义进行编码，以便将高概率分配给看似合理的分量。我们的经验表明，它在文献中的标准数据集以及现实世界知识库（WordNet）的数据上的链接预测中达到了竞争性能。此外，我们还介绍了如何将我们的方法应用于在开放文本语义解析的背景下执行词义消歧，其中的目标是学会为几乎任何自由文本的句子分配结构化的含义表示，证明它可以扩展到数万个节点和数千种类型的关系。

引用于15文件

MSC公司：

68T05年 人工智能中的学习和自适应系统
68T50型 自然语言处理

关键词：

神经网络;多关系数据;词义消歧

软件：

概念网;巴拉法克;t-SNE公司;WordNet（文字网）;西雅娜
PDF格式BibTeX公司 XML格式引用
\textit{A.Bordes}等人，马赫。学习。94，第2号，233--259（2014；Zbl 1319.68169）
全文： 内政部 arXiv公司

参考文献：

[1] 贝克，C。；菲尔莫尔，C。；Lowe，J.，伯克利框架网项目，86-90（1998）
[2] 班纳吉，S。；Pedersen，T.，使用wordnet进行词义消歧的一种改进的lesk算法，136-145（2002），柏林·Zbl 1044.68819号 ·doi:10.1007/3-540-45715-1-11
[3] Bengio，Y.（2008）。神经网络语言模型。学者媒体，3（1），3881。http://www.scholarpedia.org/article/Neural_net_language_models。 ·doi:10.4249/学术媒体.3881
[4] Bengio，Y.、Ducharme，R.、Vincent，P.和Jauvin，C.（2003）。一种神经概率语言模型。机器学习研究杂志，31137-1155·Zbl 1061.68157号
[5] Bergstra，J。；Breuleux，O。；巴斯蒂恩，F。；兰姆林，P。；帕斯卡努，R。；Desjardins，G。；Turian，J。；Warde-Farley，D。；Bengio，Y.，Theano:CPU和GPU数学表达式编译器（2010）
[6] Bordes，A。；Usunier，N。；科洛伯特，R。；韦斯顿，J.，《走向理解情境自然语言》，第9期，65-72（2010）
[7] Bordes，A。；J·韦斯顿。；科洛伯特，R。；Bengio，Y.，《学习知识库的结构化嵌入》，美国旧金山
[8] Bordes，A.、Glorot，X.、Weston，J.和Bengio，Y.（2012年）。用于开放文本语义分析的单词和意思表示的联合学习。《机器学习研究杂志》，22127-135。
[9] Boser，B。；盖恩，I。；Vapnik，V.，最优边缘分类器的训练算法，144-152（1992）·doi:10.1145/130385.130401
[10] Bottou，L.（2011）。从机器学习到机器推理。技术代表arXiv:1102.1808。
[11] 坎布里亚，E。；侯赛因，A。；哈瓦西，C。；Eckl，C.，《情感空间：融合常识和情感知识进行情感推理》，32-41（2009）
[12] 卡鲁阿纳，R。；Tesauro，G.（编辑）；Touretzky，D.（编辑）；Leen，T.（编辑），《通过反向传播同时学习许多相关任务》，第7期，657-664（1995），剑桥
[13] Chu，W.和Ghahramani，Z.（2009年）。不完全多维数组的概率模型。机器学习研究杂志，589-96。
[14] 科洛伯特，R。；Weston，J.，《自然语言处理的统一架构：具有多任务学习的深层神经网络》（2008）
[15] Collobert，R.、Weston，J.、Bottou，L.、Karlen，M.、Kavukcuoglu，K.和Kuksa，P.（2011）。自然语言处理（几乎）从头开始。机器学习研究杂志，12，2493-2537·Zbl 1280.68161号
[16] 科波拉，B。；Moschiti，A.，《基于FrameNet的通用浅层语义解析器》（2010）
[17] Decadt，B。；Hoste，V。；Daeleamns，W。；Bosh，A.，Gamble，基于记忆的WSD的遗传算法优化（2004）
[18] Denham，W.（1973）。阿尔雅瓦拉非言语行为模式的检测。华盛顿大学博士论文。
[19] Fader，A。；Soderland，S。；Etzioni，O.，《识别开放信息提取的关系》，1535-1545（2011）·Zbl 1263.15019号
[20] Franz，T。；A.舒尔茨。；Sizov，S。；Staab，S.，Triplerank：通过张量分解对语义网络数据进行排名，213-228（2009）·文件编号：10.1007/978-3-642-04930-9_14
[21] Getoor，L.和Taskar，B.（2007年）。统计关系学习导论（自适应计算和机器学习）。剑桥：麻省理工学院出版社·兹比尔1141.68054
[22] Giuglea，A。；Moschiti，A.，基于FrameNet、VerbNet和PropBank的浅层语义分析，563-567（2006）
[23] Gutmann，M。；Hyvärinen，A.，《噪声对比估计：非正规统计模型的新估计原则》（2010年）
[24] 哈默尔，P。；Lemieux，S。；Y.本吉奥。；Eck，D.，《音乐音频自动注释和排名的时间池和多尺度学习》（2011年）
[25] Harabagiu，S。；摩尔多瓦，D。；Fellbaum，C.（编辑），《扩展WordNet上的知识处理》，379-405（2002），剑桥
[26] Harshman，R.A.和Lundy，M.E.（1994年）。Parafac：平行因子分析。计算统计与数据分析，18（1），39-72·Zbl 0825.62518号 ·doi:10.1016/0167-9473（94）90132-5
[27] 哈瓦西，C。；斯佩尔，R。；Pustejovsky，J.，《使用常识进行粗略的词义消歧》（2010年）
[28] Jenatton，R。；Le Roux，N。；Bordes，A。；Obozinski，G。；等。，高度多关系数据的潜在因素模型（2012）
[29] 坎普，C。；Tenenbaum，J.B。；Griffiths，T.L。；山田，T。；Ueda，N.，《具有无限关系模型的概念学习系统》，第1期，381-388（2006），门洛·帕克
[30] P.金斯伯里。；Palmer，M.，《从树库到PropBank》（2002年）
[31] 科克，S。；Domingos，P.，《统计谓词发明》，433-440（2007），纽约·doi:10.1145/1273496.1273551
[32] Landauer，T.和Dumais，S.（1997年）。柏拉图问题的解决方案：知识获取、归纳和表示的潜在语义分析理论。《心理学评论》，104（2），211·doi:10.1037/0033-295X.104.2.211
[33] 乐村，Y。；肖普拉，S。；哈德塞尔，R。；Marc’aurelio，R。；黄，F。；Bakir，G.（编辑）；Hofman，T.（编辑）；Schölkopf，B.（编辑）；Smola，A.（编辑）；Taskar，B.（编辑），《基于能量的学习教程》（2006年），剑桥
[34] 刘，H。；Singh，P.，《关注conceptnet的自然语言知识表示》（2004）
[35] Lund，K.和Burgess，C.（1996年）。从词汇共现中生成高维语义空间。行为研究方法，28（2），203-208·doi:10.3758/BF03204766
[36] Martinez，D.、de Lacalle，O.和Agire，E.（2008）。关于使用自动获取的示例进行全名词词义消歧。《人工智能研究杂志》，33，79-107·Zbl 1183.68642号
[37] McCray，A.T.（2003）。生物医学领域的上层本体。比较基因组学和功能基因组学，4，80-88·doi:10.1002/cfg.255
[38] Miller，K。；格里菲斯，T。；乔丹，M。；Bengio，Y.（编辑）；Schuurmans，D.（编辑）；Lafferty，J.（编辑）；Williams，C.K.I.（编辑）；Culotta，A.（编辑），链接预测的非参数潜在特征模型，第22期，1276-1284（2009）
[39] J.米切尔。；Lapata，M.，基于向量的语义合成模型，236-244（2008）
[40] Mooney，R.，《学习语义解析器：一个重要但尚未得到充分研究的问题》（2004年）
[41] 镍，M。；Tresp，V。；Kriegel，H.P。；Getoor，L.（编辑）；Scheffer，T.（编辑），多关系数据集体学习的三方模型，809-816（2011），纽约
[42] 镍，M。；Tresp，V。；Kriegel，H.P.，分解yago:链接数据的可伸缩机器学习，271-280（2012）·doi:10.1145/2187836.2187874
[43] Paccanaro，A.（2000年）。从关系数据中学习概念的分布式表示。IEEE知识与数据工程汇刊，13200。
[44] Paccanaro，A.和Hinton，G.（2001年）。使用线性关系嵌入学习概念的分布式表示。IEEE知识与数据工程汇刊，13232-244·电话：10.1109/69.917563
[45] Poon，H。；Domingos，P.，无监督语义分析，新加坡
[46] Poon，H。；多明戈斯，P.，《文本的非监督本体论归纳》，乌普萨拉，瑞典
[47] Robbins，H.和Monro，S.（1951年）。一种随机近似方法。《数理统计年鉴》，22400-407·Zbl 0054.05901号 ·doi:10.1214/aoms/1177729586
[48] Rummel，R.J.，《国家的维度：国家的属性和国家二元结构的行为》，1950-1965（1999）
[49] Shi，L。；Mihalcea，R.，《使用FrameNet和WordNet进行开放文本语义分析》，马萨诸塞州波士顿，美国·doi:10.3115/1614025.1614031
[50] Singla，P。；Domingos，P.，《马尔可夫逻辑实体解析》，572-582（2006），洛斯阿拉米托斯·doi:10.1109/ICDM.2006.65
[51] Smolensky，P.（1990）。张量积变量绑定和联结系统中符号结构的表示。人工智能，46（1），159-216·Zbl 0717.68095号 ·doi:10.1016/0004-3702（90）90007-M
[52] Socher，R。；Huval，B。；曼宁，C.D。；Ng，A.Y.，通过递归矩阵-向量空间的语义组合（2012）
[53] 斯佩尔，R。；哈瓦西，C。；Lieberman，H.，《类比空间：降低常识知识的维度》，第1期，548-553（2008），门罗公园
[54] Sutskever，I。；Salakhutdinov，R。；Tenenbaum，J.，《使用贝叶斯聚类张量因子分解建模关系数据》，第22期（2009年）
[55] Tucker，L.R.（1966年）。关于三模式因子分析的一些数学注释。《心理测量学》，31279-311·doi:10.1007/BF02289464
[56] van der Maaten，L.和Hinton，G.（2008）。使用t-sne可视化高维数据。机器学习研究杂志，92579-2605·Zbl 1225.68219号
[57] Weston，J.、Bengio，S.和Usunier，N.（2010年）。大规模图像注释：学习使用联合单词图像嵌入进行排序。机器学习，81，21-35·Zbl 1470.68197号 ·doi:10.1007/s10994-010-5198-3
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。