×

分布形式语义。 (英语) Zbl 1487.68239号

摘要:自然语言语义学最近试图将形式方法和分布方法的互补优势结合起来。然而,考虑到这些方法背后的根本不同的“代表性货币”——世界模型与语言共现——它们的统一被证明极为困难。这里,我们定义了分布式形式语义,它将分布式集成到形式模型级别的形式语义系统中。这种方法提供了概率的分布式意义表示,这些表示具有内在的组合性,并且自然地捕获了基本的语义概念,如量化和蕴涵。此外,我们还展示了这些表示的概率性质是如何允许概率推理的,以及“信息”的信息理论概念(以熵和惊奇度量)是如何从中自然衍生出来的。最后,我们说明了如何使用递归神经网络模型从语言输入中逐步推导出意义表征,以及由此产生的增量语义构建过程如何直观地捕捉到关键的语义现象,包括否定、预设和回指。

MSC公司:

68T50型 自然语言处理
68问题55 计算理论中的语义学
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Frege,G.,Begriffsschrift,eine der arithmetischen nachgebildete Formelsprache des reinen Denkens(1879),内伯特
[2] 戴维森,D.,《真理与意义,综合》,17,1,304-323(1976)
[3] Kamp,H。;Reyle,U.,《从话语到逻辑:自然语言的模式论语义导论、形式逻辑和话语表示理论》(1993),Kluwer:Kluwer-Dordrecht
[4] 特尼,P.D。;Pantel,P.,《从频率到意义:语义的向量空间模型》,J.Artif。智力。研究,37,141-188(2010)·Zbl 1185.68765号
[5] Erk,K.,《词义和短语意义的向量空间模型:调查》,语言语言学家。罗盘,6,10,635-653(2012)
[6] Clark,S.,词汇意义的向量空间模型,(Lappin,S.;Fox,C.,《当代语义理论手册》(2015),威利在线图书馆),493-522
[7] Lenci,A.,词义分布模型,《语言学年鉴》。,4, 151-171 (2018)
[8] Landauer,T.K。;Dumais,S.T.,柏拉图问题的解决方案:知识的获取、归纳和表征的潜在语义分析理论,心理学。修订版,104、2、211-240(1997)
[9] Boleda,G。;Herbelot,A.,《形式分布语义学:特刊导论》,计算。语言学家。,42, 4, 619-635 (2016)
[10] J.米切尔。;Lapata,M.,《语义分布模型中的组合》,认知。科学。,34, 8, 1388-1429 (2010)
[11] 巴罗尼,M。;Zamparelli,R.,名词是向量,形容词是矩阵:表示语义空间中的形容词-名词结构,(2010年自然语言处理经验方法会议论文集,计算语言学协会),1183-1193
[12] Zanzotto,F.M。;Korkontzelos,I。;费卢奇,F。;Manandhar,S.,《估计组合分布语义的线性模型》,(2010年第23届国际计算语言学会议论文集,计算语言学协会),1263-1271
[13] 科克,M.S.B。;Clark,S.,《意义组合分布模型的数学基础》(Lambek Festschrift,《语言分析》,第36卷(2011年)),第345-384页
[14] Socher,R。;Huval,B。;曼宁,C.D。;Ng,A.Y.,通过递归矩阵向量空间的语义组合,(2012年自然语言处理和计算自然语言学习经验方法联合会议论文集(2012),计算语言学协会),1201-1211
[15] 巴罗尼,M。;Bernardi,R。;Zamparelli,R.,《空间中的弗雷格:合成分布语义学程序》,《语言学家》。发行日期:。技术语言。,9, 241-346 (2014)
[16] Grefenstette,E。;Sadrzadeh,M.,意义的分类成分分布模型的具体模型和实证评估,计算。语言学家。,41, 1, 71-118 (2015)
[17] 里梅尔,L。;梅拉德,J。;Polajnar,T。;Clark,S.,Relpron:合成分布语义的相对子句评估数据集,计算。语言学家。,42, 4, 661-701 (2016)
[18] Vecchi,E.M。;马雷利,M。;赞帕雷利,R。;Baroni,M.,《辛辣形容词和名词驴子:利用分布空间中的组合性捕捉语义偏差》,Cogn。科学。,41, 1, 102-136 (2017)
[19] 布莱科,W。;Lapata,M.,《语义合成中基于向量的表示的比较》,(2012年自然语言处理和计算自然语言学习经验方法联合会议论文集(2012)),546-556
[20] 加勒特,D。;Erk,K。;Mooney,R.,连接逻辑形式和向量空间词汇语义的正式方法,(Computing Measure(2014),Springer),27-48
[21] Asher,N。;Van de Cruys,T。;Bride,A。;Abrusán,M.,《整合类型理论和分布语义学:形容词无义成分的案例研究》,计算。语言学家。,42, 4, 703-725 (2016)
[22] 贝尔塔吉,I。;滚筒,S。;Cheng,P。;Erk,K。;Mooney,R.J.,《用逻辑和分配模型的组合表示意义》,《计算》。语言学家。,42, 4, 763-808 (2016)
[23] Chersoni,E。;Blache,P。;Lenci,A.,《走向语义复杂性的分布模型》,(计算语言学与语言复杂性研讨会论文集(2016年),计算语言学协会:计算语言学协会,宾夕法尼亚州斯特鲁兹堡),168-177
[24] Golden,R.M。;Rumelhart,D.E.,故事理解和回忆的并行分布式处理模型,话语过程。,16, 3, 203-237 (1993)
[25] Frank,S.L。;科彭,M。;诺德曼,L.G.M。;Vonk,W.,《故事理解中基于知识的推理建模》,Cogn。科学。,27, 6, 875-910 (2003)
[26] 新泽西州Venhuizen。;亨德里克斯,P。;克罗克,M.W。;Brouwer,H.,分布式形式语义框架,(Iemhoff,R.;Moortgat,M.;de Queiroz,R.,《逻辑、语言、信息和计算》(2019),Springer:Springer Berlin,Heidelberg),633-646·Zbl 1487.68238号
[27] Firth,J.R.,《语言学理论概要》,1930-1955,(语言分析研究(1957),语言学会:牛津语言学会)
[28] 新泽西州Venhuizen。;克罗克,M.W。;Brouwer,H.,《基于期望的理解:建模世界知识和语言经验的交互作用》,《话语过程》。,56, 3, 229-255 (2019)
[29] 新泽西州Venhuizen。;克罗克,M.W。;Brouwer,H.,语言理解中的语义熵,熵,21,12,1159(2019)
[30] Carnap,R.,《意义和必要性》(1947),芝加哥大学出版社:芝加哥大学出版社·Zbl 0034.00106号
[31] Frank,S.L。;哈塞拉格,W.F.G。;van Rooij,I.,《联结主义语义系统学》,《认知》,第110、3、358-379页(2009年)
[32] 理查森,M。;多明戈斯,P.,马尔可夫逻辑网络,马赫。学习。,62, 1-2, 107-136 (2006) ·兹比尔1470.68221
[33] Shannon,C.E.,《通信数学理论》,贝尔系统。《技术期刊》,27,3,379-423(1948)·Zbl 1154.94303号
[34] Hale,J.T.,句子其余部分的不确定性,Cogn。科学。,30, 4, 643-672 (2006)
[35] Hale,J.T.,《作为心理语言学模型的概率厄利解析器》,(计算语言学协会语言技术北美分会第二次会议记录(2001年),计算语言学协会:计算语言学协会斯特鲁兹堡,宾夕法尼亚州),1-8
[36] Levy,R.,基于期望的句法理解,认知,106,3,1126-1177(2008)
[37] Elman,J.L.,《发现时间中的结构》,Cogn。科学。,14, 2, 179-211 (1990)
[38] Rohde,D.L.T.,句子理解和生成的连接主义模型(2002),卡内基梅隆大学,博士论文
[39] 新泽西州文惠岑。;Bos,J。;亨德里克斯,P。;Brouwer,H.,《信息结构的话语语义学》,J.Semant。,35, 1, 127-169 (2018)
[40] 斯特劳森,P.F.,《论引用,思维》,59,235,320-344(1950)
[41] Kasher,A。;Gabbay,D.M.,《特定和非特定不定表达的语义和语用》,Theor。语言学家。,3, 1-3, 145-190 (1976)
[42] Geurts,B.,《特定的不确定性、预设和范围》,(Bäuerle,R.;Reyle,U.;Zimmermann,T.E.,《预设和话语:向汉斯·坎普提供的文章》,《预设与话语:向汉斯·坎普提供的论文》,Emerald,Bingley(2010),125-158
[43] 呃,K.,当你知道鳄鱼的同伴时,你对它了解多少?,塞芒。布拉马特。,9, 17, 1-63 (2016)
[44] Brouwer,H。;克罗克,M.W。;新泽西州Venhuizen。;Hoeks,J.C.J.,语言处理中N400和P600的神经计算模型,Cogn。科学。,41, 1318-1352 (2017)
[45] Brouwer,H。;Delogu,F。;新泽西州Venhuizen。;Crocker,M.W.,《语言理解中惊讶的神经行为相关性:神经计算模型》,Front。精神病。(2021)
[46] 本德,E.M。;拉斯卡里德斯,A.,《自然语言处理的语言基础II:语义学和语用学的100个要素》,《人类语言技术综合讲座》,第12卷(2019年),摩根和克莱普尔出版社
[47] 帕尔默,M。;吉尔迪,D。;Kingsbury,P.,《命题库:语义角色注释语料库》,计算。语言学家。,31, 1, 71-106 (2005)
[48] 贝克,C.F。;菲尔莫尔,C.J。;Lowe,J.B.,伯克利框架网项目,(计算语言学协会第36届年会和第17届国际计算语言学会议论文集,第1卷(1998年),计算语言学协会),86-90
[49] Bos,J。;巴兹利五世。;Evang,K。;新泽西州Venhuizen。;Bjerva,J.,《格罗宁根词库》(The Groningen mean bank)(Ide,N.;Pustejovsky,J.《语言注释手册》(2017),施普林格:施普林格荷兰,多德雷赫特),463-496
[50] 鲍曼,S.R。;安吉利,G。;波茨,C。;Manning,C.D.,《学习自然语言推理的大型注释语料库》,(《2015年自然语言处理经验方法会议论文集》,《2015年天然语言处理实证方法会议论文录》,EMNLP(2015),计算语言学协会)
[51] Wanzare,L.D。;Zarcone,A。;Thater,S。;Pinkal,M.,DeScript:一个用于获取高质量脚本知识的众包语料库(语言资源与评估国际会议(2016))
[52] 沙克,R.C。;Abelson,R.P.,《脚本、计划、目标和理解:人类知识结构调查》(1977年),劳伦斯·埃尔鲍姆协会:劳伦斯·埃尔鲍姆协会,新泽西州希尔斯代尔·Zbl 0414.68066号
[53] Calvillo,J。;Brouwer,H。;克罗克,M.W.,《语言生产中的联结主义语义系统》(Papafragou,A.;Grodner,D.;Mirman,D.;Trueswell,J.C.,《第38届认知年会论文集》(2016),科学学会:德克萨斯州奥斯汀科学社会),2555-3560
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。