结合知识图谱和文本层次结构的词义消歧方法

doi:10.3778/j.issn.1002-8331.2205-0400

摘要/摘要

摘要：当前带监督的词义消歧模型利用不同词义的注释信息和预训练的语言模型已经得到了较高的消歧结果。但是带监督的词义消歧模型的语义数据需要人工手动标注，使得带监督的词义消歧模型的扩展性较差。提出了一种结合知识图谱和文本层次结构的双编码器词义消歧方法，通过引入知识图谱中的结构化知识以补充更多的扩展语义信息，采用上下文输入文本的层次结构描述单词和短语的含义，并构筑基于BERT（误码率）的双编码器，引入图注意力机制来降低上下文输入文本中的噪声信息，从而提高短语形式目标词的消歧准确率，最终提高方法的消歧效果。通过在5个测试数据集中与最新的9个对比算法的对比，该方法的消歧准确率大都优于对比算法，取得了较好的效果。

关键词: 词义消歧, 知识图谱, BERT、，图注意力机制

摘要：现有的监督词义消歧模型利用不同词义的标注信息和预训练语言模型，取得了较高的消歧效果。然而，由于难以获取用于手动标注的语义数据，有监督的词义消歧模型的可扩展性较差。本文提出了一种结合知识图和文本层次结构的双编码器词义消歧方法，通过在知识图中引入结构化知识来补充更多扩展的语义信息，利用上下文输入文本的层次结构来描述单词和短语的含义，并构造了一种基于BERT的双编码器，引入图形注意网络来减少上下文输入文本中的噪声信息，从而提高短语形式目标词的消歧准确性，最终提高该方法的消歧效果。通过在五个测试数据集上与最新的九种比较算法进行比较，该方法的消歧精度大多优于比较算法，取得了较好的结果。

关键词： 词义消歧，知识图， BERT、，图形注意网络

曹渝昆, 金成坤, 唐艺嘉, 魏子越, 李云峰. 结合知识图谱和文本层次结构的词义消歧方法[J] ●●●●。计算机工程与应用, 2023, 59(14): 158-165.

曹玉坤、金成坤、唐一佳、魏子月、李云峰。结合知识图和文本层次结构的词义消歧[J]。计算机工程与应用，2023,59（14）：158-165。

参考文献

[1] NAVIGLI R.词义消歧：一项调查[J]。ACM计算调查，2009,41（2）：1-69。
[2] PILEHVAR M T，NAVIGLI R.一种用于最新词义消歧的大规模伪词评估框架[J]。计算语言学，2014,40（4）：837-881。
[3] LOUREIRO D，JORGE A.语言建模很有意义：通过WordNet传播表示，以实现全面的词义消歧[C]//计算语言学协会第57届年会会议记录，2019:5682-5691。
[4] 黄磊，孙C，邱X，等。GlossBERT:BERT用于基于光泽知识的词义消歧[C]//自然语言处理中的经验方法，2019:3509-3514。
[5] MENG F.基于图形和知识库的词义消歧[C]//第四届EAI机器人传感器网络国际会议。查姆：施普林格，2022:31-41。
[6] ALMOUSA M，BENLAMRI R，KHOURY R.一种新的基于WordNet知识图的词义消歧方法[J]。计算机语音与语言，2022,74:101337。
[7] MILLER G A，LEACOCK C，TENGI R，et al.A semantic concordance[C]//《人类语言技术：1993年3月21日至24日在新泽西州普莱恩斯博罗举行的研讨会论文集》。
[8] PRADHAN S，LOPER E，DLIGACH D，et al.Semeval-2007 task-17:英语词汇样本，SRL和所有单词[C]//第四届语义评估国际研讨会论文集（Semeval-2007），2007:87-92。
[9] SNYDER B，PALMER M.英语全词任务[C]//SENSEVAL-3论文集，第三届文本语义分析系统评价国际研讨会，2004:41-43。
[10] NAVIGLI R，JURGENS D，VANNELLA D.Semeval-2013任务12：多语种词义消歧[C]//第二届词汇和计算语义学联合会议（*SEM），第2卷：第七届语义评估国际研讨会会议记录（Semeval 2013），2013:222-231。
[11] MORO A，NAVIGLI R.Semeval-2015任务13：多语种全词语义消歧和实体链接[C]//第九届语义评估国际研讨会论文集（Semeval 2015），2015:288-297。
[12] 罗凤，刘涛，贺Z，等.利用光泽知识通过分层共同注意进行神经词义消歧[C]//《2018年自然语言处理实证方法会议论文集》，2018:1402-1411。
[13] 罗峰，刘涛，夏秋，等。将注释引入神经词义消歧[C]//计算语言学协会会议，2018:2473-2482。
[14] KUMAR S，JAT S，SAXENA K等。使用意义定义嵌入的零热点词义消歧[C]//计算语言学协会第57届年会论文集，2019:5670-5681。
[15] HADIWINOTO C，NG H T，GAN W C.使用预先训练的上下文化词语表征改进词义消歧[C]//2019年自然语言处理经验方法会议和第九届自然语言处理国际联合会议（EMNLP-IJCNLP）会议记录，2019:5297-5306。
[16] BLEVINS T，ZETTLEMOYER L.用注释输入的biencoders向下移动词义消歧的长尾[C]//计算协会第58届年会会议记录，2020:1006-1017。
[17] KENTON J D M W C，TOUTANOVA L K.BERT:用于语言理解的深层双向变压器预培训[C]//NAACL-HLT会议记录，2019:4171-4186。
[18] LAGLER K、SCHINDELEGGER M、B？HM J，等.GPT2:射电空间大地测量技术的经验倾斜延迟模型[J]。地球物理研究快报，2013,40（6）：1069-1073。