融合交互注意力网络的实体和关系联合抽取模型

doi:10.3778/j.issn.1002-8331.2301-0154

摘要/摘要

摘要：实体关系三元组的抽取效果直接影响后期知识图谱构建的质量，而传统流水线式和联合式抽取的模型，并没有对句子级别和关系级别的语义特征进行有效建模，从而导致模型性能的缺失。为此，提出一种融合句子级别和关系级别的交互注意力网络的实体和关系联合抽取模型瑞安该模型通过交互注意力网络来学习句子级别和关系级别的高阶语义关联，增强句子和关系之间的交互，辅助模型进行抽取决策。在构建的中文旅游数据集（TDDS）精度、召回和F1性能0.872、0.760和0.812其性能均优于其他对比模型；为了进一步验证该模型在英文联合抽取上的性能，在公开英文数据集纽约时报和Webnlg上进行实验，该模型的一层楼值相比基线模型RSAN公司模型分别提高了0.014和0.013，并且该模型在重叠三元组的分析实验也均取得了优于基线模型的性能且更稳定。

关键词: 交互注意力网络, 句子级别, 关系级别, 实体和关系联合抽取, 注意力机制, 重叠三元组

摘要：实体关系三元组提取效果直接影响后期知识图的构建。传统的流水线和联合提取模型无法在句子级和关系级有效地对语义特征进行建模，导致模型性能不足。为此，提出了一种融合句子级和关系级语义特征的联合实体和关系抽取模型RSIAN，它通过交互式注意网络学习句子级和关系级的高阶语义关联，以增强句子和关系之间的交互，并协助模型进行提取决策。本文构建的中国旅游数据集（TDDS）的精度、召回率和F1值分别为0.872、0.760和0.812，均优于当前主流模型。为了进一步验证该模型在英语联合提取中的性能，在公开的英语数据集NYT和Webnlg上进行了实验。与基线RSAN模型相比，该模型的F1值分别增加了0.014和0.013，并且在重叠三元组的分析实验中，该模型也比基线模型取得了更好的性能。

关键词： 交互式注意力网络，句子级别，关系层面，实体和关系的联合提取模型，注意机制，重叠三元组

郝小芳, 张超群, 李晓翔, 王大睿. 融合交互注意力网络的实体和关系联合抽取模型[J] ●●●●。计算机工程与应用, 2024, 60(8): 156-164.

郝晓芳，张朝群，李晓祥，王大瑞。基于交互注意的联合实体关系提取模型[J]。计算机工程与应用，2024,60（8）：156-164。

参考文献

[1] YEE S C，DAN R.利用句法语义结构进行关系抽取[C]//计算语言学协会年会论文集：人类语言技术，2011:551-560。
[2] DIEDERIK P K，JIMMY B.Adam：一种随机优化方法[J]。arXiv:1412.69802014年。
[3] 李华，吴旭，李忠，等。一种基于位置和语义特征的中文命名实体关系提取方法[J]。应用情报，2013，38（1）：1-15。
[4] MAKOTO M，YUTAKA S.用表表示建模联合实体和关系抽取[C]//自然语言处理经验方法会议论文集，2014:1858-1869。
[5] 周鹏，郑S，徐杰，等.基于混合神经网络的多重关系和实体联合提取[C]//基于自然标注大数据的中国计算语言学与自然语言处理学报，2017:135-146。
[6] 乔斌，邹Z，黄毅，等.基于BERT的实体和关系抽取联合模型[J]。神经计算与应用，2022，34（5）：3471-3481。
[7] 肖立中, 臧中兴, 宋赛赛. 融合自注意力的关系抽取级联标记框架研究[J] ●●●●。计算机工程与应用, 2023, 59(3): 77-83.
肖立中，臧志X，宋素生，用于自关注关系抽取的级联标记框架研究[J]。计算机工程与应用，2023,59（3）：77-83。
[8] 雷景生, 剌凯俊, 杨胜英, 等. 基于上下文语义增强的实体关系联合抽取[J] .2023年，43（5）：1438-1444。
李俊生，CI K J，YANG S Y，等，基于上下文语义增强的联合实体和关系抽取[J]。计算机应用杂志，2023，43（5）：1438-1444。
[9] 何松泽, 王婷, 梁佳莹, 等.基于自注意力机制模拟实体信息的实体关系抽取[J] ●●●●。计算机系统应用, 2023, 32(2): 364-370.
何世忠，王涛，梁建英，等.基于自关注机制的实体信息实体关系提取仿真[J]。计算机系统与应用，2023，32（2）：364-370。
[10] 曾晓荣，曾德杰，何思哲，等.基于复制机制的端到端神经模型提取关系事实[C]//计算语言学协会年会论文集，2018:506-514。
[11] YUAN Y，ZHOU X，PAN S，et al.用于联合实体和关系提取的特定关系注意力网络[C]//国际人工智能联合会议论文集，2020:4054-4060。
[12] LAI T，CHENG L，WANG D，等.RMAN：用于实体和关系联合提取的关系型多头部注意神经网络[J]。应用情报，2022，52（3）：3132-3142。
[13] ZELENKO D，AONE C，RICHARDELLA A.关系抽取的核方法[J]。机器学习研究杂志，2003，3:1083-1106。
[14] MINTZ M，BILLS S，SNOW R，et al.无标记数据关系提取的远程监控[C]//ACL第47届年会和AFNLP第四届国际自然语言处理联合会议论文集，2009:1003-2011。
[15] GORMLEY M R，YU M，DREDZE M。使用特征丰富的组合嵌入模型改进关系提取[C]//自然语言处理实证方法会议论文集，2015:1774-1784。
[16] 郑Z，CHEN D.一种令人沮丧的简单实体和关系提取方法[C]//计算语言学协会北美分会会议记录：人类语言技术，2021:50-61。
[17] MIWA M，SASAKI Y.用表表示建模联合实体和关系抽取[C]//自然语言处理经验方法会议论文集，2014:1858-1869。
[18] REN X，WU Z，HE W，et al.CoType:类型实体的联合提取以及与知识库的关系[C]//《国际万维网会议录》，2017:10105-1024。
[19] MIWA M，BANSAL M.基于序列和树结构的LSTM端到端关系提取[C]//计算语言学协会年会论文集，2016:1105-1116。
[20] KATIYAR A，CARDIE C.《站在肢体上：没有依赖树的实体提及和关系的联合提取》[C]//计算语言学协会年会论文集，2017:917-928。
[21]ZHENG S，WANG F，BAO H，等.基于新型标记方案的实体和关系联合提取[C]//计算语言学协会年会论文集，2017:1227-1236。
[22]FU T J，LI P H，MA W Y.GraphRel:将文本建模为关系图，用于联合实体和关系提取[C]//计算语言学协会第57届年会论文集，2019:1409-1418。
[23]洪毅，刘毅，杨斯，等.基于关系软件关注度的图卷积网络端到端关系提取改进[J]。IEEE接入，2020，8:51315-51323。
[24]TAKANOBU R，ZHANG T，LIU J，et al.基于强化学习的关系提取层次框架[C]//AAAI人工智能会议论文集，2019:7072-7079。
[25]FEI H，REN Y，JI D.边界和边的再思考：用于重叠实体关系提取的端到端神经模型[J]。信息处理与管理，2020，57（6）：102311。
[26]NAYAK T，NG H T.用于联合实体和关系提取的编码器-解码器架构的有效建模[C]//AAAI人工智能会议论文集，2020：8528-8535。
[27]于波，张泽，舒X，等.基于新型分解策略的实体和关系联合提取[C]//欧洲人工智能会议论文集，2020：2282-2289。
[28]WEI M，XU Z，HU J.基于BiLSTM和注意机制的实体关系提取[C]//人工智能与信息系统国际会议论文集，2021:1-5。
[29] 常思杰, 林浩田, 江静.融合双阶段解码的实体关系联合抽取方法[J] ●●●●。计算机工程与应用, 2023, 59(20): 138-146.
张世杰，林海涛，蒋J.基于两阶段解码的联合实体关系提取[J]。计算机工程与应用，2023,59（20）：138-146。
[30] 陈赟, 古丽拉·阿东别克, 马雅静.旅游领域实体和关系联合抽取方法研究[J] ●●●●。计算机工程与应用, 2022, 58(18): 284-296.
陈毅，古丽拉A，马英杰.旅游领域实体与关系联合提取方法研究[J]。计算机工程与应用，2022，58（18）：284-296。
[31]WEI Z，SU J，WANG Y，et al.一种新的用于关系三元组提取的级联二进制标记框架[C]//计算语言学协会年会论文集，2020：1476-1488。
[32]CLAIRE G，ANASTASIA S，SHASHI N，et al.为NLG微型人建立训练语料库[C]//计算语言学协会年会论文集，2017:179-188。