实体类别增强的汽车领域嵌套命名实体识别

doi:10.11772/j.issn.1001-9081.2023020239

《计算机应用》唯一官方网站››2024,第44卷››问题（2）: 377-384.内政部：10.11772/j.issn.1001-9081.2023020239

• 人工智能 • 上一篇

实体类别增强的汽车领域嵌套命名实体识别

黄子麒,胡建鹏()

上海工程技术大学电子电气工程学院，上海 201620

收稿日期:2023-03-06 修回日期:2023-05-16 接受日期:2023-05-22 发布日期:2023-08-14 出版日期:2024-02-10
通讯作者:胡建鹏
作者简介:黄子麒（1997—），男，江西赣州人，硕士研究生，共因失效学生会员，主要研究方向：自然语言处理；
基金资助:
科技创新2030—“新一代人工智能”重大项目（2020AAA0109300）

汽车领域实体类别增强的嵌套命名实体识别

黄子棋,胡建鹏()

上海工程科技大学电气与电子工程学院，上海201620，中国

收到：2023-03-06 修订过的：2023-05-16 认可的：2023-05-22 在线：2023-08-14 出版：2024-02-10
联系人：胡建鹏
关于作者：黄子奇，1997年出生，硕士研究生。他的研究兴趣包括自然语言处理。
支持单位：
科技创新2030——“新一代人工智能”重大项目（2020AAA0109300）

摘要/摘要

摘要：

针对中文汽车领域实体抽取任务中对嵌套实体、长实体识别效果差的问题，提出一种实体类别增强的嵌套实体抽取（ECE-NER）模型。首先，基于特征融合编码，提高模型对领域实体边界的感知能力；然后，尾词识别模块利用多层感知机得到实体尾词集合；最后，前向边界识别模块基于义原构造的实体类别特征和自注意力机制得到实体类别增强的候选尾词表征，融合领域实体类别特征，利用双仿射编码器计算特定尾词和实体类型的实体跨度概率，从而确定命名实体。在某汽车企业生产线故障数据集、汽车工业故障抽取评测数据集CCL2022号和中文医学文本数据集智利2020上进行模型验证。实验结果表明，所提模型在前两个数据集上的实体识别一层楼值比序列标注模型（BERT+BiLSTM+CRF）、基于跨度的实体抽取模型（PURE（普林斯顿大学关系抽取）、SpERT（基于空间的实体和关系变换器）、4.1、1.8、1.6和9.0、5.4、7.3个百分点；在第一个数据集和第三个数据集中嵌套实体识别F1 PURE、SpERT模型相比提高了13.3、8.3个百分点和21.7、9.3个百分点，验证了所提模型在嵌套实体识别上的有效性。

关键词: 特征融合, 义原特征, 自注意力机制, 双仿射编码器, 中文嵌套命名实体识别

摘要：

针对中国汽车领域实体提取任务中嵌套实体和长实体识别能力差的问题，提出了一种实体类别增强的嵌套命名实体识别（ECE-NER）模型。首先，基于特征融合编码改进了模型对领域实体边界的感知。然后，使用尾词识别模块通过多层感知器获取实体尾词集。最后，基于语义构建的实体类别特征和自关注机制，使用前向边界识别模块获得候选尾词的实体类别增强实体表示。通过融合领域实体类别特征，使用biaffine编码器计算特定尾词的实体跨度概率，以确定命名实体。对汽车生产线的故障数据集、汽车行业的故障提取与评估数据集CCL2022和中文医学文本数据集CHIP2020进行了实验评估。前两个数据集的实验结果表明，ECE-NER模型与包括序列标记模型（BERT+BiLSTM+CRF）在内的基线模型相比，F1值分别增加了4.1、1.8、1.6个百分点和9.0、5.4、7.3个百分点以及基于span的实体提取模型（PURE（普林斯顿大学关系提取）、SpERT（基于span的图元和关系转换器））。特别是，与PURE和SpERT模型相比，ECE-NER模型使嵌套实体识别的F1值增加了13.3、8.3和21.7个百分点，在第一和第三个数据集中增加了9.3个百分点。实验结果验证了该模型在嵌套实体识别中的有效性。

关键词： 特征融合，义位特征，自动关注机制，双频编码器，中文嵌套命名实体识别

中图分类号:

TP391.1标准

黄子麒, 胡建鹏. 实体类别增强的汽车领域嵌套命名实体识别[J] ●●●●。计算机应用, 2024, 44(2): 377-384.

黄子奇，胡建鹏.实体类别增强的汽车领域嵌套命名实体识别[J]。计算机应用杂志，2024，44（2）：377-384。

图/表11

参考文献24

1	MIWA M，BANSAL M.基于序列和树结构的LSTM端到端关系提取〔C〕//计算语言学协会第54届年会论文集（第1卷：长篇论文）。斯特劳德斯堡：ACL2016： 1105-1116.10.18653/v1/p16-1105
2	HANIFAH A F，KUSUMANINGRUM R.印尼长短期记忆科学问答系统中的非事实答案选择〔J〕。Procedia计算机科学，2021，179： 736-746.10.1016/j.procs.2021.01.062
三	白涛，GE Y，郭S，等.基于网络的信息检索的增强型自然语言接口〔J〕。IEEE接入，2020，9： 4233-4241.10.1109/访问.2020.3048164
4	赵鹏飞，赵春江，吴华瑞，等. 基于BERT（误码率）的多特征融合农业命名实体识别［记者：。农业工程学报，2022，38（3）： 112-118.1975/j.issn.1002-6819.2022.03.013年10月10日
	赵鹏飞，赵春杰，吴海瑞，等.基于BERT的农业命名实体多特征融合识别〔J〕。中国农业工程学会学报，2022，38（3）： 112-118.1975/j.issn.1002-6819.2022.03.013年10月10日
5	刘文松，胡竹青，张锦辉，等. 基于文本特征增强的电力命名实体识别［记者：。电力系统自动化，2022，46（21）： 134-142.10.7500/AEPS20210323003
	刘文思，胡志强，张建华，等.基于增强文本特征的电力行业命名实体识别〔J〕。电力系统自动化，2022，46： 134-142.10.7500/AEPS20210323003
6	马建红，张炳斐，张少光，等. 基于主动MCNN-SCRF公司的新能源汽车命名实体识别［记者：。计算机工程与应用，2019，55（7）： 23-29.
	马建华，张伯发，张世光，等.基于主动MCNN-SCRF的新能源汽车命名实体识别〔J〕。计算机工程与应用，2019，55（7）： 23-29.
7	张永平. 汽车领域命名实体识别方法研究［D）。株洲：湖南工业大学，2016： 2-7.
	张永平.汽车领域命名实体识别方法研究〔D〕。株洲：湖南工业大学2016： 2-7.
8	BHATTACHARYA M，BHAT S，TRIPATHY S，et al.通过迁移学习和不对称三元训练提高生物医学命名实体识别[J]。Procedia计算机科学，2023，218： 2723-2733.2016年10月10日/j.procs.2023.01.244
9	DEVLIN J，CHANG M-W，LEE K，et al.BERT:用于语言理解的深度双向变换器预训练〔C〕//计算语言学协会北美分会2019年会议论文集：人类语言技术（第1卷：长篇和短篇论文）。斯特劳德斯堡：ACL2019： 4171-4186.10.18653/v1/n18-2
10	LU W，ROTH D.利用提及超图进行联合提及提取和分类〔C〕//2015年自然语言处理经验方法会议论文集。斯特劳德斯堡：ACL2015： 857-867.10.18653/v1/d15-1102
11	KATIYAR A，CARDIE C.嵌套命名实体识别重访〔C〕//计算语言学协会北美分会2018年会议记录：人类语言技术（第1卷：长篇论文）。斯特劳德斯堡：ACL2018： 861-871.10.18653/v1/n18-1079
12	LI H，YU L，LYU M，et al.多源异构军事实体识别的融合深度学习和机器学习[C]//2021 IEEE电信、光学和计算机科学会议论文集。皮斯卡塔韦：IEEE2021： 535-539.10.1109/tocs53301.2021.9688813
13	JU M，MIWA M，ANANIADOU S.嵌套命名实体识别的神经分层模型〔C〕//计算语言学协会北美分会2018年会议论文集：人类语言技术，第1卷（长篇论文）。斯特劳德斯堡：ACL2018： 1446-1459.10.18653/v1/n18-1131
14	SOHRAB M G，MIWA M.嵌套命名实体识别的深度穷举模型〔C〕//2018年自然语言处理经验方法会议论文集。斯特劳德斯堡：ACL2018： 2843-2849.10.18653/v1/d18-1309
15	钟Z，陈D.一种令人沮丧的简单实体和关系提取方法〔C〕//计算语言学协会北美分会2021年会议论文集：人类语言技术。斯特劳德斯堡：ACL2021： 50-61.10.18653/v1/2021.naacl-main.5
16	EBERTS M，ULGES A.基于跨度的联合实体和关系提取与变压器预训练〔EB/OL〕。（2019-09-17）［2023-03-06］. .10.18653/v1/2021.eacl-main.319
17	黄昌宁，李玉梅，朱晓丹. 中文文本标注规范（5.0版）〔EB/OL〕。微软亚洲研究院（2006-03-27）［2023-02-10］. .
	黄灿，李永明，朱晓东.中文文本标注规范（5.0版）〔EB/OL〕。微软亚洲研究院（2006-03-27）〔2023-02-10〕。
18	潘世杰，杨强.迁移学习研究〔J〕。IEEE知识数据工程汇刊，2010，22（10）： 1345-1359.10.1109/tkde.2009.191
19	MIKOLOV T，CHEN K，CORRADO G，等.向量空间中单词表示的有效估计〔EB/OL〕。（2013-01-16）［2023-02-01］. .10.3126/jiee.v3i1.34327
20	彭宁顿J，SOCHER R，MANNING C.GloVe:单词表示的全局向量〔C〕//2014年自然语言处理经验方法会议论文集。斯特劳德斯堡：ACL2014： 1532-1543.10.3115/v1/d14-1162
21	崔毅，CHE W，LIU T，等.汉语BERT的全词掩蔽预训练〔J〕。IEEE/ACM音频、语音和语言处理汇刊，2021，29： 3504-3514.10.1109吨/吨2021.3124365
22	CHE W，FENG Y，QIN L，等.N-LTP：一个开源的汉语神经语言技术平台[EB/OL]。（2021-09-23）［2023-03-06］. .10.18653/v1/2021.emnlp-demo.6
23	李霞，冯杰，孟毅，等.命名实体识别的统一MRC框架〔C〕//计算语言学协会第58届年会论文集。斯特劳德斯堡：ACL2020： 5849-5859.10.18653/v1/2020.acl-main.519
24	齐峰，杨灿，刘忠，等.开放式知网：一个基于语义的开放式词汇知识库[EB/OL]。（2019-01-28）［2023-03-06］. .10.18653/v1/p19-1571

实体类别	备注	实例	实体数
总和			12 204
设备单元	设备的名称、型号	主轴、夹爪	4 592
设备功能	设备的功能表述	切割、对刀	475
检修动作	检修设备的动作	更换、紧固	3 746
检修工具	对设备检修的工具	电脑、图纸	60
失效模式	设备的故障描述	电压异常	2 734
设备属性	设备理化属性	电压13.5伏	597

实体类别	备注	实例	实体数
总和			12 204
设备单元	设备的名称、型号	主轴、夹爪	4 592
设备功能	设备的功能表述	切割、对刀	475
检修动作	检修设备的动作	更换、紧固	3 746
检修工具	对设备检修的工具	电脑、图纸	60
失效模式	设备的故障描述	电压异常	2 734
设备属性	设备理化属性	电压13.5伏	597

数据集	训练集	验证集	测试集
CCL2022号	2 400	300	300
FDoAPL公司	2 543	318	318
智利2020	16 000	2 000	2 000

数据集	训练集	验证集	测试集
CCL2022号	2 400	300	300
FDoAPL公司	2 543	318	318
智利2020	16 000	2 000	2 000

模型参数	参数值	模型参数	参数值
批量大小	4	美国有线电视新闻网	8
学习率	5×10^-5	α	0.5
优化器	亚当W	γ	0.5
尾部阈值	0.6	最大跨度	11

实体类别增强的汽车领域嵌套命名实体识别

汽车领域实体类别增强的嵌套命名实体识别

RichHTML格式

PDF格式

可视化

摘要/摘要

引用本文

使用本文

图/表11

参考文献24

相关文章15

编辑推荐

韵律学

模型参数	参数值	模型参数	参数值
批量大小	4	中央电视台	8
学习率	5×10^-5	α	0.5
优化器	亚当W	γ	0.5
尾部阈值	0.6	最大跨度	11

模型	CCL2022号			FDoAPL公司
模型	P（P）	R（右）	一层楼	P（P）	R（右）	一层楼
序列标注	69.8	81.3	75.1	73	78.1	75.5
纯粹	78.8	78.5	78.7	75.6	80.1	77.8
斯佩特	72.8	81.2	76.8	77.3	78.7	78
本文模型	83.4	84.8	84.1	78.2	81.1	79.6

FDoAPL公司				智利2020
合计	12 204	1 346	11	合计	82 096	4 903	6
实体类型	实体数	嵌套实体		实体类型	实体数	嵌套实体
实体类型	实体数	数量	占比/%	实体类型	实体数	数量	占比/%
设备单元	4 592	845	18.4	生化需氧量	23 580	4 114	17.4
设备功能	475	82	17.3	数字化信息系统	20 778	229	1.1
检修动作	3 746	79	2.1	sym（对称）	16 399	2	0
检修工具	60	7	11.7	麦克风	2 492	23	0.9
失效模式	2 734	87	3.2	赞成的意见	8 389	58	0.6
性能表征	597	246	41.2	伊特	3 504	426	12.2
				dep（深度）	458	2	0.4
				德鲁伊	5 370	36	0.7
				等式	1 126	13	1.2

数据集	长度L（左）	实体数	F1（/%）
数据集	长度L（左）	实体数	纯粹	斯佩特	本文模型
FDoAPL公司	［1，5）	851	81.7	82.4	82.7
	［5，10）	327	71.5	64.2	74.1
	［10，+∞）	83	30.4	51.8	59.3
CCL2022	［1，5）	587	79.2	77.9	85.3
	［5，10）	116	70.7	70.5	75.3
	［10，+∞）	10	30.8	66.7	76.4
智利2020	［1，5）	5 052	67.1	74.2	77.3
	［5，10）	3 681	64.1	71.8	76.1
	［10，+∞）	666	17.6	24.3	31.7

消融模型	P（P）	R（右）	一层楼
消融模型	P（P）	R（右）	整体	嵌套实体	长度L（左）>10
ECE-NER公司	78.2	81.1	79.6	48.9	59.3
ECE-NER公司- 句法特征融合	77.6	80.4	79	48.6	58.7
ECE-NER公司- 实体特征构造	76.7	72.5	77.6	46.4	52.1
ECE-NER公司- 字符美国有线电视新闻网（CNN）	77.4	80.2	78.8	47.3	56.7

[1]	陈丽安, 过弋.融合个体偏差信息的文本情感分析模型[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(1): 145-151.
[2]	史含笑, 王雷春.结合LSTM公司和自注意力机制的图卷积网络短期电力负荷预测[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(1): 311-317.
[3]	朱志平, 杨燕, 王杰.基于场景图感知的跨模态图像描述模型[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(1): 58-64.
[4]	陈佳, 张鸿.基于特征增强和语义相关性匹配的图像文本检索方法[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(1): 16-23.
[5]	杨昊, 张轶.基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(9): 2727-2734.
[6]	袁国龙, 张玉金, 刘洋.基于残差反馈和自注意力的图像篡改取证网络[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(9): 2925-2931.
[7]	刘欢, 吴亮红, 张侣, 陈亮, 周博文, 张红强.基于特征双融合中心网的白细胞检测方法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(8): 2602-2610.
[8]	徐则林, 杨敏, 陈勐.融合空间和文本信息的兴趣点类别表征模型[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(8): 2456-2461.
[9]	李豆豆, 李汪根, 夏义春, 束阳, 高坤.基于特征交互与自适应融合的骨骼动作识别[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(8): 2581-2587.
[10]	梁美佳, 刘昕武, 胡晓鹏.基于改进YOLOv3型的列车运行环境图像小目标检测算法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(8): 2611-2618.
[11]	郑帅, 张晓龙, 邓鹤, 任宏伟.基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(7): 2303-2310.
[12]	张奕, 王真梅.图自动编码器上二阶段融合实现的环状RNA-预测[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(6): 1979-1986.
[13]	孙浩, 曹健, 李海生, 毛典辉.基于改进胶囊网络的会话型推荐模型[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(4): 1043-1049.
[14]	吕学强, 张煜楠, 韩晶, 崔运鹏, 李欢.融合边特征与注意力的表格结构识别模型[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(3): 752-758.
[15]	王萍, 陈楠, 鲁磊.基于场景先验及注意力引导的跌倒检测算法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(2): 529-535.

模型	FDoAPL公司			智利2020
模型	P（P）	R（右）	一层楼	P（P）	R（右）	一层楼
纯粹	68.3	24.1	35.6	63.2	11.3	19.1
快速反应	61.3	30.4	40.6	65.8	20.7	31.5
本文模型	67.1	38.5	48.9	72.4	28.4	40.8