融合多特征及协同注意力的医学命名实体识别

doi:10.3778/j.issn.1002-8331.2211-0094

摘要/摘要

摘要：针对当前中文医疗命名实体识别中未融合医学领域文本独有的特征信息导致实体识别准确率无法有效提升的情况，及单注意力机制影响实体分类效果的问题，提出一种基于多特征融合和协同注意力机制的中文医疗命名实体识别方法。利用预训练模型得到原始医学文本的向量表示，再利用双向门控循环神经网络（比格鲁）获取字粒度的特征向量。结合医疗领域命名实体鲜明的部首特征，利用迭代膨胀卷积神经网络（IDCNN）提取部首级别的特征向量。使用协同注意力网络（共同关注网络）整合特征向量，生成<文字-部首>对的双相关特征，再利用条件随机场（通用报告格式）输出实体识别结果。实验结果表明，在CCKS公司数据集上，相较于其他的实体识别模型能取得更高的准确率、召回率和一层楼值，同时虽然增加了识别模型的复杂程度，但性能并没有明显的降低。

关键词: 中文医学文本, 命名实体识别, 多特征融合, 协同注意力机制, 比特币

摘要：针对当前中医命名实体识别中由于缺乏融合医学文本的独特特征信息而无法有效提高实体识别准确性的情况，以及单一注意机制影响实体分类有效性的问题，提出了一种基于多特征融合和协同注意机制的中医命名实体识别方法。首先利用预训练模型获得原始医学文本的向量表示，然后利用双向选通递归神经网络（BiGRU）获得单词粒度的特征向量。其次，结合医学命名实体的独特根特征，利用迭代膨胀卷积神经网络（IDCNN）提取根级特征向量。最后，使用共同注意网络集成医学向量特征，生成<特征-根>对的双重相关特征，然后使用条件随机场（CRF）输出实体识别结果。实验结果表明，与其他实体识别模型相比，它可以在CCKS数据集上实现更高的准确性、召回率和F1值。同时，虽然识别模型的复杂度增加了，但性能并没有显著下降。

关键词： 中文医学文本，名称实体识别，多特征融合，共同注意机制，变压器的双向编码器表示（BERT）

刘歆宁. 融合多特征及协同注意力的医学命名实体识别[J] ●●●●。计算机工程与应用, 2024, 60(6): 188-198.

刘新宁。基于多特征和协同注意的医学命名实体识别[J]。计算机工程与应用，2024，60（6）：188-198。

参考文献

[1] XU K，YANG Z G，KANG P P，et al.基于文档级注意力的BiLSTM CRF结合疾病字典进行疾病命名实体识别[J]。生物与医学中的计算机，2019，108:122-132。
[2] SOUZA F，NOGUEIRA R，LOTUFO R D，et al.使用BERT-CRF识别葡萄牙语命名实体[J].arXiv:1909.106492019。
[3] 张毅，杨J.使用格LSTM[C]//56届计算语言学协会年会，2018年。
[4] HUANG Z，WEI X，KAI Y.用于序列标记的双向LSTM-CRF模型[EB/OL]。[2021-04-05].https://arxiv。org/pdf/1508.01991.pdf。
[5] 曹春萍, 关鹏举. 基于E-CNN和BLSTM-CRF的临床文本命名实体识别[J] ●●●●。计算机应用研究, 2019, 36(12): 3748-3751.
CAO C P，GUAN P J.基于E-CNN和BLSTM-CRF的临床文本命名实体识别[J]。计算机应用研究，2019，36（12）：3748-3751。
[6] WU H，LV L，YU B H。基于迁移学习和BiLSTM-CRF的中文命名实体识别[J]。中国计算机系统杂志，2019，40（6）：1142-1147。
[7] 李毅，杜国德，向毅，等。基于领域特定知识的动态嵌入中文临床命名实体识别[J]。生物医学信息学杂志，2020，106（C）：103435。
[8] 许永X，黄海英，冯C，等.一种用于嵌套命名实体识别的有监督多头自关注网络[C]//第35届AAAI人工智能会议论文集，第33届人工智能创新应用会议，第11届人工智能教育进展研讨会，2月2-9日，2021门罗公园：AAAI，2021:14185-14193。
[9] 罗熹, 夏先运, 安莹, 等.结合多头自注意力机制与BiLSTM-CRF公司的中文临床实体识别[J] 《南方日报》，2021，48（4）：45-55。
罗X，夏X Y，安Y，等.中国CNER与多头自我关注和BiLSTM-CRF的结合[J]。湖南大学学报（自然科学版），2021，48（4）：45-55。
[10] 张世豪, 杜圣东, 贾真, 等.基于深度神经网络和自注意力机制的医学实体关系抽取[J] .阿联酋，2021，48（10）：77-84。
张世和，杜世德，贾泽，等。基于深度神经网络和自关注机制的医学实体关系提取[J]。计算机科学，2021，48（10）：77-84。
[11] 陈曦，张恩，李磊，等.Lightner：一种针对低资源NER的轻量级生成框架[J]。arXiv:2109.007202021年。
[12] 侯旭东, 滕飞, 张艺.基于深度自编码的医疗命名实体识别模型[J] .2022，42（9）：2686-2692。
HOU X D，TENG F，ZHANG Y.基于深度自动编码的医学命名实体识别模型[J]。计算机应用杂志，2022，42（9）：2686-2692。
[13] 巩敦卫, 张永凯, 郭一楠, 等.融合多特征嵌入与注意力机制的中文电子病历命名实体识别[J] ●●●●。工程科学学报, 2021, 43(9):1190-1196.
龚德伟，张永康，郭永恩，等.基于多特征嵌入和注意机制的中文电子病历命名实体识别[J]。中国工程学报，2021，43（9）：1190-1196。
[14] 温S，曾B，廖伟.基于预训练语言模型的中药说明书命名实体识别[C]//2021年第三届国际自然语言处理会议，2021:139-144。
[15] DEVLIN J，CHANG M W，LEE K，et al.Bert:语言理解深度双向转换器的预训练[C]//计算语言学协会北美分会2019年会议论文集：人类语言技术（NAACL）。宾夕法尼亚州斯特劳德斯堡：计算语言学协会（ACL），2018:4171-4186。
[16] LEE J，YOON W，KIM S，等.生物医学文本挖掘的预训练生物医学语言表示模型[J]。生物信息学，2020，36（4）：1234-1240。
[17] 黄梅根, 刘佳乐, 刘川.基于BERT（误码率）的中文多关系抽取方法研究[J] ●●●●。计算机工程与应用, 2021, 57(21):234-240.
黄美庚，刘继立，刘春红。改进BERT中文多关系提取方法的研究[J]。计算机工程与应用，2021，57（21）：234-240。
[18] NASEEM U，KHUSHI M，REDDY V，et al.BioALBERT:一种简单有效的生物医学命名实体识别预训练语言模型[C]//2021年神经网络国际联合会议论文集，深圳，2021年7月18-22日。皮斯卡塔韦：IEEE，2021:1-7。
[19] 甘泽，李泽，张斌，等。增强文本和标签：提高医学实体提取泛化能力的组合策略[C]//中国知识图与语义计算会议。新加坡：Springer，2021:92-101。
[20] 拉西米·L，向云，谢泽，等.Med-BERT：用于疾病预测的大规模结构化电子健康记录预处理上下文嵌入[J]。NPJ数字医学，2021，4（1）：1-13。
[21]马锐，周X，GUI T，等.少快照NER的无模板快速调整[J]。arXiv:2109.135322021年。
[22]CHEN X，XU L，LIU Z，等.字符和单词嵌入的联合学习[C]//第24届国际人工智能联合会议论文集，2015:1236-1242。
[23]刘玉英，钟振强，CHE C，等.基于知识图的带剩余连接和负抽样的建议[J]。基于知识的系统，2022，258。
[24]崔永明，CHE W X，LIU T，等.汉语伯特的全词掩蔽预训练[J]。IEEE/ACM音频、语音和语言处理汇刊，2021年，29:3504-3514。
[25[STRUBELL E，VERGA P，BELANGER D等。迭代扩张卷积的快速准确实体识别[C]//2017年自然语言处理经验方法会议记录，哥本哈根，2017年9月9日至11日。斯特劳德斯堡：ACL，2017:2670-2680。