面向时钟领域的BERT-LCRF命名实体识别方法

doi:10.3778/j.issn.1002-8331.2102-0110

计算机工程与应用››2022,第58卷››发行（18）: 218-226.内政部：10.3778/j.issn.1002-8331.2102-0110

面向时钟领域的BERT-LCRF系统命名实体识别方法

唐焕玲，王慧，隗昊，赵红磊，窦全胜，鲁明羽

1山东工商学院计算机科学与技术学院，山东烟台 264005
2山东工商学院信息与电子工程学院，山东烟台 264005
三。山东省高等学校协同创新中心：未来智能计算，山东烟台 264005
4山东省高校智能信息处理重点实验室（山东工商学院），山东烟台 264005
5.大连海事大学信息科学技术学院，辽宁大连 116026

出版日期:2022-09-15 发布日期:2022-09-15

面向时钟域的BERT-LCRF命名实体识别方法

唐欢玲、王辉、魏浩、赵洪磊、窦全生、卢明宇

1.山东工商大学计算机科学与技术学院，山东烟台，264005，中国
2.山东工商大学信息与电子工程学院，山东烟台，264005，中国
3.山东省高等学校创新中心：未来智能计算，山东烟台264005
4.山东省高校智能信息处理重点实验室（山东工商大学），中国山东省烟台市264005
5.大连海事大学信息科学与技术学院，大连，辽宁116026

在线：2022-09-15 出版：2022-09-15

摘要/摘要

摘要：命名实体识别是构建时钟领域知识图谱的关键步骤，然而目前时钟领域存在标注样本数量少等问题，导致面向时钟领域的命名实体识别精度不高。为此，利用预训练语言模型BERT（误码率）进行时钟领域文本的特征提取，利用线性链条件随机场（线性CRF）方法进行序列标注，提出了一种BERT-LCRF系统的命名实体识别模型。对比实验结果表明，该模型能够充分学习时钟领域的特征信息，提升序列标注精度，进而提升时钟领域的命名实体识别效果

关键词: 命名实体识别, 预训练语言模型, 条件随机场, 自注意力机制, 深度学习

摘要：命名实体识别是构建时钟域知识图的关键步骤。然而，当前的时钟域存在标记样本数量少等问题，导致时钟域中命名实体识别的准确性较低。为此，本文使用预训练语言模型BERT来提取时钟域中文本的特征，然后使用线性链条件随机场（linear-CRF）方法进行序列标记，并提出了一种BERT-LCRF命名实体识别模型。对比实验结果表明，该模型能够充分学习时钟域的特征信息，提高序列标注的准确性，进而提高时钟域命名实体识别的效果。

关键词： 命名实体识别，预培训语言模型，条件随机场，自动关注机制，深度学习

唐焕玲, 王慧, 隗昊, 赵红磊, 窦全胜, 鲁明羽. 面向时钟领域的BERT-LCRF系统命名实体识别方法[J] ●●●●。计算机工程与应用, 2022, 58(18): 218-226.

唐焕玲、王辉、魏浩、赵红雷、窦全胜、卢明玉。面向时钟域的BERT-LCRF命名实体识别方法[J]。计算机工程与应用，2022，58（18）：218-226。

参考文献

[1] ALFONSECA E，MANANDHAR S.通用命名实体识别和自动概念发现的无监督方法[C]//GeneralWordNet国际会议论文集，2002。
[2] SHINIAMA Y，SEKINE S.使用可比新闻文章命名实体发现[C]//第20届国际计算语言学会议，瑞士日内瓦，2004:848-853。
[3] ETZIONI O，CAFARELLA M，DOWNEY D，等.基于Web的无监督命名实体抽取：一项实验研究[J]。人工智能，2005165（1）：91-134。
[4] COLLINS M，SINGER Y.命名实体分类的非监督模型[C]//SIGDAT自然语言处理和超大语料库经验方法联合会议论文集，1999:100-110。
[5] COLLINS M.命名实体提取的排名算法：boosting和投票感知器[C]//第40届计算语言学协会年会论文集，2002:489-496。
[6] CUCERZAN S，YAROWSKY D.结合形态和上下文证据的独立于语言的命名实体识别[C]//自然语言处理和超大语料库实证方法SIGDAT联合会议论文集，2001:90-99。
[7] CUCCHIARELLI A，VELARDI P.使用句法和语义上下文证据的非监督命名实体识别[J]。计算语言学，2001,27（1）：123-131。
[8] 赵S.使用HMM模型识别生物医学文本中的命名实体[C]//生物医学自然语言处理及其应用联合研讨会论文集，2004:84-87。
[9] HABIB M S，KALITA J.可扩展生物医学命名实体识别：数据库支持的SVM方法研究[J]。国际生物信息学研究与应用杂志，2010,6（2）：191-208。
[10] MCCALLUM A，LI W.使用条件随机场、特征归纳和网络增强词典进行命名实体识别的早期结果[C]//HLT-NAACL第七届神经语言学习会议论文集，2003:188-191。
[11] HOCHREITER S，SCHMIDHUBER J.长短期记忆[J]。神经计算，1997,9（8）：1735-1780。
[12] 黄忠，徐伟，于凯.用于序列标记的双向LSTM-CRF模型[J].arXiv:1508.019912015。
[13] DEVLIN J，CHANG M W，LEE K，等.BERT：用于语言理解的深度双向变换器预训练[J].arXiv:1810.048052018。
[14] 李明扬，孔芳.融入自注意力机制的社交媒体命名实体识别[J] .执行报告(自然科学版），2019，59（6）：461-467.
李梅英，孔凤.社交媒体中命名实体识别的组合式自我关注机制[J]。清华大学学报（科技版），2019,59（6）：461-467。
[15] 李博，康晓东，张华丽，等.采用CRF转换器的中文电子病历命名实体识别[J] ●●●●。计算机工程与应用，2020，56（5）：153-159.
李斌，康晓东，张海良，等.基于Transformer-CRF的中文电子病历命名实体识别[J]。计算机工程与应用，2020,56（5）：153-159。
[16] 杨培，杨志豪，罗凌，等.基于注意机制的化学药物命名实体识别[J] ●●●●。计算机研究与发展，2018，55（7）：1548-1556.
杨鹏，杨振华，罗磊，等.基于注意的化合物和药物命名实体识别方法[J]。计算机研究与发展杂志，2018,55（7）：1548-1556。
[17] KURU O，CAN O A.CharNER:字符级命名实体识别[C]//COLING 2016年会议记录，第26届国际计算语言学会议：技术论文，日本大阪，2016:911-921。
[18] ZHANG Y，YANG J.使用格LSTM[C]//计算语言学协会第56届年会论文集（第1卷：长篇论文），2018:1554-1564。
[19] VASWANI A，SHAZEER N.注意就是你所需要的一切[C]//神经信息处理系统的进展30:2017年12月4日至2017年9月9日，美国加利福尼亚州长滩，2017:5998-6008。
[20] FORNEY G D.维特比算法[J]。IEEE学报，1973,61（3）：268-278。
[21] 刘伟童，刘培玉，刘文锋，等.基于互信息和邻接熵的新词发现算法[J] ●●●●。计算机应用研究，2019，36（5）：1293-1296.
刘文堂，刘培英，刘文芳，等.基于互信息和分支熵的新词发现算法[J]。计算机应用研究，2019,36（5）：1293-1296。

面向时钟领域的BERT-LCRF系统命名实体识别方法

面向时钟域的BERT-LCRF命名实体识别方法

PDF格式

可视化

摘要/摘要

引用本文

使用本文

参考文献

相关文章15

编辑推荐

韵律学

[1]	罗向龙, 郭凰, 廖聪, 韩静, 王立新.时空相关的短时交通流宽度学习预测模型[J] ●●●●。计算机工程与应用, 2022, 58(9): 181-186.
[2]	阿里木·赛买提, 斯拉吉艾合麦提·如则麦麦提, 麦合甫热提, 艾山·吾买尔, 吾守尔·斯拉木, 吐尔根·依不拉音.神经机器翻译面对句长敏感问题的研究[J] ●●●●。计算机工程与应用, 2022, 58(9): 195-200.
[3]	陈一潇, 阿里甫·库尔班, 林文龙, 袁旭.面向拥挤行人检测的CA-YOLOv5号机组[J] ●●●●。计算机工程与应用, 2022, 58(9): 238-245.
[4]	方义秋, 卢壮, 葛君伟.联合RMSE LSTM-CNN公司模型的股价预测[J] ●●●●。计算机工程与应用, 2022, 58(9): 294-302.
[5]	高广尚.深度学习推荐模型中的注意力机制研究综述[J] ●●●●。计算机工程与应用, 2022, 58(9): 9-18.
[6]	吉梦, 何清龙.AdaSVRG公司：自适应学习率加速SVRG公司[J] ●●●●。计算机工程与应用, 2022, 58(9): 83-90.
[7]	石颉, 袁晨翔, 丁飞, 孔维相.合成孔径雷达图像建筑物目标检测研究综述[J] ●●●●。计算机工程与应用, 2022, 58(8): 58-66.
[8]	熊风光, 张鑫, 韩燮, 况立群, 刘欢乐, 贾炅昊.改进的遥感图像语义分割研究[J] ●●●●。计算机工程与应用, 2022, 58(8): 185-190.
[9]	杨锦帆, 王晓强, 林浩, 李雷孝, 杨艳艳, 李科岑, 高静.深度学习中的单阶段车辆检测算法综述[J] ●●●●。计算机工程与应用, 2022, 58(7): 55-67.
[10]	赵丹丹, 黄德根, 孟佳娜, 谷丰, 张攀.多头注意力与字词融合的中文命名实体识别[J] ●●●●。计算机工程与应用, 2022, 58(7): 142-149.
[11]	王斌, 李昕.融合动态残差的多源域自适应算法研究[J] ●●●●。计算机工程与应用, 2022, 58(7): 162-166.
[12]	谭暑秋, 汤国放, 涂媛雅, 张建勋, 葛盼杰.教室监控下学生异常行为检测系统[J] ●●●●。计算机工程与应用, 2022, 58(7): 176-184.
[13]	张美玉, 刘跃辉, 侯向辉, 秦绪佳.基于卷积网络的灰度图像自动上色方法[J] ●●●●。计算机工程与应用, 2022, 58(7): 229-236.
[14]	张壮壮, 屈立成, 李翔, 张明皓, 李昭璐.基于时空卷积神经网络的数据缺失交通流预测[J] ●●●●。计算机工程与应用, 2022, 58(7): 259-265.
[15]	许杰, 祝玉坤, 邢春晓.基于深度强化学习的金融交易算法研究[J] ●●●●。计算机工程与应用, 2022, 58(7): 276-285.