×

使用带条件随机场的时间卷积网络快速有效地识别生物医学命名实体。 (英语) Zbl 1467.92089号

摘要:生物医学命名实体识别(Bio-NER)是从生物医学文本中挖掘知识的前提。Bio-NER的最新模型大多基于双向长短期记忆(BiLSTM)和来自变压器(BERT)模型的双向编码器表示。然而,BiLSTM和BERT模型的计算量都非常大。为此,本文提出了一种具有条件随机场(TCN-CRF)层的时间卷积网络(TCN),用于Bio-NER。该模型使用TCN提取特征,然后由CRF解码以获得最终结果。我们通过融合不同大小的卷积核提取的特征来改进原始TCN模型,以提高Bio-NER的性能。我们将我们的模型与GENIA和CoNLL-2003数据集上的五个深度学习模型进行了比较。实验结果表明,我们的模型可以用更少的训练时间实现比较好的性能。已实现的代码已提供给研究社区。

MSC公司:

92 C50 医疗应用(通用)
68T05型 人工智能中的学习和自适应系统

软件:

单词2vec;手套
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] D.E.Rumelhart,G.E.Hinton,R.J.Williams,《通过反向传播错误学习表征》,《自然》,323(1986),533-536·兹比尔1369.68284
[2] S.Hochreiter,J.Schmidhuber,长短期记忆,神经计算。,9(1997),1735-1780页。
[3] Q.Wang,Y.Zhou,T.Ruan,Y.Xia,D.Gao,P.He,将字典整合到深层神经网络中,用于中国临床命名实体识别,J.Biomed。通知。,92 (2019), 103133.
[4] S.Bai,J.Z.Kolter,V.Koltun,《用于序列建模的通用卷积和递归网络的经验评估》,arXiv预印本arXiv,2018(2018),1803.01271。
[5] G.Zhou,J.Su,使用基于HMM的块标记器进行命名实体识别,计算语言学协会第40届年会论文集,2002年。可用
[6] J.Lafferty,A.Mccallum,F.Pereira,条件随机场:分段和标记序列数据的概率模型,第18届机器学习国际会议论文集,2001年。可用
[7] D.Lin,X.Wu,区分学习短语聚类,自然语言处理国际联合会议,1997年。可用
[8] A.Passos,V.Kumar,A.Mccallum,《命名实体解析的词汇注入短语嵌入》,arXiv预印本arXiv,2014(2014),1404.5367
[9] G.Luo,X.Huang,C.Lin,Z.Nie,联合实体识别和消歧,2015年自然语言处理实证方法会议论文集,2015年。可用
[10] B.Wang,Q.Zhang,X.Wei,Tabu Variable Neighborhood Search for Designing DNA Barcode,IEEE Trans。纳米生物。,19 (2020), 127-131.
[11] R.Collobert、J.Weston、L.Bottou,《自然语言处理(几乎)从头开始》。J.马赫。《学习研究》,12(2011),2493-2537·Zbl 1280.68161号
[12] 姚磊,刘浩,刘毅,黄德华,基于深度神经网络的生物医学命名实体识别,国际期刊混合信息。,8 (2015), 279-288.
[13] 吴彦,江明明,雷军,徐浩,利用深度神经网络进行中文临床文本命名实体识别,健康技术研究所。,216 (2015), 216-624.
[14] Z.Huang,W.Xu,K.Yu,用于序列标记的双向LSTM-CRF模型,arXiv prepintarXiv,2015(2015),1508.01991。
[15] G.Lample,M.Ballesteros,S.Subramanian,K.Kawakami,C.Dyer,命名实体识别的神经架构,计算语言学协会北美分会第十五届年会,arXiv预印本arXiv,2016(2016),1603.01360。
[16] J.P.C.Chiu,E.Nichols,双向LSTM-CNN命名实体识别,Trans。关联计算。语言学家。,4 (2016), 357-370.
[17] L.Li,L.Jin,Z.Jiang,基于扩展递归神经网络的生物医学命名实体识别,IEEE生物信息学和生物医学国际会议,2015年。可用
[18] M.Gridach,《生物医学命名实体识别的特征级神经网络》,J.Biomed。通知。,70(2017),85-91。
[19] 邱军,王庆,周瑜,快速准确识别具有残余膨胀卷积的中国临床命名实体,2018 IEEE生物信息学与生物医学国际会议,2018。可用
[20] L.Li,Y.Jiang,基于双通道和句子级阅读控制的生物医学命名实体识别,2017年IEEE生物信息学和生物医学国际会议(BIBM),2017年。可用
[21] G.Lin、S.Zhang、H.Lin,基于细粒度词表示的命名实体识别,J.Chin。通知。工艺。,32 (2018), 62-72.
[22] T.Mikolov,K.Chen,G.S.Corrado,向量空间中单词表示的有效估计,arXiv预印本arXiv,2013(2013),1301.3781。
[23] J.Pennington,R.Socher,C.D.Manning,《手套:单词表征的全球向量》,《2014年自然语言处理经验方法会议论文集》,2014年。可用
[24] T.J.巴西,因果卷积——微波频率下线性系统瞬态分析的新方法,IEEE Trans。微波理论技术,43(1995),315-323。
[25] A.V.Den Oord、S.Dieleman、H.Zen
[26] K.He,X.Zhang,S.Ren,图像识别的深度剩余学习,IEEE计算机视觉和模式识别会议论文集,2016年。可用
[27] J.Devlin、M.Chang、K.Lee、K.Toutanova
[28] J.Lee、W.Yoon、S.Kim、D.Kim、S.Jim、J.Kang
[29] A.Katiyar,C.Cardie,《重新审视嵌套命名实体识别》,计算语言学协会北美分会2018年会议记录:人类语言技术,2018年。可用
[30] 姚璐,刘浩,刘彦,李晓霞,安瓦尔,基于深度神经网络的生物医学命名实体识别,国际杂交信息技术。,8 (2015), 279-288.
[31] M.Ju,M.Miwa,S.Ananiadou,嵌套命名实体识别的神经分层模型,计算语言学协会北美分会2018年会议记录:人类语言技术,2018。可用
[32] E.Strubell,P.Verga,D.Belanger,A.McCallum,使用迭代扩张卷积快速准确地识别实体,arXiv预印本arXiv,2017(2017),1702.02098。
[33] X.Ma,E.Hovy,通过双向LSTM-CNNs-CRF的端到端序列标记,arXivprent arXiv,2016(2016),1603.01354。
[34] H.Zhao,C.Che,B.Jin,基于时间卷积网络的病毒蛋白识别框架,数学。Biosci公司。工程,16(2019),1709-1717·Zbl 1497.92188号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。