无灾难性遗忘的连续命名实体识别

张都镇,魏聪,嘉华洞,余雅涵,陈秀仪,张永刚,甄芳

摘要
连续命名实体识别（CNER）是一个新兴领域，它涉及通过顺序合并新实体类型来更新现有模型。然而，持续学习方法经常受到灾难性遗忘的严重影响。这一问题在CNER中更加严重，因为在每个步骤中，旧的实体类型从前面的步骤合并为非实体类型，导致了所谓的非实体类型的语义转移问题。在本文中，我们引入了一种合并的特征提取损失，它巧妙地在保留旧实体类型的知识和获取新实体类型的信息之间进行权衡，从而更有效地缓解了灾难性遗忘的问题。此外，我们为非实体类型开发了一个基于信任的伪标记，即使用旧模型预测实体类型以处理非实体类型的语义转移。根据伪标记过程，我们提出了一种自适应重加权类型平衡学习策略，以处理有偏类型分布问题。我们使用三个不同的数据集对十个CNER设置进行了综合实验。结果表明，我们的方法明显优于先前最先进的方法，在Micro和Macro F1分数方面分别取得了6.3%和8.0%的平均进步。
选集ID：
2023.emnlp-main.509年
体积：
2023年自然语言处理实证方法会议记录
月份：
十二月
年份：
2023
地址：
新加坡
编辑：
Houda Bouamor公司,胡安·皮诺,卡利卡-巴厘岛
地点：
EMNLP公司
SIG公司：
出版商：
计算语言学协会
注：
页：
8186–8197
语言：
网址：
https://aclantology.org/2023.emnlp-main.509
内政部：
10.18653/v1/2023.emnlp-最小值509
比比键：
引用（ACL）：
张都珍、魏聪、董家华、于亚翰、陈秀仪、张永刚和郑芳。2023无灾难性遗忘的连续命名实体识别.英寸2023年自然语言处理实证方法会议记录，第8186–8197页，新加坡。计算语言学协会。
引用（非正式）：
无灾难性遗忘的连续命名实体识别（Zhang等人，EMNLP 2023）
复制引文：
PDF格式：
https://aclantology.org/2023.emnlp-main.509.pdf
视频：
 https://aclantology.org/2023.emnlp-main.509.mp4网站
PDF格式 引用 搜索 视频