对现有端到端实体链接系统的公正深入评估

汉娜·巴斯特,马蒂亚斯·赫特尔,娜塔莉·普拉奇

摘要
对实体链接系统的现有评估通常很少说明系统将如何为特定应用程序执行。这有两个根本原因。一是许多评估只使用聚合度量（如精确度、召回率和F1得分），没有详细的错误分析或更仔细地查看结果。另一个是，所有广泛使用的基准都有很强的偏见和工件，特别是：对命名实体的强烈关注，对实体提及的其他内容的不明确或缺失的规范，对歧义的处理不当，以及对某些类型实体的过度或低估。我们对各种现有的端到端实体链接器进行了更有意义和公平的深入评估。我们描述了它们的优缺点，并报告了再现性方面的情况。我们评估的详细结果可以通过以下方式进行检查https://elevant.cs.uni-freiburg.de/emnlp2023。我们的评估基于几个广泛使用的基准，这些基准在不同程度上反映了上述问题，以及两个解决上述问题的新基准。新的基准可以在下面找到https://github.com/ad-freiburg/fair-entity-linking-bequicks。
选集ID：
2023.emnlp-main.411年
体积：
2023年自然语言处理实证方法会议记录
月份：
十二月
年份：
2023
地址：
新加坡
编辑：
Houda Bouamor公司,胡安·皮诺,卡利卡-巴厘岛
地点：
EMNLP公司
信号：
出版商：
计算语言学协会
注：
页：
6659–6672
语言：
网址：
https://aclantology.org/2023.emnlp-main.411
内政部：
10.18653/v1/2023.emnlp-main.411
比比键：
引用（ACL）：
Hannah Bast、Matthias Hertel和Natalie Prange。2023对现有端到端实体链接系统的公正深入评估.英寸2023年自然语言处理实证方法会议记录，第6659–6672页，新加坡。计算语言学协会。
引用（非正式）：
对现有端到端实体链接系统的公正深入评估（Bast等人，EMNLP 2023）
复制引文：
PDF格式：
https://aclantology.org/2023.emnlp-main.411.pdf
视频：
 https://aclantology.org/2023.emnlp-main.411.mp4网址
PDF格式 引用 搜索 视频