通过学习软标签实现鲁棒机器阅读理解

赵振宇,吴双之,杨慕云,陈可海,赵铁军

摘要
神经模型在机器阅读理解（MRC）任务中取得了巨大成功，MRC通常是在硬标签上训练的。我们认为，由于标签稀疏问题，硬标签限制了模型的泛化能力。本文针对这一问题，提出了一种MRC模型的鲁棒训练方法。我们的方法包括三个策略，1）标签平滑，2）单词重叠，3）分布预测。所有这些都有助于在软标签上训练模特。我们在代表性体系结构ALBERT上验证了我们的方法。实验结果表明，我们的方法可以大大提高基线，平均提高1%，并在NewsQA和QUOREF上实现最先进的性能。
选集ID：
2020.coling-main.248年
体积：
第28届国际计算语言学会议论文集
月份：
十二月
年份：
2020
地址：
西班牙巴塞罗那（在线）
编辑：
多妮娅·斯科特,努里亚·贝尔,宗成庆
地点：
冷却
SIG公司：
出版商：
国际计算语言学委员会
注：
页：
2754–2759
语言：
网址：
https://acl选集.org/2020.coling-main.248
内政部：
10.18653/v1/2020.coling-main.248
双钥匙：
引用（ACL）：
赵振宇、吴双枝、杨慕云、陈克海和赵铁军。2020通过学习软标签实现鲁棒机器阅读理解.英寸第28届国际计算语言学会议论文集，第2754–2759页，西班牙巴塞罗那（在线）。国际计算语言学委员会。
引用（非正式）：
通过学习软标签实现鲁棒机器阅读理解（Zhao等人，COLING 2020）
复制引文：
PDF格式：
https://aclantology.org/2020.coling-main.248.pdf
数据
新闻质量保证, Quoref（引用）
PDF格式 引用 搜索