无恶意训练：任务指导的训练前选择性掩蔽

顾玉仙,张正燕,王晓之,刘志远,孙茂松

摘要
近年来，预训练语言模型大多遵循预调优范式，并在各种下游任务中取得了良好的性能。然而，由于预培训阶段通常是任务认知阶段，而微调阶段通常受监管数据不足的影响，因此模型无法始终很好地捕捉特定领域和特定任务的模式。在本文中，我们提出了一个三阶段框架，通过在一般预训练和微调之间添加一个带有选择性掩蔽的任务引导预训练阶段。在此阶段，通过对域内无监督数据进行屏蔽语言建模来训练模型，以学习特定于域的模式，我们提出了一种新的选择性屏蔽策略来学习特定于任务的模式。具体来说，我们设计了一种方法来测量序列中每个标记的重要性，并选择性地屏蔽重要标记。在两个情绪分析任务上的实验结果表明，我们的方法可以在不到50%的计算开销的情况下获得相当甚至更好的性能，这表明我们的方法是有效的。本文的源代码可以从https://github.com/thunlp/SelectiveMasking网站.
选集ID：
2020.emnlp-main.566
体积：
2020年自然语言处理实证方法会议记录
月份：
十一月
年份：
2020
地址：
在线的
编辑：
邦妮·韦伯,特雷弗·科恩,何玉兰,杨柳
地点：
EMNLP公司
SIG公司：
出版商：
计算语言学协会
注：
页：
6966–6974
语言：
网址：
https://aclantology.org/2020.emnlp-main.566
内政部：
10.18653/v1/2020.emnlp-main.566
比比键：
引用（ACL）：
顾玉仙、张正燕、王晓芝、刘志远和孙茂松。2020不训练邪恶：任务引导的预训选择性戴口罩.英寸2020年自然语言处理实证方法会议记录，第6966–6974页，在线。计算语言学协会。
引用（非正式）：
无恶意训练：任务指导的训练前选择性掩蔽（Gu等人，EMNLP 2020）
复制引文：
PDF格式：
https://aclantology.org/2020.emnlp-main.566.pdf
视频：
 https://slideslive.com/38938884
代码
thunlp/选择性掩蔽
数据
图书语料库
PDF格式 引用 搜索 代码 视频