在基于预训练变换的语言模型中寻找技能神经元

王晓之,凯悦文,张正燕,雷侯,刘志远,李娟子

摘要
基于变换的预训练语言模型在各种自然语言处理任务中表现出了优异的性能。然而，目前尚不清楚处理这些任务所需的技能在模型参数中的分布情况。在本文中，我们发现在针对特定任务进行快速调整后，预训练变形金刚中的一些神经元的激活可以高度预测任务标签。我们将这些神经元命名为技能神经元，并通过发现（1）技能神经元对处理任务至关重要，从而确认它们编码任务特定技能。当相应的技能神经元受到干扰时，经过预训练的变形金刚在任务中的表现显著下降。（2） 技能神经元是特定于任务的。类似的任务往往具有相似的技能神经元分布。此外，我们还证明了技能神经元最有可能是在预训练中生成的，而不是在微调中生成的。我们还表明，通过快速微调发现的技能神经元对于其他微调方法（如基于适配器的微调和BitFit）也至关重要。我们还探索了技能神经元的应用，包括通过网络修剪加速变形金刚，以及构建更好的可转移性指标。这些发现可能会促进对变形金刚的进一步研究。源代码可以从https://github.com/THU-KEG/Skill-Neuron。
选集ID：
2022.emnlp-main.765年
体积：
2022年自然语言处理实证方法会议记录
月份：
十二月
年份：
2022
地址：
阿拉伯联合酋长国阿布扎比
编辑：
约夫·戈德伯格,佐尔尼萨·科扎列娃,张岳（音）
地点：
EMNLP公司
SIG公司：
出版商：
计算语言学协会
注：
页：
11132–11152
语言：
网址：
https://aclantology.org/2022.emnlp-main.765
内政部：
10.18653/v1/2022.emnlp-main.765
比比键：
引用（ACL）：
王晓之、文开岳、张正彦、侯磊、刘志远和李娟子。2022年。在基于预训练变换的语言模型中寻找技能神经元.英寸2022年自然语言处理实证方法大会论文集，第11132–11152页，阿拉伯联合酋长国阿布扎比。计算语言学协会。
引用（非正式）：
在基于预训练变换的语言模型中寻找技能神经元（Wang等人，EMNLP 2022）
复制引文：
PDF格式：
https://aclantology.org/2022.emnlp-main.765.pdf
PDF格式 引用 搜索