计算机科学>计算与语言
标题: 基于特殊令牌自适应的参数高效调整
摘要: 参数高效调优旨在将预处理模型应用于下游任务时,仅更新一小部分参数。 在这项工作中,我们引入了PASTA,其中我们只修改了基于Transformer的模型中每个层的自关注模块之前的特殊令牌表示(例如,BERT中的[SEP]和[CLS])。 PASTA在自然语言理解任务(包括文本分类和NER)中的性能与完全微调相当,只训练了0.029%的总参数。 我们的工作不仅提供了一种简单而有效的参数有效调整方法,在为多个任务部署微调模型时具有广泛的实际应用,而且还证明了特殊标记在预处理语言模型中的关键作用