计算机科学>计算与语言
标题: 基于特征化低秩混合的多任务多语言模型自适应
摘要: 将预先训练的大型语言模型(LLM)适应几十种或数百种人类语言的各种下游任务在计算上是昂贵的。 参数有效微调(PEFT)通过只微调少量参数,显著降低了自适应成本。 然而,由于参数容量有限和不同数据集之间的负面干扰,直接将PEFT方法(如LoRA(Hu et al.,2022))应用于不同的数据集混合物可能会导致性能次优。 在这项工作中,我们提出了一种新的PEFT方法,用于有效的多任务多语言调优。 FLix将每个独特的数据集功能(如数据集的语言或任务)与其自身的低阶权重更新参数相关联。 通过为每个数据集组合特定于特征的参数,FLix可以适应不同的数据集混合,并更好地泛化到未知数据集。 我们的实验表明,FLix使用不同的训练数据混合,在监督学习和零快照设置的各种任务上都有显著改进。