计算机科学>计算与语言
职务: 用于提示序列到序列模型的自动标签序列生成
摘要: 与使用预先训练的模型进行标准微调相比,将下游应用程序转换为语言建模任务的提示已被证明是样本高效的。 然而,提示的一个陷阱是需要手动设计模式,其结果可能是不直观的,并且需要大量的验证集进行调整。 为了应对这一挑战,我们提出了AutoSeq,一种全自动提示方法:(1)我们在序列到序列模型上采用自然语言提示,实现自由生成和更大的标签搜索空间; (2) 我们提出标签序列——用不定长度的短语来描述标签——这样就不需要手动模板,并且比单标签单词更具表达力; (3) 我们使用波束搜索自动生成大量候选标签序列,并提出对比重排序以获得最佳组合。 AutoSeq明显优于其他非手动设计方法,如软提示调整、适配器调整和单标签词自动搜索; 在各种任务中,生成的标签序列甚至比精心策划的手动序列更好。 我们的方法揭示了序列到序列模型在少快照学习中的潜力,并为实现通用和自动提示指明了道路。 本文的源代码可以从 此https URL .