计算机科学>计算与语言
标题: 无提示的高效快速学习
摘要: 最近的一些方法,如参数有效微调(PEFT)和模式开发训练(PET),在标签盒设置中取得了令人印象深刻的结果。 然而,它们很难使用,因为它们受手工制作的提示的高度可变性影响,并且通常需要十亿参数的语言模型才能实现高精度。 为了解决这些缺点,我们提出了SetFit(句子变换器微调),这是一个有效且无需提示的框架,用于句子变换器(ST)的少量微调。 SetFit的工作原理是,首先以一种对比的暹罗方式,对少量文本对上的预处理ST进行微调。 然后使用生成的模型生成富文本嵌入,用于训练分类头。 这个简单的框架不需要提示或描述器,与现有技术相比,它可以用更少数量级的参数实现高精度。 我们的实验表明,SetFit获得了与PEFT和PET技术相当的结果,同时训练速度快了一个数量级。 我们还展示了SetFit可以通过简单地切换ST主体应用于多语言设置。 我们的代码可在 此https URL 和我们的数据集 此https URL .