计算机科学>计算与语言
标题: 训练生成性问题——对从指导-调整模型中获得的合成数据的回答
摘要: 本文提出了一种简单且经济高效的数据合成方法,用于训练问答系统。 对于培训,微调GPT模型是英语等资源丰富的语言中的常见做法,然而,由于缺乏足够的问答(QA)对,这对非英语语言来说是一个挑战。 现有的方法使用经过人工编写的QA对训练的问答生成器,这涉及大量的人力成本。 相反,我们使用指令调整模型以零快照或少快照的方式生成QA对。 我们通过实验比较了从指令调谐模型中获取QA对的各种策略。 结果表明,基于我们提出的合成数据训练的模型与基于手动整理数据集训练的模型相比,性能相当,而不会产生人力成本。