计算机科学>计算与语言
标题: 用LEAP打破语言障碍:Polyglot LLM的学习策略
摘要: 大型语言模型(LLM)处于全球众多领域转换的前沿。 然而,对于非拉丁语脚本和低资源语言,它们的包容性和有效性仍然有限。 本文解决了增强LLM多语言性能的迫切挑战,特别关注生成模型。 通过使用流行的问答(QA)数据集对多种语言进行系统调查和评估,我们提出了新的技术,可以在多语言环境中释放LLM的真正潜力。 我们的方法包括三个关键战略,它们显著提高了多语言能力。 首先,通过精心优化为多语言LLM量身定制的提示,我们释放了它们的潜在能力,从而大大提高了跨语言的性能。 其次,我们引入了一种新的混合方法,该方法将GPT生成与多语言嵌入协同起来,并在关键任务(如QA和检索)上实现了显著的多语言性能改进。 最后,为了进一步提高多语言LLM的性能,我们引入了一种新的学习算法,该算法可以动态选择最佳提示策略、LLM模型和每个查询的嵌入。 这种动态适应最大限度地提高了语言间LLM的效率,优于最佳的静态和随机策略。 我们的研究结果表明,在多种语言的多语言理解和生成方面取得了显著进步。