计算机科学>计算与语言
标题: WizardCoder:使用进化构造增强代码大型语言模型
摘要: 代码大型语言模型(Code LLM),例如StarCoder,在与代码相关的任务中表现出了卓越的性能。 然而,大多数现有模型仅在大量原始代码数据上进行预处理,而没有进行指令微调。 本文介绍了WizardCoder,它通过将Evol-Instruct方法应用于代码领域,使代码LLM能够进行复杂的指令微调。 通过对四个著名的代码生成基准测试(即HumanEval、HumanEval+、MBPP和DS-1000)的综合实验,我们揭示了我们模型的卓越功能。 它远远超过了所有其他开源代码LLM。 此外,在HumanEval和HumanEval+上,我们的模型甚至优于最大的封闭LLM,Anthropic的Claude和谷歌的Bard。 我们的代码、模型权重和数据在 此https URL