计算机科学>计算与语言
标题: 作为特定域LLM提取程序的修剪
摘要: 大型语言模型(LLM)在一系列NLP任务中表现出了卓越的能力。 然而,模型规模的升级也会产生巨大的部署成本。 虽然很少有人探索模型修剪技术来减小LLM的大小,但它们主要集中在一般或特定任务的权重上。 当应用于特定领域的挑战时,由于缺乏目标领域的特定性或不同任务的通用性,这导致性能不佳。 这项工作引入了一种创新的非结构化双调整方法D-Pruner,用于LLM上的特定域压缩。 它通过确定LLM权重来提取压缩的、特定领域的和任务认知的LLM,这些权重对于语言能力和多任务解决以及特定领域的知识等一般能力至关重要。 更具体地说,我们首先通过在开放域校准数据集的帮助下量化移除时产生的误差来评估一般权重的重要性。 然后,我们利用此一般权重重要性来细化训练损失,以便在拟合到特定领域时保持通用性。 此外,通过在特定领域的校准数据集上用精细训练损失有效地近似权重重要性,我们获得了一个强调通用性和专用性的修剪模型。 我们在医疗和法律领域的各种任务中进行的综合实验表明,D-Pruner在特定领域压缩中的有效性。 我们的代码位于 此https URL .