计算机科学>计算与语言
标题: 大型语言模型的图神经提示
摘要: 大型语言模型(LLM)在各种语言建模任务中表现出卓越的泛化能力和优异的性能。 然而,它们在准确捕获和返回扎根知识方面仍然存在固有的局限性。 虽然现有工作已探索利用知识图(KG)通过联合训练和定制模型体系结构来增强语言建模,但将其应用于LLM是有问题的,因为它们具有大量参数和高计算成本。 因此,如何利用扎根知识(例如,检索增强生成)来增强预训练LLM仍然是一个悬而未决的问题。 在这项工作中,我们提出了图神经提示(GNP),这是一种新的即插即用方法,用于帮助预先训练的LLM从KGs学习有益的知识。 GNP包含各种设计,包括标准图形神经网络编码器、交叉模态池模块、域投影仪和自监督链接预测目标。 在多个数据集上的大量实验证明了GNP在不同LLM大小和设置的常识和生物医学推理任务上的优势。 代码位于 此https URL .