计算机科学>计算与语言
标题: 大型语言模型的外部和参数化知识融合评估
摘要: 将外部知识集成到大型语言模型(LLM)中是一种很有希望的解决方案,可以克服其过时的静态参数存储器带来的限制。 然而,先前的研究往往过度依赖外部知识,低估了LLM内在参数知识的宝贵贡献。 LLM在混合外部知识和参数化知识方面的功效在很大程度上尚未探索,尤其是在外部知识不完整且需要通过其参数化知识进行补充的情况下。 我们建议将知识融合分解为四种不同的场景,对每种场景中的LLM行为进行第一次彻底调查。 我们开发了一个用于数据构建和知识注入的系统管道来模拟这些融合场景,促进了一系列受控实验。 我们的研究表明,增强LLM中的参数化知识可以显著增强其知识集成能力。 尽管如此,我们发现了记忆和引出参数化知识以及确定参数化知识边界方面的持续挑战。 我们的研究结果旨在指导未来探索如何协调LLM中的外部知识和参数知识。