计算机科学>人工智能
标题: KGLens:一种参数化知识图解决方案,用于评估LLM知道什么和不知道什么
摘要: 测量知识图(KG)和大型语言模型(LLM)之间的对齐是评估LLM真实性和识别其知识盲点的有效方法。 然而,这种方法遇到了两个主要挑战,包括将KG翻译成自然语言以及有效评估这些广泛而复杂的结构。 在本文中,我们提出了KGLens——一个新的框架,旨在测量KG和LLM之间的一致性,并指出LLM相对于KG的知识缺陷。 KGLens具有一个图形引导的问题生成器,用于将KG转换为自然语言,以及一个基于参数化KG结构的精心设计的采样策略,以加快KG遍历。 我们使用来自Wikidata的三个特定于域的KG进行了实验,这些KG包含19000多个边、700个关系和21000个实体。 我们对八个LLM的分析表明,KGLens不仅可以更快地评估LLM的事实准确性,还可以对主题、时间动态和关系进行深入分析。 此外,人类评估结果表明,KGLens能够以与人类注释器几乎相等的准确度评估LLM,达到95.7%的准确率。