计算机科学>计算与语言
标题: PACE-LM:在云事件根本原因分析中使用GPT-4提示和增强校准的置信度估计
摘要: 主要云提供商采用了基于AI的高级解决方案,如大型语言模型,以帮助人们识别云事件的根本原因。 尽管AI驱动的助理在根本原因分析过程中越来越普遍,但由于任务的固有困难、基于LLM的幻觉方法的倾向以及区分这些伪装良好的幻觉的困难,他们在协助待命工程师方面的有效性受到了低准确度的限制。 为了应对这一挑战,我们建议对预测进行置信度估计,以帮助待命工程师决定是否采用模型预测。 考虑到许多基于LLM的根本原因预测器的黑盒特性,基于微调或温度标定的方法不适用。 因此,我们设计了一个基于提示检索增强的大型语言模型(LLM)的创新置信度评估框架,该模型要求从根本原因预测器获得最少的信息。 该方法由两个评分阶段组成:基于LLM的置信度估计器首先评估其在当前事件中做出判断的置信度,该事件反映了其“基础性” “参考数据的水平,然后根据历史参考对根本原因预测进行评级。优化步骤将这两个分数结合起来进行最终的置信度分配。我们表明,我们的方法能够为预测的根本原因产生校准的置信度估计,验证检索到的历史数据的有用性和提示 g策略以及不同根本原因预测模型的通用性。 我们的研究为可靠有效地将LLM嵌入云事件管理系统迈出了重要一步。