计算机科学>计算与语言
标题: 使用GPT-4的上下文内学习自动查找云事件的根源
摘要: 根本原因分析(RCA)在云服务的事件诊断过程中发挥着关键作用,要求待命工程师识别主要问题并实施纠正措施以防止未来再次发生。 改进事故RCA流程对于最小化服务停机时间、客户影响和人工劳动至关重要。 人工智能的最新进展引入了最先进的大型语言模型(LLM),如GPT-4,这些模型已被证明在处理从代码编写到事件管理的各种AIOp问题方面是有效的。 尽管如此,GPT-4模型的巨大规模在试图对用户数据进行微调时带来了挑战,因为GPU资源需求巨大,并且随着新数据的出现,需要对模型进行持续微调。 为了解决微调LLM的高成本问题,我们提出了一种上下文内学习方法来自动生成根,从而消除了微调的需要。 我们对100000起生产事件进行了广泛的研究,使用多个指标比较了几个大型语言模型。 结果表明,在所有指标中,我们的上下文内学习方法的平均性能优于先前的精细调整的大型语言模型(如GPT-3)24.8%,与零快照模型相比有了令人印象深刻的49.7%的改进。 此外,涉及实际事件所有者的人工评估表明,它比微调模型具有优势,正确性提高了43.5%,可读性提高了8.7%。 令人印象深刻的结果证明了在RCA任务中使用普通GPT模型的可行性,从而避免了与微调模型相关的高计算和维护成本。