NENYA:Microsoft 365针对成本软件故障缓解的级联强化学习

大型分布式系统，如Microsoft 365的数据库系统，需要及时的缓解解决方案来解决故障并提高服务可用性和可靠性。尽管如此，缓解措施的成本可能很高，因为它们可能会导致暂时的性能下降，甚至产生金钱支出。缓解措施可以以被动的方式进行管理，以控制检测到的故障，也可以以主动的方式减少潜在的故障。主动缓解方法通常依赖于两阶段策略：预测模型将首先识别具有高故障风险的实例（如数据库或磁盘），然后可以应用工程师选择的适当缓解措施或自动盗贼学习模型。由于这两个阶段的信息没有完全共享，因此缓解成本和实例状态等重要因素在其中一个阶段往往被忽略。为了解决这些问题，我们提出了NENYA，这是一种基于新型级联强化学习模型的大规模数据库系统的端到端缓解解决方案。通过将数据库状态作为输入，NENYA直接输出缓解措施，并基于缓解成本和故障率的联合累积反馈进行优化。由于绝大多数数据库不需要缓解措施，NENYA利用一种新颖的级联决策结构，首先可靠地过滤出此类数据库，然后重点为其余数据库选择合适的缓解措施。大量的离线和在线实验表明，我们的方法在降低数据库故障率和缓解成本方面优于现有实践。NENYA已集成到Microsoft 365，这是一个生产性平台，听起来很成功。