计算机科学>机器学习
标题: 超越CAGE:研究学习型自主网络防御政策的泛化
摘要: 强化学习(RL)的进步启发了网络防御智能自动化的新方向。 然而,其中许多进步要么超过了其应用程序对网络安全的支持,要么没有考虑到与在现实世界中实现它们相关的挑战。 为了理解这些问题,本文评估了CAGE挑战赛第二版中实施的几种RL方法,这是一项在高保真网络模拟器中构建自主网络防御代理的公开竞赛。 我们的方法都建立在近端策略优化(PPO)算法家族的基础上,包括分层RL、动作掩蔽、自定义训练和集成RL。我们发现集成RL技术表现最强,优于我们的其他模型,在竞争中排名第二。 为了了解对实际环境的适用性,我们评估了每种方法对未知网络和未知攻击策略的泛化能力。 在看不见的环境中,我们所有的方法都表现得更差,退化程度因环境变化的类型而异。 针对未知的攻击者策略,我们发现我们的模型降低了整体性能,尽管新策略的效率低于我们的模型训练的策略。总之,这些结果突出了现实世界中自主网络防御的有希望的研究方向。