海绵：用于无服务器框架流处理的快速反应缩放

流式工作负载处理实时生成的数据。这些数据通常是不可预测的，并且数量变化很快。为了应对这些波动，当前系统的目标是在机器集群中动态伸缩、重新分配和迁移计算任务。虽然许多以前的工作都集中在减少预先分配的群集资源上的系统重新配置和状态迁移的开销，但这些方法在以低运营成本满足延迟SLO方面仍然面临着重大挑战，尤其是在面临不可预测的突发负载时。

在本文中，我们提出了Sponge，这是一种新的流处理系统，它通过利用无服务器框架（SF）实例实现了对长时间运行的流查询的快速反应式扩展。海绵通过利用SF实例可以在几百毫秒内快速启动这一事实，以低延迟和低成本从现有VM中吸收突然、不可预测的输入负载增长。海绵有效地跟踪少量指标，以快速检测突发负载，并基于这些指标做出快速扩展决策。此外，通过在编译时合并优化逻辑，并在运行时触发快速数据重定向和部分状态合并机制，Sponge避免了运行时的优化和状态迁移开销，同时有效地将突发负载从现有VM卸载到新的SF实例。我们使用NEXMark基准测试对AWS EC2和Lambda进行的评估表明，与虚拟机上的其他流查询缩放方法相比，Sponge对突发输入负载迅速做出反应，平均减少了99%的尾部延迟88%。与过度配置虚拟机以处理不可预测的突发负载的方法相比，Sponge还降低了83%的成本。