YARN上Spark的硬实时调度器

Apache Spark是使用分布式内存进行大规模数据处理的快速通用引擎。它提供了不同的部署模式来满足不同用户的需求，而YARN上的Spark是最流行的部署模式。不同的部署模式具有不同的调度机制。YARN上的Spark有三种不同的调度程序，包括FIFO调度程序、公平调度程序和容量调度程序。然而，这三个调度程序无法适应硬实时应用程序场景。随着Apache Spark的应用越来越广泛，硬实时调度的需求将迅速增加。为了满足硬实时调度的要求，本文提出了一种新的硬实时调度算法DVDA（Deadline and Value Density-Aware）。与传统EDF（Earliest Deadline First）算法只考虑截止时间相比，DVDA算法同时考虑了应用程序的截止时间和值密度。此外，我们在YARN上实现了一个基于DVDA算法的Spark DVDA调度器。最后，通过实验验证了算法的有效性。实验结果表明，与默认容量调度器和EDF-Capacity调度器相比，该算法可以分别将应用程序完成率提高18%和6%，价值收益提高78%和32%。