×

网络安全功能对spark日志处理的性能影响。 (英语) Zbl 07751566号

总结:各行业维护了大量机器,以运行其生产线和服务。这些类型的系统处理并生成大量数据,为客户服务提供高质量和可用性。因此,应不断检查这些系统,不仅要不断提供达到的标准水平,而且要进行升级以跟上市场竞争。我们的目标是研究Apache Spark,并找到一种最合适的配置,它可以在我们面临的挑战中发挥最佳性能,并可以进一步应用于实际的场景中。此外,尽管在这一领域已经进行了一些研究,但在预测运行时间时,没有一个研究在计算过程中考虑Spark的安全因素。
所介绍的工作需要在独立的集群设置中测试ApacheSpark的日志处理,在不同提交的任务上有不同数量的工作人员。我们还研究了使用这些设置在集群节点之间的网络通信中启用身份验证对性能的影响。我们的结果表明,增加执行器节点数和简化底层算法并不总是像预期的那样以积极的方式影响性能。此外,确保Spark进程之间的网络通信安全会显著增加提交作业的总体执行时间。

MSC公司:

68卢比99 离散数学与计算机科学
PDF格式BibTeX公司 XML格式引用
全文: 链接