基于任务的可伸缩矩阵乘积算法并行编程

基于任务的编程模型成功地获得了高性能数学软件社区的兴趣，因为它们以高效和可移植的方式减轻了开发和实现分布式内存并行算法的部分负担。在越来越大、越来越异构的计算机集群中，这些模型似乎是维护和增强更复杂算法的一种方法。然而，基于任务的编程模型缺乏以优雅紧凑的方式表达依赖于高级通信模式的可伸缩算法所必需的灵活性和功能。我们表明，序列任务流范式可以扩展为编写紧凑但高效且可扩展的线性代数计算例程。虽然这项工作的重点是密集的通用矩阵乘法，但所提出的功能可以实现更复杂的算法。我们描述了这些功能的实现以及由此产生的GEMM操作。最后，我们在两台同质超级计算机上进行了实验分析，结果表明，我们的方法在32768个CPU内核和最先进的库中具有竞争力，并且在某些问题方面可能优于它们。虽然我们的代码可以直接使用GPU，但我们不处理这种情况，因为这意味着其他问题超出了本工作的范围。