基于无损通用算法的FASTQ文件压缩基准测试

FASTQ格式是一种基于文本的格式，用于存储生物序列（通常是核苷酸序列）及其用于基因组测序的相应质量分数。虽然大多数基于文本的格式使用传统方法（如tar和gzip）可以很好地压缩，但FASTQ文件通常非常大，使用这些方法无法很好地进行压缩，导致文件系统的大部分空间被用来存储这些数据集。由于大多数计算平台都是共享资源，因此平衡压缩和资源分配至关重要。本文研究了在混合使用吞吐量高性能计算集群中作业结束时运行的FASTQ文件的最佳通用压缩软件。由于大多数计算平台都是共享资源，因此平衡压缩和资源分配至关重要。研究发现，在本文测试的57种方法中，zpaq高压缩提供了最高的压缩比。然而，对于共享或限制系统资源的更真实的场景，我们建议使用pzstd介质作为FASTQ文件的一种良好的全方位压缩方法。它以快速的速度提供了高压缩比，同时在CPU和内存效率方面表现良好。