2.1. 与其他接口黑曼巴系统

作为黑曼巴,中密度测井与其他几个系统交互，如图1所示.MDW公司接收来自的控制信号和数据布鲁斯基的RunEngine在的后端运行黑曼巴，并从中检索其他元数据元数据生成器(千年发展目标)英寸Mamba GUI工作室(MGS公司)用户可以在其中输入关于实验描述、样本信息等的信息，等对于低数据吞吐量实验，来自实验设备（探测器、电机、，等.）通常发送自布鲁斯基到MDW公司通过订阅文档事件（Arkilic等。, 2015). 对于涉及高数据吞吐量检测器的实验，MDW公司直接从检测器中获取数据并将数据传输到下游端，下游端包括存储器，黑曼巴前端、分析模块、科学元数据数据库、，等.MDW公司可以由黑曼巴前端，布鲁斯基运行检测器的引擎或数据流。

图1 MDW公司与其他系统的接口。

2.2. 框架设计MDW公司

由定义的通信实体MDW公司被称为工人。工人由三个不同的组成部分组成，如图2所示：源数据工作者、调度工作者和目标数据工作者。实验数据的采集、流式传输和在线处理分为两个独立的主要部分，即控制平面和数据平面。通过分离控制平面和数据平面，可以在不同的设备上执行它们，这反过来提高了系统的灵活性，并将在未来使用专用硬件实现快速处理。在控制平面中，可以通过图形用户界面（GUI）、命令行界面和其他方法执行数据平面中工作线程的配置。在数据平面中，ZeroMQ充当工作者之间的通信协议，所有数据当前都通过ZeroMQ套接字发送。

图2 的组件MDW公司，显示(一)数据平面和(b条)控制平面。

源数据工作者负责收集不同格式的数据和元数据[Tiff，HDF5（Folk等。, 2011)，原始数据流]来自各种扫描模式下的测量设备。随后，源数据工作者通过ZeroMQ实时将数据流转发给调度工作者。调度工作人员负责根据中密度测井应用程序编程接口（API）或配置文件。数据流由目的地数据工作者接收，以满足同步辐射的各种应用要求。这些要求包括GUI和各种框架促进的实时数据可视化、根据波束线站定义的特定HDF5数据结构对多个数据流进行在线数据组装和写入，以及在线数据处理任务。目标工作线程由于其硬编码实现而展示了固有的功能，使其能够识别要采取的必要操作。每个目的地工作人员都有责任确定要对接收到的数据执行的特定操作。此外，还可以在采集过程中实时动态添加目的地。用户应该能够将配置消息传输到MDW公司通过MDW公司API，从而使调度工作者能够向新指定的目的地添加路由。随后，新添加的目标工作线程能够接收数据。

这个MDW公司框架层次结构如图3所示从下至上分为五层：内部内核层、通信模式层、事件接口层、编程接口和使用方法。

图3 MDW公司等级制度。

（i） 核心层MDW公司由三个模块组成：动态可重构数据管道调度、高吞吐量多流数据并行传输和高性能并行磁盘文件访问。这些模块旨在解决复杂的数据流调度问题，提高网络传输性能和磁盘文件访问性能。

（ii）中密度测井基于ZeroMQ管理数据流。通信模式层包括各种通信模式，如P2P、发布-订阅（PUB–SUB）、PIPELINE处理和QUEUE。各种通信模式将支持下游数据应用程序端的各种数据协商机制。

（iii）源数据工作者中的事件接口支持多种协议来获取不同类型的数据，如检测器API、ZeroMQ流、临时文件和HTTP流。它可以同时采集多种模态类型的数据。

（iv）MDW公司提供用于编程和扩展的编程接口，包括工作者配置接口、数据链路建立接口和实验处理序列配置接口等。

（v） 用户可以通过MDW公司编程界面，包含图形GUI、用户API、命令行界面、批处理脚本和控制平面中的其他常见使用方法。这有助于满足波束线站的不同需求。

图4阐明了MDW公司。动态可重构数据管道调度模块提供了探测器、存储服务器、计算集群和用户终端等光源系统之间实验数据管道的统一视图，并提供了实验数据流管道的灵活分布和调度。在建立实验数据管道的基础上，高吞吐量多流数据并行传输模块和高性能磁盘文件并行访问模块提高了实验数据传输和存储的性能。

图4 的三个内核模块之间的关系中密度测井.

2.3。动态数据管道调度

为了满足不同束线的多样化和不断发展的实验数据管线，MDW公司提供了一个动态数据管道创建和调度模块。该模块旨在通过抽象负责数据分发和调度的实体，包括测量设备和实验阶段，来抽象不同数据管道的共同特征，等。每个实体的特定数据分配和调度机制隐藏在抽象层后面，从而能够在不同的应用场景中快速灵活地创建数据管道。动态数据管道调度对于用户交互和控制实验过程至关重要。此模块侦听来自其他工作者或用户编程接口的控制命令。然后，它解析这些控制命令，并根据命令的要求动态更改数据源和目标之间的拓扑路径。

为了让配置数据管道的体验更轻松、更流畅，基于橙色（德米沙尔等。, 2013)目前正在开发作为的前端MDW公司。用户可以通过在橙色帆布。每个小部件都是一个独立的工作程序，封装了界面显示、交互控制和一些数据处理功能。这将特别有利于多模式实验数据管道的编排。

2.4. 多流数据传输

高通量和多模数据采集的趋势要求提高数据传输吞吐量，以使多模数据类型能够以流的形式从源数据工作者传输到多个接收器。MDW公司使用JSON等标准Python库实现序列化。来自不同检测器的数据使用独立的数据流传输，以提高网络带宽利用率。在多模态实验中，数据量和结构在每种模态之间变化是常见的；因此，关于每个数据管道的带宽和计算复杂性将显著不同，异步数据流需要与元数据同步，原始数据和处理的数据最终需要相互关联；因此，开发可靠的数据对齐方案至关重要。

对于低和中数据吞吐量实验，如果数据是通过布鲁斯基其已经具有自己的数据对齐机制，MDW公司直接订阅布鲁斯基事件以获取随后发送到接收器的数据和元数据。这可以通过轮询或推送机制实现，具体取决于具体的用例。例如，在步骤扫描中，目标数据工作者可以轮询每个步骤的数据并逐点接收数据。然而，对于当前未处理的动态扫描布鲁斯基而是由PandABox（Li等。, 2023)和Xpress3（克劳福德等。, 2018),MDW公司具有通过源数据工作者附加相关字段的能力，例如每个数据帧的采集号，这可以进一步促进数据同步。这使MDW公司有效地实时读取并按顺序将一批数据绑定到块中，块的大小可以通过配置文件进行配置。对于涉及大面积探测器的高数据吞吐量实验，中密度测井必须直接从检测器获取原始数据流。数据流附带的基本元数据信息（如时间戳或索引）将用于在后续管道中对齐数据流。

2.5. 并行磁盘文件访问

高效的文件访问对于高性能数据存储和检索至关重要。这需要实现几个关键功能，包括在线压缩、多级文件组装和多模式数据的并行写入。MDW公司提供了传统的压缩方法，如Gzip（Shah&Sethi，2019)，Blosc（2010年修订）)和LZ4（巴蒂克等。, 2015)，并计划支持基于人工智能的高级压缩模式。中的数据汇编MDW公司具有灵活性和可定制性，允许用户在不同的波束线上定义自己的数据结构。通常，对于低数据量和中等数据量的实验，所有数据都是单个Nexus（Könnecke等。, 2015)文件；然而，对于大数据量的实验，MDW公司支持将具有所需结构的数据同时写入链接到主NeXus文件的多个HDF5文件。MDW公司支持多种文件格式的读写，如Tiff、HDF5和Nexus。为了支持多个进程的同时读取访问，MDW公司将结合HDF Group（Rees）开发的单写/多读（SWMR）和虚拟数据集（VDS）技术等。, 2015).

2.6. 元数据参数配置

实验过程不仅涉及原始数据，还涉及丰富的元数据，如环境参数、样本、用户信息等。有几种机制可以将数据和元数据相互关联。与计划相关的主要实验数据和元数据是通过布鲁斯基的预组装文档。元数据也可以从千年发展目标或其他用户输入指定路径将分配到的信息，然后将包含路径的元数据发送到中密度测井，它基于路径关联数据和元数据。为了增强的参数化配置能力MDW公司每个波束线站可以根据自己的要求定制元数据格式、端口地址等参数。这避免了多余的开发工作，提高了开发效率。为了便于配置，我们专门为中密度测井系统：基于YAML的参数配置功能和前端GUI。图5演示了基于YAML的配置文件，该文件简化了数据和元数据的配置，例如MGS公司-相关参数、用户登录身份验证和检测器获取，通过易于理解的语法。

图5 灵活的配置，可将元数据的某些参数写入自定义数据结构HDF5。