1.简介

同步加速器大分子晶体学（MX）束线的硬件和软件组件集成对于高效的数据采集和在线数据分析至关重要。更短的位移和用户的高要求使其成为高性能光束线控制系统的必要条件，该系统可以处理简单和复杂的数据采集协议。控制系统必须具有足够的灵活性，以便于合并新的硬件和测量协议。同时，用户需要易于使用和直观的实验控制软件。在过去的几年里，集成图形用户界面（GUI）成为全球大多数MX波束线控制数据采集的标准。开发了多种数据采集软件和GUI，如蓝色-Ice（麦克菲利普斯等。, 2002),BSS系统（上野等。, 2005),CBASS公司（斯金纳等。, 2006),星星（山田等。, 2008),mx立方（加巴丁霍等。, 2010),JBluIce-EPICS公司（斯特帕诺夫等。, 2011)和GDA公司（Winter和McAuley，2011年). 复杂的GUI允许控制实验，使用机器人安装样本，可视化样本以正确对齐，在某些情况下，还可以显示数据分析结果。束流时间的有效利用以及高效率依赖于自动数据处理程序，例如接口（González等。, 2008; 印卡多纳等。, 2009; Pothineni公司等。, 2014)和软件包（摩纳哥等。, 2013; 2010年冬季; 冯海因等。, 2011; 济等。, 2013). 数据收集策略的计算允许优化实验参数，从而在辐射损伤最小的情况下产生更高质量的数据（Leslie等。, 2002; 印卡多纳等。, 2009; Paithankar和Garman，2010年; Bourenkov&Popov，2010年; 波波夫和伯伦科夫，2003年). 在数据收集期间和之后不久，对结果的即时反馈至关重要，因为它可以让我们在尽可能少地浪费宝贵的束流时间的情况下，对进一步的实验做出明智的决定。数据采集和处理的高度自动化，再加上硬件的改进，导致在一次用户轮班（8小时）内收集100个或更多数据集的常见情况。逻辑上的结果是引入了一个数据库，允许存储实验元数据和数据处理结果（Pothineni等。, 2014; 德拉吉尼埃等。, 2011). 与此同时，原始X射线数据的存档和共享成为一个重要因素（Meyer等。, 2014; 格拉博夫斯基等。, 2016).

瑞士光源（SLS）大分子晶体学小组操作三条光束线（X06SA、X06DA和X10SA）。软件团队开发了分布式陆军部+数据采集（daq）软件，它是为本地设置量身定制的。我们开发数据采集卡背后的设计理念可以概括为三个要点：（i）直观且用户友好的数据采集卡协议（需要最少的用户说明手册）；（ii）允许使用最新仪器，如多轴测角仪和EIGER X 16M探测器；（iii）利用最新技术，并在小型软件团队的支持下提供可扩展和可持续的解决方案。本文介绍了SLS MX数据采集软件，并描述了其主要组成部分。我们表明，我们的数据采集卡体系结构稳健、灵活，能够探测最新的仪器，如EIGER X 16M探测器。

2.硬件基础设施

SLS得益于IBM高性能集群通用并行文件系统（GPFS）4.1版，总容量为1.2 PB，其中250 TB专用于所有三条MX波束线的实验数据存储。文件服务器和计算节点已连接通过Infiniband主干上的40 Gbit网络。探测器控制单元连接到文件服务器通过10Gbit（PILATUS）或2x10Gbit（EIGER X）。对于在线数据处理，每个波束线目前都配备了Dual Xeon E5-2697v2（2.70 GHz）24核、256 GB RAM、Scientific Linux 6.4集群以及四个（X06SA）或两个（X10SA和X06DA）节点。另外三个与在线束线簇具有相同规格的节点专用于网格扫描X射线衍射图像的处理。

3.软件基础设施

SLS MX数据采集系统由用Python 2.7和Java编写的分布式组件组成（图1). 用于光束线设置的其他辅助脚本（例如能量变化和光束位置反馈）是用交互式数据语言（IDL）编写的。SLS MX光束线的大多数电机通过EPICS（实验物理和工业控制系统）进行控制，这允许对电子设备进行分布式控制通过本地网络。软件设置支持在所有MX波束线上进行远程数据采集。远程访问服务以完整图形用户会话的形式提供对光束线控制台的访问通过这个无机器软件。

图1 SLS MX波束线上的软件基础设施示意图。软件组件显示在绿色框中，硬件组件显示在红色框中，文件服务器和计算节点显示在蓝色框中。线条表示不同组件之间的交互，而数字表示工作流的顺序（详细说明见§3.1). 开源消息代理是陆军部+数据采集软件组件。用户在中控制实验参数陆军部+GUI，而DA+服务器进行数据采集并与探测器和硬件通信通过基本状态机逃跑.Adp公司守护进程从代理接收消息，启动数据处理并将结果发送到mxdb型数据库。第个结果，共个自动数据处理显示在基于web的adp跟踪器.

在我们的SLS MX分布式数据采集卡中实现的主要通信方案是通过开源消息代理Apache ActiveMQ(http://activemq.apache.org/). 消息代理的一个实例为所有三个MX波束线提供服务。我们将消息传递服务器合并为一个中央交换中心，因为它快速、轻量级、灵活并支持多种传输协议。它允许在多个松散耦合的应用程序之间创建透明的异步通信。活动MQ是通用的，允许发布/订阅语义，一条消息可以到达多个订阅者(通过主题）和生产者/消费者语义，每个订阅者有一条消息(通过队列）。简单文本定向消息传递协议（STOMP），这是一种简单的基于文本的协议，类似于活动MQ代理，用于陆军部+数据采集组件。STOMP与语言无关，在Python中很容易与现有的开放源码客户端库一起使用，以访问消息传递服务器(https://github.com/jasonrbriggs/stomp.py). 除了消息传递之外通过作为代理，我们使用其他通信方案，其中最常用的是表示状态转移（REST）。REST是远程过程调用（Remote Procedure Calls，RPC）的轻量级替代方案，它依赖于无状态、客户端-服务器和可缓存的通信协议，如HTTP。

不同沟通方式的结合可以更灵活地控制我们的资源和陆军部+数据采集组件。此外，我们并不仅仅依赖于一个解决方案，而且每个通信协议都是根据客户机-服务器的要求定制的。REST协议易于实现，使用简单，并提供可靠的服务。REST应用程序编程接口（API）可以在不影响daq分布式软件的其他组件的情况下进行管理和更新。对EIGER X 16M数据使用ZeroMQ流（详细说明见§6)有助于提供网格扫描数据分析的快速结果。在一个代理主题中收集结果意味着可以根据需要增加或减少处理网格扫描峰值查找任务的进程数。同时，多个应用程序能够订阅同一主题并接收所有结果。根据要求，可以存储或显示结果(例如网格扫描会导致陆军部+GUI）。消息传递代理，它是我们系统的关键组件，专门用于陆军部+与服务器相关的通信不会过载，并且在无需人工干预的情况下工作数月都非常可靠。

3.4。陆军部+图形用户界面

这个陆军部+GUI是在SLS开发的，并部署在所有三条MX波束线上。这个陆军部+GUI是使用Eclipse RCP 4.5版（MARS版本）在Java中实现的，是daq基础设施的一个组成部分。除了一些特定于波束线的功能外，GUI在所有三条波束线上基本相同，这使得它易于维护，并且用户可以轻松地在波束线之间切换。的单个实例陆军部+GUI在光束线控制台上初始化，用户可以在那里在光束线本地或从他们的机构远程监控他们的实验。中可用的模式陆军部+GUI欢迎窗口包括“手动安装”、“样本更换器安装”和“板屏蔽”（特定于光束线X06DA）。这些实验模式代表逃跑状态机模式。平板筛选使用户能够测试初始结晶点击并在室温下收集数据就地以自动化方式（宾格尔-埃伦梅耶等。, 2011). 在光束线X06DA处，切换到平板筛选模式（包括机器人夹持器的更改）需要不到2分钟的时间。在数据采集期间，用户可以使用来自陆军部+GUI的顶栏。

3.4.1. 数据收集窗口

模块化结构应用于整个陆军部+GUI允许轻松实现新功能。主要陆军部+GUI“数据收集”窗口由“手动安装”实验模式中的多个选项卡组成（图2). “Escape”选项卡显示样本交换和样本对齐模式，并指示当前处于活动状态的模式。在“数据”和“数据收集”选项卡中，用户可以指定实验类型（筛选、收集或高级）并输入实验参数（图2b条). “高级”选项卡允许定义复杂的SAD和MAD数据收集协议，例如反向光束,interleave_and_inverse_first（交叉和反向优先）,交错_反向_全部和交错无反转（亨德里克森等。, 1985; Dauter，1997年; 芬克等。, 2016; 图2c（c）). 在反向光束方法：将连续图像（10～30°）的薄楔形分开180°采集。这个交错该方法使用薄楔子集合，如反向光束，对于两个或多个MAD波长。的排列反向光束和交错方法导致interleave_and_inverse_first（交叉和反向优先）,交错和反向全部和交错无反转协议。

图2 这个陆军部+图形用户界面。(一)陆军部+光束线X06DA处手动安装模式下的GUI数据采集窗口。示例摄像机视图显示在中央的“校准”选项卡中，下面是“总体状态”和“日志查看器”选项卡。左侧是“退出”、“数据”、“采集”、“光栅化”、“筛选”、“收集”和“高级”选项卡，允许进行实验控制，而“Alignment Control”和“Bookmarks”选项卡位于右侧。(b条)带有“将数据集拆分为定义的书签”选项的“集合”选项卡。(c（c）)为定义了参数的“高级”数据收集选项卡反向光束MAD数据收集。(d日)带有样品杜瓦视图的“样品更换器”选项卡。3A位置的冰球和3A位置1的样品以深蓝色突出显示。

在光束线X10SA处，可以使用光阑调整光束大小，光阑可以在“数据采集”选项卡中移入或移出光束。在光束线X06SA处的两级聚焦可以轻松快速地将光束大小从5µm更改为100µm。当光束聚焦在样品或检测器上时，可以改变水平和垂直光束的大小（默认为600 mm检测器到样品的距离）。可以在主“数据收集”窗口中显示的附加选项卡中调整梁尺寸陆军部+GUI。

可以定义和执行基于快速连续衍射的二维网格扫描通过之前详细描述过的“Rastering”选项卡（Wojdyla等。, 2016; 图3). 样本相机的视频图像显示在“校准”选项卡中。通过交互式鼠标点击和旋转程序实现晶体定心。“校准控制”选项卡包含有助于样本定心的更多参数。

图3 这个陆军部+网格扫描选项卡。衍射结果的热图显示在样品的相机视图顶部，红色对应最强衍射。一个200×200的细胞网格扫描覆盖了一个LCP丸，其中含有约150个膜蛋白微晶中尺度原位系列晶体学（IMISX）板（黄等。, 2016). 使用EIGER X 16M探测器在50 Hz下用10µm×10µmX射线束收集数据。

光束线X06DA（Waltersperger）处的高精度多轴PRIGo测角仪等。, 2015)允许为本地和实验阶段数据收集定义最佳策略，尤其是本地SAD（Weinert等。, 2015). PRIGo公司χ和φ角度可以在“校准控制”选项卡中进行修改。创新型多轴SmarGon测角仪（SmarAct的PRIGo商业版）的未来实现，其特点是尺寸紧凑、精度高、融合范围小，将允许连续收集多方向数据。在示例视图中单击鼠标右键可以在示例中定义复合数据采集策略的位置。所选位置在示例视图中显示为洋红色下降，并显示在右下角的“书签”选项卡中陆军部+GUI窗口作为列表x个,年,z（z）坐标和测角仪角度。书签功能提供了不同的数据采集场景。假设用户要求的总振荡范围为90°，从ω在“数据收集”选项卡中=0°并定义三个书签位置，可以（i）在具有相同角度范围的每个位置收集收集选项卡中请求的完整振荡范围，即90°数据ω所有三个位置均为0°至90°；（ii）将振荡范围划分为每个书签，以收集离散螺旋扫描，即每个定义位置的30°数据ω=0°至30°（位置1）、30°至60°（位置2）和60°至90°（位置3）。复合数据收集的第三种情况是串行晶体学（SX）协议，其中在多个书签位置收集具有相同角度范围的小楔。由于SX协议通常用于具有许多微晶的样品，因此只能收集5–10°的数据，因此手动定义数百个书签位置是一项乏味的任务。因此，我们开发了一个自动软件例程，根据用户在陆军部+GUI并在每个选定位置收集小数据楔。SmarGon测角仪的加入将允许在我们的数据采集软件中实现螺旋扫描选项，该软件补充了书签功能。中提供的其他非标准选项陆军部+daq软件是用静态图像进行数据采集。此功能可与高镶嵌度晶体的网格扫描结合使用，并用于串行X射线晶体学数据采集。

“总体状态”选项卡显示当前机器和束线参数，如环电流、能量、，通量和低温喷射器温度。它还提供了基于数据收集参数的辐射损伤估算。根据先前发布的方程式计算出晶体给定预期寿命剂量的最大推荐帧数（Holton，2009). 显示了2 MGy（分阶段限制）、10 MGy和20 MGy（亨德森限制）寿命剂量的平均和保守估计值。“日志查看器”选项卡显示了整个实验过程中硬件和软件控件的详细信息。

在“样本转换器安装”模式下，“数据采集”窗口中有一个名为“样本转换器”的附加选项卡（在“校准”和“摄像头”选项卡之间；图2d日)它允许使用低温自动传输系统（CATS）机器人（Jacquamet）远程控制自动样品安装等。, 2004). 目前在波束线X06DA上实现的样本丢弃功能大大减少了样本交换时间。带有示例信息的标准化电子表格可以加载到陆军部+与CATS机器人结合使用的GUI。

这个陆军部+GUI“数据收集”窗口经过优化，可以为用户提供执行标准数据收集测量所需的所有工具。同时陆军部+GUI还允许使用许多可选参数对实验进行更精细、更复杂的控制。某些参数（如自动数据处理选项）可以直接在“选项”菜单中从陆军部+GUI顶栏。其他选项卡可以显示在主窗口中现有的选项卡中，例如“数据采集”选项卡中的探测器高度。其他选项卡可以根据需要显示在主“数据采集“窗口中，如光束线X06SA上的“调整光束大小”选项卡。

3.4.2. MAD窗口

X射线吸收边缘扫描在陆军部+GUI“MAD”窗口（图4). “MAD Expert”选项卡位于左侧列，分为多个子窗口，这些子窗口反映了从上到下的步骤顺序。在第一个子窗口“Select element&edge”中，用户可以从下拉菜单中选择一个元素，在“Select energy”子窗口中，可以将能量更改为高于理论X射线20 eV吸收边缘。同一个子窗口包括一个名为“转到1Å”的按钮，它允许将能量更改为默认的本地数据收集波长。在“设置波束传输”子窗口中，用户可以通过单击“传输搜索”按钮来执行自动传输搜索，以优化信号强度。“X射线荧光测量”子窗口允许通过预定义的光束传输记录荧光光谱。生成的原始数据绘制为计数数对“MAD Spectrum”选项卡中的能量。灰色区域标记所选元素的感兴趣区域（ROI）。如果ROI的计数数量令人满意，则扫描X射线周围吸收边缘可以从“Element scan edge”子窗口执行。边缘扫描的结果与反常散射因素（f）'和（f）使用程序确定CHOOCH公司（Evans&Pettifer，2001年). “MAD Expert”选项卡底部显示了拐点、峰值和高远程实验的波长。单击“转到…”按钮可以更改能量。所有原始数据和分析结果都存储在用户帐户中的专用荧光文件夹中。

图4 这个陆军部+GUI MAD窗口。“MAD Expert”选项卡分为多个子窗口，反映执行步骤的顺序。“MAD Spectrum”和“MAD Scan”选项卡根据光谱和X射线的能量进行计数吸收边缘分别扫描。根据程序分析，建议了进一步MAD实验的能量CHOOCH公司.

4.自动数据处理

SLS MX光束线配备了三个单光子计数混合像素阵列探测器，即PILATUS 6M-F（X10SA）、PILATUS-2M-F（X06DA）和EIGER X 16M（X06SA）。两个PILATUS探测器以CBF数据格式写入数据，每个文件有一个X射线衍射图像（每个数MB）。EIGER X 16M以NeXus数据格式（Könnecke）存储数据等。, 2015)根据HDF5的大分子晶体学（NXmx）功能应用定义（HDF Group，2014)作为容器。探测器和实验元数据存储在一个主文件中，该主文件包含指向单个或多个数据文件的链接，每个数据文件的大小约为800 MB，并包含一组衍射图像。这个adp程序例程为两种格式的数据提供近实时结果。对于具有360°总范围、0.1°振荡和0.1 s曝光时间的标准数据集，在完成数据采集之前，用户平均需要80 s才能快速处理前180°数据。完整数据集处理，包括多个步骤，如空间组确定、分辨率截止调整和转换为SHELX公司和mtz格式，不到6分钟。Adp公司是用Python 2.7编写的，使用了许多大分子晶体学软件包，即XDS公司（卡布施，2010年),无意义（埃文斯，2006年),phenix.x分类（兹瓦特等。, 2005),标签（张）等。, 2006)和MOSFLM公司（巴蒂等。, 2011). 目前，自动数据处理提供了一种基于衍射屏幕截图和标准数据集处理结果的策略。用于管理和监视Unix系统的开源实用程序莫尼特(https://mmonit.com/monit/)确保四个adp程序守护进程在每个波束线特定的在线计算集群上都是活动的。主要自动数据处理名为JobManager的模块从DA+服务器 通过代理队列，分析其内容，进行数据处理，并将结果发送到MX数据库和波束线特定的代理主题。

对于标准数据集，adp程序分为两个步骤：“快速步骤”（称为fastxds），后面是“完成步骤”，用于完全处理所有数据。Fast_xds是一个包装器函数，它使用XDS公司项目包（Kabsch，2010). 为了最大化数据处理速度，fast_xds被分成三个连续运行。为每个fast_xds阶段选择的角度范围取决于所收集数据集的总角度范围。例如，对于180°数据集，对30°数据（XYCORR和INIT）执行fast_xds_1，对60°数据执行fastxds_2（COLSPOT和IDXREF），对120°数据执行fast_xds_3（DEFPIX INTEGRATE CORRECT）。Fast_xds提供了关于数据质量的近实时反馈，允许用户对进一步的数据收集策略做出快速而明智的决定。使用内部开发的go.com网站管道，它最初使用XDS公司在中空间组 P（P）1使用所有帧。在下一步中空间组使用确定无意义（埃文斯，2006年)，数据被重新整合（如有必要）并在新的空间组。在最后一步中，使用phenix.x分类（兹瓦特等。, 2005)并且准备最终的mtz文件。在所有三个fast_xds阶段结束时go.com网站管道，解析选定的输出文件以提取关键统计信息，这些统计信息将发送到MX数据库通过REST客户端。

这个自动数据处理策略计算因数据格式而异。在CBF格式的情况下，衍射图像用标签（张等。, 2006)策略的计算公式为MOSFLM公司（巴蒂等。, 2011). 对于HDF5格式的数据，初始步骤涉及使用开源转换为CBF数据格式艾格2cbf脚本(https://github.com/biochem-fan/eiger2cbf). 生成的数据文件包含一个CBF头文件，该头文件具有正确的实验元数据，允许使用执行索引和策略计算MOSFLM公司.

5.数据库和跟踪器

安mxdb型数据库系统接收并存储用户和波束线设备在测量期间生成的所有元数据，为所有三条SLS MX波束线提供服务。首先，数据库收集与实验条件相关的信息（例如X射线能量、光束大小和衍射图像的位置），以及自动数据处理此外，它还跟踪对光束线操作和测量精度至关重要的硬件单元的操作参数。主要目的是mxdb型用于存储用户进行波束后时间分析的信息，并向工作人员提供有关波束线使用模式的统计信息。Mxdb公司由数据库引擎和web服务器组成(mxdb服务器)，允许与外部服务进行通信（图5). 这个mxdb服务器是一个用Flask微框架编写的Python 2.7应用程序。它提供RESTful API来向数据库插入/更新文档，并使用模拟查询语法检索文档MongoDB数据库查询类型(即 找到,找到一个,不同的,骨料). API接受并返回通用JSON格式的消息。这大大简化了访问百万分贝不考虑编程语言，而是安装、实现和维护特定于其他语言的其他应用程序MongoDB数据库驱动程序，它们只需要提供一个HTTP请求。

图5 与的通信示意图mxdb型.Mxdb-服务器,adp跟踪器和MongoDB数据库部署为Docker容器。Mxdb-服务器和MongoDB数据库容器被链接mxdb服务器提供唯一的接入点MongoDB数据库.Python应用程序，如自动数据处理和DA+服务器与…沟通mxdb服务器 通过 mxdb-客户端。在波束线上运行的非光子应用程序与mxdb服务器直接通过HTTP请求。Adp-跟踪器依赖于由发出的服务器端事件（SSE）mxdb服务器要查询mxdb型并更新其显示。

我们受益于MongoDB数据库(https://www.mongodb.com/)无模式设计，不强制执行严格的数据存储格式。这使我们能够轻松适应mxdb型新的实验协议，并重新组织现有数据，以便于其他应用程序显示和分析，例如adp跟踪器。我们实施了一个简单的存储组织级别，将数据集保存在一个树状结构中（“project/target/crystal”）。在插入数据库之前，每个消息都在mxdb服务器以确保其正确的插入点或对树结构中位置的引用。解析器还检查数据的一致性；例如，确保每个波束线名称的标签相同，格式化时间戳或检查数据库中每个文档中必须存在的预定义字段的存在。的两个组件mxdb型,即 MongoDB数据库和mxdb服务器，使用链接的Docker容器进行部署，其中mxdb服务器是唯一的访问点MongoDB数据库实例。为了简化通信并减少其他需要访问的应用程序的样板代码mxdb型我们已经创建了mxdb-客户端模块，它包装了最常用的mxdb服务器在方便使用的Python类中调用REST（图5).

除了存储数据以供进一步检索和分析之外mxdb型在用户测量移位期间，充当波束线上可用在线服务的骨干。它实现了一个基于服务器端事件（SSE）的通知系统，该系统将到达数据库中选定集合的文档流传输到订阅的客户端应用程序。目前的主要消费者是adp跟踪器，可实时显示自动数据处理在用户束流时间内进行数据分析。这个adp跟踪器是基于Google Polymer Library的HTML5 web Components标准编写的web应用程序(https://www.polymer-project.org/). 当前已访问通过来自光束线控制台的web浏览器，为用户提供关于正在进行的数据采集质量的实时反馈。在未来两者mxdb型和adp跟踪器远程用户可以访问。设计adp跟踪器有意选择与移动和平板设备兼容。的左侧面板adp跟踪器在束线测量期间可用的应用程序显示了带有收集数据集的排序列表（图6). 该列表的每个元素都表示数据集的名称、数据收集开始的时间以及自动化数据处理的不同阶段的状态：“初始化”、“索引”、“快速处理”和“Go.com”由数据集名称下方的图标表示。每次通知，作为SSE从mxdb型，触发数据集列表中信息的自动更新。这可以是新数据集处理的开始（出现在列表顶部），也可以是自动数据处理步骤。可用状态有“挂起”、“运行”、“成功”、“失败”和“取消”，每个状态都由不同的图标表示。在数据集列表的右侧，adp跟踪器显示了显示所选数据集详细信息的主窗口。它以表格形式显示，其中每个表格都显示一个自动数据处理处理阶段。每当自动数据处理阶段完成后，一个新表或错误消息（例如，由于数据质量差）将出现在当前处理数据集的视图窗口中。为了保持adp跟踪器我们在主窗口上方的顶部垂直条中仅显示了五个最新策略计算的结果（图6).

图6 第个结果，共个自动数据处理显示在基于web的adp跟踪器。顶部窗口显示最后一个屏幕截图的策略计算结果。以下是内部自动数据处理最后一步的结果go.com网站显示名为lyzosyme1的示例的管道。表格包括实验参数、晶体参数、，孪生分析，无意义 空间组确定和最终xds正确。LP表格。

6.EIGER实施

最近的主要硬件升级之一是在光束线X06SA安装了第一台Dectris EIGER X 16M探测器。由于MX SLS数据采集软件的灵活性，将新探测器集成到我们的基础设施中证明非常简单。类REST SIMPLON API（Dectris）提供了对EIGER X DCU的平台相关访问。内部开发的基于Python的软件允许与DCU通信通过专用客户端。通过使用多种通信方案，实现了EIGER X 16M探测器的全部潜力和数据处理的最大速度（图7). 在确保波束线硬件处于正确状态并且根据用户定义的数据采集参数配置探测器后，DA+服务器与测角仪控制系统（Aerotech或SmarGon）通信通过EPICS（图7，绿线）。驱动数据采集阶段的Aerotech控制器(Ω和/或X（X）或Y（Y）)发出位置同步的TTL信号，打开快门并触发检测器（图7，品红色线）。将元数据和帧写入HDF5文件的fileWriter将启动。生成的数据文件从DCU传输到文件服务器通过使用Web分布式授权和版本控制（WebDAV）协议与cURL的10 Gb连接之一（图7，黄线）。存储在文件服务器上的数据显示在用户控制台上的ALBULA衍射查看器（Dectris）中，并使用进行处理自动数据处理在标准数据收集的情况下。第个结果，共个自动数据处理交付给mxdb型数据库通过经纪人（图7，灰色虚线）。在网格扫描数据采集的情况下，DA+服务器不仅激活fileWriter，还激活流模块。DA+服务器发送image_appendix，其中包含处理衍射图像所需的所有实验元数据（图7，蓝色虚线）。传输图像和标题数据通过Push/Pull方案中的ZeroMQ套接字(http://zeromq.org/)使用DCU和文件服务器之间的第二个10 Gb连接。每个“图像数据”ZeroMQ多部分消息都包含位模糊（32位）和lz4压缩数据(https://github.com/kiyo-masui/bitshuffle)和image_appendix。SIMPLON API服务器打开ZeroMQ Push套接字和文件服务器上基于Python的专用客户端（称为mflow_splitter（mflow_splitter）)打开队列大小为2000条消息的ZeroMQ Pull套接字（图7，红线）。这个mflow_splitter（mflow_splitter）客户端进一步转发传入的ZeroMQ消息；它生成流并将消息（队列大小为1条消息）推送到计算节点上的网格扫描守护进程通过40 Gb Infiniband连接（图7，红线）。有140个专用网格扫描守护程序进程由莫尼特实用程序并分布在七个在线计算节点上，这些节点使用传入的消息。守护进程解压缩数据并使用标签.distl程序包例程（张等。, 2006)或猎豹的峰值指示器8常规（Barty等。, 2014)，而在计算节点的内存中。结果报告给陆军部+图形用户界面通过经纪人（图7，灰色虚线）。

图7 波束线X06SA上EIGER X 16M操作所需的通信网络示意图。字符输出流用于将数据文件写入GPFS，并在ALBULA衍射查看器中显示衍射图像。将网格扫描衍射图像流式传输到计算节点的内存中，可以进行在线分析。DA+服务器发送图像_附录，其中包含处理衍射图像所需的所有实验元数据，例如探测器距离、波长和光束位置。

EIGER X 16M可以实现133 Hz的全帧帧速率；然而，ROI功能能够以更快的速度读取缩小的检测器区域。EIGER X 16M的4M ROI读数覆盖了八个中央模块，可达到750 Hz的帧速率。用户可以在中配置ROI陆军部+用于标准数据采集（默认值为16M）和网格扫描（默认值是4M）的GUI。4 M ROI特别适用于对具有多个微晶的大样本进行快速网格扫描，例如固体支架（Hunter等。, 2014; 费尔德等。, 2015)和中尺度原位系列晶体学（IMISX）板（黄等。, 2015, 2016)因为4M图像的评估时间仅为16M图像所需时间的一小部分。图3显示了在微晶上以50 Hz的微束进行网格扫描的示例计划升级SLS储存环，从而增加光束通量密度在我们力所能及的范围内以500 Hz的频率进行网格扫描。创新硬件解决方案与计算机能力相匹配至关重要。因此，我们正在升级X06SA在线计算节点，以确保对以如此高的帧速率收集的数据进行实时数据处理。

7.总结

内部开发的分布式陆军部+daq软件已在所有三条SLS MX波束线上实现。它受益于多种通信方案，消息传递和REST API是两种主要模式。陆军部+daq提供了一个简单直观的GUI，允许进行简单的实验控制。这个陆军部+GUI支持简单和复杂的数据采集策略，并提供不同级别的实验参数控制，例如按需定制的波束大小、探测器高度偏移或波束线设置的专家选项卡（可供波束线工作人员使用）。快速在线自动数据处理为用户提供数据收集策略和关于数据质量的即时反馈，这些信息显示在adp跟踪器.实验元数据和自动数据处理结果存储在MongoDB数据库数据库。未来，自动数据处理例程将被扩展以涵盖更广泛的数据收集协议，尤其是反向光束,能量交错自然-SAD和系列晶体学实验。这将由用户界面加以补充，该界面允许远程浏览数据库中存储的数据并安排数据处理作业。进一步的改进包括基于加载到陆军部+实验之前的GUI。在X06SA波束线上安装EIGER X 16M，可以实现全帧133 Hz的帧速率和4 M ROI 750 Hz的帧频率，显著提高了晶体筛选和数据采集速度。计算资源的优化管理，结合高效的通信和软件解决方案，在标准数据收集和快速网格扫描的情况下，为用户提供近实时的数据处理结果。

多组分SLS MX陆军部+daq功能齐全，但足够灵活，可以适应不断发展的波束线环境，无论是新的硬件、软件还是数据收集方法。总的来说，我们正在使用最先进的硬件和软件解决方案，这些解决方案使SLS MX光束线保持在同步加速器MX世界当前前景的最前沿，并为预期衍射限制SLS储存环升级的进一步发展奠定了坚实的基础。