1.简介

为了满足高度自动化和可靠性操作的要求，需要一个用户友好且健壮的数据采集系统来集成束线硬件和生物大分子晶体学（MX）束线的底层软件。自2010年以来蓝冰系统（McPhillips等。, 2002)已应用于上海同步辐射装置（SSRF）束线。这个蓝冰该系统最初由斯坦福同步辐射光源开发。SSRF MX组已移植蓝冰并与Rigaku ACTOR样品转换器集成，用于安装/拆卸样品、远程访问和自动晶体筛选。近年来，随着Pilatus和Eiger等混合像素阵列探测器的普及，所收集的衍射数据量急剧增加。为了克服这一挑战，一个自动数据处理和实验信息系统，可以与蓝冰开发并部署在SSRF MX波束线上（Yu等。, 2019). 然而，SSRF加速器和光学设备以及我们新自制的衍射仪和样品变换器都使用实验物理与工业控制系统(EPICS系统). 因此，维护和开发蓝冰需要做很多额外的工作。

除此之外蓝冰在过去20年中，开发了多种数据采集软件和图形用户界面（GUI），包括BSS系统（上野等。, 2005),CBASS公司（斯金纳等。, 2006),星星（山田等。, 2008),Mx铜BE2（加巴丁霍等。, 2010),JBluIce-EPICS公司（希尔加特·斯特帕诺夫等。, 2011; 马卡洛夫·斯特帕诺夫等。, 2011; 斯捷潘诺夫等。, 2013),GDA公司(https://github.com/opengda/gda-diamond)和达+（沃伊迪拉等。, 2018). 近年来，为了应用更安全、响应更快的远程访问模式，已经成功开发并部署了几个基于网络的数据收集系统，用于许多MX波束线或其他波束线，例如WIFIP公司（Sallaz-Damaz&Ferrer，2017年),亚布克斯（澳大利亚同步加速器），MXCuBE3型（米勒等。, 2017)和得其利（费希尔等。, 2021). 受这些进展的启发，并进一步考虑到我们的实验信息系统也使用web界面，开发一个具有web界面的数据采集系统可以更深入地集成两个系统，并通过共享部分源代码（例如原始图像查看器和数据库操作）来减少工作量。考虑到这些因素，我们开发了Finback公司–一个新的MX数据采集系统，实现了一组预期用于自动MX波束线的功能，并包括用于交互式数据采集的用户友好的基于web的GUI。Finback公司现已部署在SSRF BL02U1和BL10U2，自2021年6月起可供用户使用。

2.梁线端站配置

SSRF BL02U1和BL10U2都配备了一台国产衍射仪和一台名为Swordfish的国产换样器。面积探测器分别为Eiger2 S 9M（BL02U1）和Eiger X 16M（BL10U2）。数据存储服务器和计算集群由SSRF Phase II computing Center提供，包括用于所有SSRF波束线的约6.9 PB存储空间和48个计算节点（每个节点具有两个Intel Xeon Gold 6140 CPU和128 GB内存）。光束线和数据存储服务器通过40Gbit网络、数据存储服务器和计算节点通过Infiniband网络连接。对于在线数据处理，部署了一个名为Seal的自动数据处理后端，该后端提供了一个称为SealWeb的基于web的交互界面，用于检查处理结果（Yu等。, 2019). 部署在每条光束线上的额外CPU节点和GPU节点专门用于处理网格扫描X射线衍射图像和基于Mask RCNN的人工智能晶体定中心（He等。, 2017)分别是。得益于Eiger探测器的流数据，网格扫描图像在数据采集过程中同时进行处理，因此可以在扫描时显示实时网格扫描分析结果。

3.软件基础设施

这个Finback公司数据采集系统包括前端和后端，以及传输层安全（TLS）上的Redis消息代理和一系列用于光束线设置、现场实时原始图像监控、，等（图1).

图1 软件基础设施Finback公司. TheFinback公司组件显示在阴影框中。之间的通信协议Finback公司组件、硬件、LDAP、用户数据数据库和自动处理后端由不同的彩色线条表示。

前端是用于用户操作的基于web的交互式界面。逻辑代码是基于角度框架和GUI是基于Fomantic-UI公司框架。角度也是SealWeb中使用的，是一个流行的前端框架，支持数据驱动的前端接口动态呈现，无需刷新页面。Fomantic用户界面是一个响应性web设计框架，支持根据实际显示的页面大小动态调整页面布局。为了减少维护困难，前端的源代码在两条波束线上完全相同。某些波束线特定功能可以通过波束线参数配置启用或禁用。

由于所有设备都使用EPICS系统，除了由RESTful API控制的Eiger检测器外，我们选择EPICS系统用于硬件驱动程序。因此，不需要原始DHS驱动程序。这个EPICS系统系统支持对过程变量（PV）值进行异步监视，一旦更改值，就可以执行回调。使用此机制，可以监视一系列特定的PV，并实时将充电值传输给客户端。然而，Http协议是一种半双工协议，无法支持前端和后端之间的实时双向通信。得益于HTML5，WebSocket协议被引入了现代浏览器。因此，浏览器可以使用套接字实现前端和后端之间的实时双向通信。在Finback公司，WebSocket通信和消息解析作为单独的WebWorker线程运行。的延迟Finback公司该系统类似于其他MX数据采集系统，例如蓝冰实际上，一天最多可以测量600多个晶体。

后端由web服务器、EPICS系统服务器、操作服务器和原始图像服务器。web服务器使用编写节点.js，通过轻量级目录访问协议（LDAP）提供登录授权，并为示例信息和数据处理结果提供数据库操作。其他服务器使用Python编写，实现硬件状态、原始衍射图像和用户操作的实时传输。

在Finback公司客户端GUI，支持WebSocket上的四种不同类型的命令：

(1)EPICS系统命令。的WebSocket上的远程过程调用（RPC）笼子和帽子在中部分实现EPICS系统服务器。EPICS系统命令主要用于设置光束线参数和控制简单的硬件，例如手动切换衍射仪快门。

（2） 设备命令。在操作服务器中实现，包含复杂的硬件移动。

（3） 操作命令。最常用的，如自动居中和数据采集。运行操作命令时Finback公司客户端GUI被锁定，除了中止命令外，将不会执行其他命令。

（4） 中止命令。根据需要终止操作命令。

在Finback公司GUI中有五个操作选项卡，分别是“收集”、“原始图像”、“协议”、“工具”和“管理”。其中，“采集”选项卡用于样本交换和数据采集，“原始图像”选项卡用于原始图像检查，“协议”选项卡用于导入样本信息，“工具”和“管理”选项卡主要由光束线工作人员使用。

3.1. “集合”选项卡

“集合”选项卡是Finback公司GUI，包括运动、样本交换、数据采集和荧光扫描，以及显示自动索引结果（图2).

图2 的界面Finback公司. (一)导航栏。可以选择五个选项卡。导航栏未激活时会自动隐藏。“采集”选项卡负责样品装载/卸载、荧光扫描和数据采集。“原始图像”选项卡用于显示原始衍射图像。“协议”选项卡负责导入样本信息。“工具”选项卡目前提供实验站的实时视频，主要供远程用户观察实验站设备的状态。“管理”选项卡由光束线工作人员使用。(b条)“收藏”选项卡。例如蓝冰,Finback公司支持多个客户端同时登录，但只有一个客户端可以操作。用户可以通过单击右上角的Control按钮在主动和被动状态之间切换。

界面左侧包含与样本相关的操作和信息。用户可以首先使用协议选项卡导入样本信息并在样本转换器杜瓦中设置样本位置，然后根据样本名称或样本转换器中的位置安装或卸载样本[图3(一)]. 在Finback公司我们采用以样本为中心的经营模式。所有收集操作设置及其结果都设计为样品对象。这些设置和自动索引结果也显示在此区域中。自动索引是使用异步执行的DIALS（刻度盘）（冬季等。, 2018)，这意味着用户在开始新的数据收集之前不需要等待自动索引结果。这有助于有经验的用户最大限度地提高光束时间的效率。

图3 (一)示例队列。单击左侧sample队列列中指定样本名称右侧的Mount按钮，以装载相应的样本。样本队列可以一次导入数百个样本，这对于基于片段的潜在客户发现（FBLD）屏幕活动非常有用。(b条)网格扫描。衍射结果的热图显示在样品的相机视图顶部，红色对应于最强的衍射。13×10细胞网格扫描覆盖蛋白质晶体。数据采集采用Eiger S 9M探测器，40 Hz，20 mm×20 mm X射线束。得益于Eiger探测器的流数据，网格扫描图像在数据采集过程中同时处理，并立即显示在浏览器上。

界面的中间部分是示例相机。目前，SSRF BL02U1和BL10U2使用GigE彩色摄像机（Hikvision MV-CA013-20GC，1/2“CMOS，1280×1024像素）。这些摄像头由EPICS系统Aravis驱动程序和MJPEG视频流使用FFmpeg格式服务器。Finback公司直接支持MJPEG视频流。有三种方法可以在现代浏览器中渲染摄影机视图：可缩放矢量图形（SVG）、画布和WebGL。其中，SVG提供了最高级的API函数，并且最容易实现摄像机视图，而不依赖于第三方库。但是SVG对对象的数量有限制，太多的对象会降低渲染速度。的初始版本Finback公司使用SVG绘制相机视图，在大多数情况下运行平稳。然而，如果网格扫描需要1000个以上的单元，则接口的刷新速度太低，无法使用。的当前版本Finback公司使用PIXI.js公司绘制相机视图。PIXI.js是一个基于WebGL的二维图形库，它可以利用图形卡最大限度地提高显示性能，如果不支持WebGL，则可以自动返回画布。绘制了10000多个点，并随着网格扫描中的样本移动而平滑移动[图3(b条)]. 要对齐样本位置，有两种不同的样本对齐方法：手动和自动。在手动选项中，鼠标滚轮单击对应于样本平移和ω旋转90°，鼠标滚轮滚动对应于相机缩放。因此，只需单击鼠标滚轮即可对齐样本。单击鼠标左键也可以使用样本平移和旋转的隔离操作模式。利用Mask-RCNN深度神经网络技术实现晶体的全自动定心(https://github.com/matterport/Mask_RCNN). 该图像识别程序将尝试在对准前识别0°和90°处的晶体和环。对齐后，将旋转视图中具有较大区域的样本侧，使其与相机对齐，以进行后续观察和数据采集。

界面的右半部分是运动控制面板、快速水晶测试采集设置面板和快速数据集采集设置面板。可以使用快速收集设置面板完成常规收集任务。如果需要高级采集任务，例如反向光束、螺旋数据采集和网格扫描，则会提供带有详细设置的对话框。Finback公司支持使用Eiger探测器进行反向光束数据采集。对于反向光束，衍射图像的总帧数可以被子楔块中衍射图像的帧数均匀划分，采集后必须对.h5文件进行重新排序。

为了得益于软硬件的统一开发，在中实现了快速多角度测试图像采集Finback公司。当需要采集测试图像时，用户可以选择“1个图像”、“每90°2个图像”，“每45°4个图像”或“每90度4个图像。”。无论选择了什么项目，都只有一个臂命令将发送到检测器。当ω旋转到相应的角度时，衍射仪将向探测器发送1、2或4个触发信号。通过这种方式，可以将收集多张测试图像所需的时间降到最低。此外，由于缺少最后1或3张图像的起始角度信息，这些数据无法直接索引。要自动索引这些数据，Finback公司将在主文件中添加自定义记录和指定的脚本来索引这些数据，并返回索引结果和预测（图4).

图4 索引结果和预测的界面。采集测试图像后，DIALS（刻度盘）用于对这些图像进行索引，然后索引结果和预测图像显示在Finback公司.

3.2. 原始图像选项卡

Finback公司还支持在浏览器中为现场和远程用户显示原始衍射图像（图5). 受网络带宽和附加数据传输的限制，web原始图像查看器只能以低帧速率显示图像，并且仅适用于检查测试图像–它不适合监视数据采集过程。根据用户的网络地址是否在SSRF防火墙之外Finback公司后端将原始图像转换为zstd压缩格式(https://github.com/facebook/zstd)或未压缩格式，然后通过WebSocket传输协议发送这些二进制数据。对于Eiger X 16M，压缩格式的大小约为14MB，未压缩格式的约为70MB；对于Eiger2S9M，压缩格式约为9MB，解压缩格式约为35MB。在Finback公司客户端，我们还使用PIXI.js公司用于渲染原始图像。在渲染之前，必须解压缩原始线性化数据（如果需要），将其重新调整为位图，并执行颜色转换，包括亮度间隙、溢出像素和坏像素的调整和颜色标记。初始颜色转换代码是用JavaScript编写的，但只有在具有高性能实时（JIT）编译器的浏览器中才能提供可接受的性能(例如谷歌浏览器）。为了与更多浏览器兼容并获得更高的性能，我们使用C语言中的WebAssembly技术重新编写了颜色转换代码，因此现在可以更改原始图像查看器亮度并在各种现代浏览器上平滑地渲染原始图像。对于现场用户，我们还提供了一个名为albula助手。它接收来自Finback公司通过ZeroRPC后端，然后操作的Python API阿尔伯拉实时显示原始图像。

图5 的原始图像查看器Finback公司图形用户界面。收集测试图像或数据集后，测试图像或该数据集的第一帧将自动显示在原始图像查看器中。对于远程访问，如果带宽太低，用户可以选择JPEG格式而不是原始衍射图像。此外，用户主目录中的任何图像文件都可以打开。用户可以放大或缩小图像并调整亮度。左上角的图像是缩小后原始图像的局部区域。当以最大放大倍数缩小原始图像时，将显示每个像素的强度。

4.总结

我们最近在SSRF开发了一个MX实验环境，包括衍射仪、样品转换器、数据采集系统、自动数据处理管道和实验信息管理系统。作为该系统的一部分，Finback公司是用于MX数据采集的成熟且易于使用的软件系统。它继承了蓝冰这些年来已经被证明非常有效，例如服务器/客户端体系结构和远程访问的主动/被动机制。在Finback公司，硬件控制统一到EPICS系统更加精简，减少了维护工作。通过与国产衍射仪和样品转换器集成，可以轻松实现一些定制功能。通过与自动数据处理和实验信息管理系统集成，用户可以跟踪样本，从数据采集到数据处理，最后到检查和下载自动数据处理结果。这个Finback公司源代码可以通过电子邮件从相应作者处获得。