1.简介

第三代同步加速器光源在解决结构生物学中的挑战性问题方面取得了巨大成功。即使使用现代同步加速器，也能提供～10¹² 光子⁻¹，每个样本的数据收集仍然需要几秒到几分钟的时间。这些照射过程中的辐射损伤是X射线失败的主要原因结构测定（泽尔丁等。, 2013). X射线自由电子激光器（XFEL）实现了一种“先衍射后破坏”的方法，可以绕过这个问题，并有效地提供无损伤衍射数据集（查普曼等。, 2011; 科恩等。, 2013; 线路接口单元等。, 2013; 平田等。, 2014). 此外，新的样本传送和数据采集硬件使得在XFEL和现代同步加速器束线（Gati等。, 2014). 了解这些越来越多使用的数据源中系统变化的原因对生物结晶学具有普遍的重要性。

分析XFEL晶体衍射实验数据的最大挑战之一是数据处理。到目前为止，XFEL数据处理工作的重点是处理单个图像的基本任务，并且在这一领域已经取得了相当大的进展（怀特等。, 2012; 哈特尼等。, 2014). 然后，将所有这些单独图像的积分强度合并到一个步骤中，但到目前为止，还没有考虑晶体之间或单晶不同区域之间的变化，这构成了一个完整的衍射数据集。变异的来源可能包括侧链和主链的具有生物学意义的交替构象、多组分大分子复合物的不同构型/构象，以及衍射质量中的单位间变异、镶嵌性和样品间变异等挑战性问题。我们开发了一套工具数据探索工具包，以一种对具有同步加速器晶体成像经验的用户直接有意义的形式，为实验者提供对原始未合并数据的即时洞察。

2.方法

3.工具包概述

The intended use of the数据探索工具包旨在为实验人员提供关于其未合并衍射数据的异质性和质量的反馈。在合并之前执行这些分析是关键。例如，一个穷人相关系数或R（右）合并统计数据中的因素并没有对这些低分数的来源提供任何指导：是所有的晶体都同样糟糕，还是晶体是由个别群体组成的，这些群体的衍射图案可能会很好地分开合并，但当合并在一起时，内部一致性较差？

该工具包由四个命令行程序组成，用户可以通过cctbx.xfel公司（见表1). 单元-单元聚类工具，集群.unit_cell使用对称软件Andrews–Bernstein距离（Andrews&Bernsteim，2014; 麦吉尔等。, 2014)或简单的欧几里德距离度量。定向偏差工具，群集.visualize_orients，允许直接、实验室框架可视化晶体的方向；这使得可视化任何晶体的系统排列变得简单。由于该工具允许实验人员快速识别偏差（通常在几分钟内），因此，如果存在明显偏差，可以决定跳过样本，从而更有效地使用宝贵的XFEL波束时间。整体强度工具，集群强度统计，显示所有图像的部分强度相对于分辨率的伪威尔逊图，以及帧间强度工具，集群.individual_frame_intensity，显示了部分强度在逐帧基础上的分布。强度工具有助于在合并之前识别图像子集的衍射强度异常。异常值可能是由诱导错误或衍射不良引起的；区分这些原因的一个简单测试是对使用单位细胞聚类工具识别的衍射图像的高度同晶子集重复强度分析。最后，这四个工具的输出可以显示在一个图形中，以便使用命令快速概述衍射数据的当前状态集群.42，提供单位-细胞分布、晶体取向和部分强度反射的分布与分辨率。每个程序都作用于cctbx.xfel公司可以指定图像文件和其他参数通过命令行。

例如数据探索工具包用于最近收集的基于测角仪的789张图像数据集，其中可以使用飞秒XFEL脉冲从大多数晶体中获得多个衍射图案，详见§2.4。在初始集成运行后，对367个图像进行了索引。将单元-细胞聚类工具应用于这些图像显示了两组重要的索引解决方案（图1)分别包含249个和69个成员。这些晶体与两种不同的已知晶体形式有关，分别称为“长”和“短”晶胞。两个单位细胞都是正交的(对222）格子，长格的中央单位-细胞边缘为（69，169，288）Au，短格的中央单元-细胞边缘是（69，146，170）Au单位电池（支持信息中显示了完整的集群日志文件）。然后使用长单元作为目标对衍射数据进行重新整合，得到443帧索引。对这些新整合结果进行的第二轮聚类显示，其中427个位于单个集群中（补充图S1一)，然后将其用于合并步骤。使用short单位电池作为一个目标，导致97张图像被索引，其中93张在一个紧密的集群中（补充图S1b条). 当使用以这种方式确定的最佳目标细胞时，有效索引图像的增加通常为50-100%。检查整个数据集的晶体方向（图2)，我们观察到与数据收集期间分析传入衍射图案时所观察到的结果一致的显著偏差，这表明测角仪装置上的大晶体倾向于具有首选定向在循环中。最后，检查伪威尔逊图（图3)结果表明，衍射数据中没有严重异常（例如，在高分辨率下强度增加），这可能表明存在次优积分参数。帧间温度因子和标准误差的分布（来自帧间局部强度分析；补充图S2中所示的示例）也没有显示许多离群值或多模态分布。

图1 测试数据的分层聚类，具有线性（顶部）和对数（底部）年轴。树的每个分支低于阈值（5000Ω2)定义为簇并单独着色。单元素簇用蓝色标记。这两种晶体形式以绿色和黑色显示，分别代表长细胞和短细胞形式。然后，可以将每个聚类的中值用作目标，以获得显著更高的索引率。

图2 实际空间轴的定向分布(一轴，顶部；b条，中间；c（c），底部），显示出明显的偏差，可能是由于回路中晶体的首选方向。描述晶体轴方向的单位矢量投影到单位球体上，其相对于光束的方向以经纬度表示，以便于解释。因此（0，0）沿梁，北/南表示上/下，东/西表示右/左。此工具是对菲尼克斯反射查看器(菲尼克斯数据查看器; 亚当斯等。, 2010)，它可以可视化任何缺少的楔子倒易空间，因为它提供了对实验室框架的直接参考，允许在可能的情况下进行实验调整。对于每个晶体，三个实际空间轴的实验室框架方向显示为黄色点。增加了实际空间轴的平均密度，以帮助解释趋势。

图3 在没有目标单元格的情况下集成的部分未合并数据的强度统计。主图显示了强度随散射角增加而单调下降的趋势。从每帧伪威尔逊图（示例如补充图S2所示）聚合而来的左侧图显示了一些离群值，与图1中存在的离群值一致类似的图，但当长细胞用作晶体靶时，显示的异常值较少，如补充图S3所示。两者的极值G公司（比例因子；主图中的截距）或−2B类（右侧图中的斜率）可能是由诱导错误引起的，可以通过在cctbx.xfel公司环境。

4.结论

使用数据探索工具包为了识别特定晶体学实验中存在的多种晶体形式，并指导目标晶胞的选择，增加了成功索引的图像数量。该套件中的其他工具使我们能够理解实验设置中的方向偏差，并在合并前对积分强度进行“健全性检查”。综上所述，这些工具为实验人员在处理未知的具有挑战性的串行数据集时提供了快速、简单和有价值的方法。

这项工作中提供的工具使实验人员能够对其串行数据的异质性获得有价值的见解，并在数据收集期间获得关于点定位和集成参数的快速反馈。我们的工具扩展了CrystFEL公司一套单元格浏览器（_E）可视化单个单元-单元参数直方图的工具（白色等。, 2012). 当将此信息与更传统的合并统计数据一起考虑时，与单独使用这两种工具相比，可以更清楚地了解数据质量。因此，这些方法适用于两个层面。首先，在实验中，它们可以用来帮助识别诸如方向偏差或误导性命中率之类的病态。考虑到目前XFEL波束时间的极度匮乏，这种方法也将有助于指导关于何时继续使用另一个样本或何时继续使用的决策。其次，在数据处理过程中，这些工具对未合并数据的质量提供了快速而有价值的反馈。命令行工具提供的功能也可以从应用程序编程界面访问，因此具有高度的可扩展性和可定制性，可供高级用户在数据处理期间使用。该接口允许使用简短的Python脚本应用过滤器或选择单个集群进行进一步处理。我们希望这些快速、简单易用的数据勘探工具能够有效测量高质量的连续晶体学衍射数据。