2.1. 现有方法和皮尔逊相关性

对于两种衍射模式，皮尔逊相关系数定义为（Brehm&Diederichs，2014)

其中{我_我}和{我_j}是从这两个图案测量的强度我和j、和{小时}是常见反射的索引。和是使用两个图案的共同反射计算的平均强度。然后设计聚类算法，将模式分组到正确的类中，以一致地分配索引。具体来说，Brehm和Diederichs通过使用BD算法将衍射图案映射到超空间，成功地将衍射图案分类为索引模式。对于任何一对衍射图案，定义了两个量来描述它们的关系。一个是皮尔逊距离，定义为（1.0−第页_ij公司)，其中第页_ij公司是皮尔逊相关有效值[见方程式（1）]. 第二个关系是超空间中这两个图案之间的欧氏距离（或角度），其中衍射图案嵌入并表示为点（或在考虑图案之间的角度时，表示为原点的矢量）。在BD算法中，皮尔逊距离和欧氏距离（或角度）之间的差异被最小化。该过程最终将密切相关的模式映射到超空间中更接近的位置，从而分离索引模式。

仅记录部分强度的衍射图案之间的成对相关性可能不够准确，无法将一种索引模式与替代模式区分开来（尤其是对于最小的纳米晶体），但BD算法的成功表明了利用图案之间的成对相关性进行聚类的可行性。研究还发现，一种模式和所有其他模式之间的平均Pearson相关性可以用来解决索引歧义，并最终导致以一致的方式进行索引。下面描述的方法也使用了皮尔逊的相关系数分配索引以使模式索引一致。考虑到单个图案由一组“部分反射”组成，我们的想法是，将单个图案中记录的部分反射与具有完全反射的模型进行比较，应该会产生更可靠的结果。因此，我们设计了衍射图案之间的皮尔逊相关性我以及由全反射组成的模型{我_满的}，定义如下：

哪里第页_我是相关系数所有其他符号与等式（1）中的相同我们现在描述如何使用期望最大化方法从部分反射数据集迭代构造全反射数据集。

2.2。期望最大化算法与全反射构造

三维全强度互易空间可以根据已知结构的原子模型进行计算。这些{我_满的}然后可以用作恢复每个衍射图案的方向信息的参考。实际上{我_满的}通常对大分子来说是未知的，只有在恢复正确的取向或索引模式后，才能通过合并衍射图案来确定。这又回到了我们的“鸡和蛋”问题上，即使用期望最大化（EM）方法求解“正确索引和全反射数据集”。EM方法已应用于一个相关问题：从单粒子实验中确定散射图案的方向，并将散射强度合并到三维散射强度体积中。我们调整了Tegze&Bortel（2012）的实施)，它使用皮尔逊相关系数来指定方向。EM方法及其实施的详细信息可以在其他地方找到（Loh&Elser，2009; Tegze&Bortel，2012年)。简言之，该算法的工作原理如下。

在n个第次迭代，将每个二维实验衍射图案（由部分反射组成）与三维模型上的全反射强度进行比较倒格子。相关系数{第页_我^t吨}在每个图案之间计算我以及每个索引模式的模型t吨，其中t吨列举了所有可能的索引可能性（两种，对于孪生歧义的情况）。然后，根据与当前模型相关性最高的索引模式，将整套二维图案相互合并为三维衍射体。然后将这个新合并的模型用作下一次迭代的参考，在该迭代中重复此过程，并继续进行，直到合并的模型收敛到稳定的解。用于第一次迭代的模型由代表布拉格光斑强度的随机实数组成。通过这种方式，相关性的数量从N个^n个（将每个模式与所有其他模式进行比较）到〈米〉编号（通过使用累积模型）N个模式和n个索引可能性，其中米\9002；是预期的迭代次数。这是EM算法的真正威力，它来自于使用一个模型，其中一次迭代的输出反馈给下一次迭代以改进结果。对于以下情况空间组 对6_三，有两种索引模式({小时, k个, 我}和{})如果不考虑全反射强度信息，则无法区分。该算法在下面的方案中以伪代码的形式概述，并在图1中作为流程图.使用此算法，我们旨在解决以下优化问题

至于蒙特卡罗积分法（Kirian等。, 2010)通过对相同布拉格点的多次测量值进行平均，将衍射图案的强度合并到衍射体积中，并以此方式处理偏倚。这意味着更多的测量（或衍射图案）应能更准确地逼近真实的全反射模型，误差减小为图案数量的平方根倒数。

图1 期望最大化算法的流程图。

2.3. 错误度量

对于模拟数据，全反射模型是已知的，可以用作检查脱矿是否成功的参考。计算详细模型和参考模型之间的相关性很简单。为了清晰起见，我们将与参考模型一致的索引模式标记为一致索引模式（CIM）；其他索引模式被标记为替代索引模式（AIM）。对于有多个AIM的情况，可以使用下标，例如AIM₁、AIM₂ 等。对于对6_三 空间组只有一个AIM，因此在比较合并模型和参考模型时，我们将这两种索引模式标记为CIM和AIM。因为在一种模式中索引的模型可以映射到其他模式，所以CIM和AIM是可互换的。为了便于进行以下讨论，目标模型的索引模式（与参考模型产生最佳一致性）被标记为CIM。来自已知结构及其索引模式的这些参考强度仅用于比较目的，以监测实验数据分析中的错误，并且在任何阶段都不会用作指导提取的输入。

对于实验数据，我们使用了在Linac相干光源（LCLS；美国加利福尼亚州斯坦福）进行SFX实验期间收集的光系统I（PSI）数据。PSI[PDB（Berman）的原子坐标等。, 2000)代码1个jb0; 乔丹等。, 2001]用于计算理论模型的反射强度，然后将其用作参考模型来评估提取精度。

使用目标分数监控模型构建过程，定义为

哪里N个是模式的数量。通过以一致的方式将更多衍射图案合并到合并模型中，随着合并模型的改进，该分数将增加。当所有模式都被正确索引时，此目标分数将达到最大值。

3.1. 使用实验数据进行性能评估

光系统I（PSI）属于空间组 对6_三，其索引模糊度为{小时, k个, 我}和{}，所以有两种方法可以合并任意两个衍射图案。PSI数据集包括17个 已经在LCLS处收集了106个索引模式。在自诱导分析后，识别了单元-细胞参数，并发现其与使用宏晶体同步辐射数据（PDB代码）求解的模型一致1个jb0)。将我们的EM算法应用于该数据集和输出模型，并与根据已知原子模型（PDB代码）计算的理论形状因子进行比较1个jb0)。图2总结了脱粒过程在两种索引模式（一致和替代索引模式、CIM和AIM）下，将每次迭代的合并模型与参考模型（PDB结构的理论形状因子）进行比较。经过六次迭代，合并后的模型收敛到稳定解。图2(一)表明初始相关性几乎为零，因为初始模型由随机正数组成（因此不期望存在相关性）。第一次迭代的输出模型与参考模型之间的相关性(1个jb0蛋白质强度）达到0.62左右。17人的取向 在第一次迭代之后，将该测试中使用的106个图案分类为大约相同大小的两组。第二次迭代后，合并模型和参考模型之间的相关系数开始发散，并在两种索引模式下稳定在0.71和0.41。监测得分[方程式（4）]也增加到约0.42，如图2中的红色曲线所示(一)。由于图案是通过实验获得的，因此实际方向事先未知，因此很难评估正确恢复方向的图案数量。然而，使用理论强度作为参考，可以根据方法, §2.1，方程式（2）.我们的EM算法恢复了94.6%的衍射图案（16 17人中有188人 106），其方式与使用理论模型作为参考所分配的索引模式一致。在图2中(b条)，穿过平面的强度切片我=0英寸互易空间用于演示去赢得前后合并强度之间的差异。为了清楚起见，只有第一个象限小时 < 20,k个<20显示。如前所述，对于对6_三 空间组出现索引模糊{小时, k个, 我}和{}. 在飞机上我=0，孪晶强度应为对称分布，因为米勒指数{小时, k个, 0｝和{k个, 小时, 0}在解决索引歧义之前是等价的。从原始实验数据集中的合并数据中可以清楚地观察到这种对称性（图2顶部b条)，而图2的底部(b条)显示了去赢得的结果，表明由于孪生应用我们的EM去赢得算法后，效果不存在。

图2 使用LCLS为光系统I收集的实验数据集测试去赢得算法的结果(一)脱粒过程。参考强度是根据PDB模型（PDB代码）计算的理论值1个jb0)。蓝色和绿色曲线是两种索引模式下理论强度和合并强度之间的相关系数。红色曲线是目标分数，即每个模式与合并模型之间最高相关系数的平均值。(b条)平面中第一象限内的强度分布我=0英寸倒易空间。应用EM去赢得算法（底部）后，孪生数据（顶部）的对称性消失。

3.2. 使用模拟数据进行性能评估

为了进一步量化算法的性能，进行了两类仿真。第一类模拟采用与Brehm&Diederichs（2014）相同的方法进行)。理论强度使用sfall公司中的程序CCP4包（获胜者等。, 2011)，基于中的PSI空间组 对6_三使用PDB模型中的单元-单元参数（PDB代码1个jb0)。模拟模式基于LCLS收集的实验数据，如前一节所述。对于每种模式，布拉格峰都是以相同的概率按照任一索引模式重新诱导的。将实验强度替换为计算值，并使用从均匀分布（从0到1）中随机抽取的部分对部分反射进行建模。射击噪音，遵循泊松分布，添加到模拟强度。对于模拟数据集，在已知每个衍射图案的索引模式信息的情况下，可以通过计算正确恢复的索引模式的数量来直接评估算法的性能。图3总结了典型试运行的结果，表明绝大多数模式都是根据参考模型进行索引的。

图3 模拟数据集的全强度重建和去重过程的总结。索引歧义在六次迭代后消失，几乎所有的模式都被一致地索引（用三角形排列）。所有其他注释与图2中的注释相同(一).

提取过程与§3.1中讨论的实验数据集的情况类似。起始模型与两种索引模式下的参考模型均不相关，如零所示相关系数。然后，在第一次迭代之后，根据处于每个索引模式的可能性，模式分为两类，并且按照预期，一半的模式在该迭代中被正确分配。随着迭代的继续，索引歧义性被打破，这反映在正确恢复的索引模式的百分比不断增加。目标分数增加，经过几次迭代后，达到约0.85的稳定值。合并模型和参考模型之间的相关性(即理论强度计算公式1个jb0)也绘制在图3中将合并后的模型与参考模型在两种索引模式下进行比较空间组 对6_三随着去提取的进行，衍射图样中嵌入的信息被合并到合并模型中，第一次迭代后，该模型与参考模型的相关性增加到CIM的0.71和AIM的0.69（图3)。这种最初倾向于一种索引模式而非另一种索引方式的小倾向最终导致索引歧义的消除。我们注意到相关系数在CIM中经过六次迭代后，参考模型和合并模型之间的关系增加到0.88，而AIM中模型的系数逐渐减少到约0.40。

强度的偏好不是随机分布的，而是取决于许多因素，包括晶体大小、取向和镶嵌性以及辐射的单色性。这里，我们通过假设晶体尺寸大致相同来简化问题，这可以通过实验晶体尺寸选择或数据筛选实现。对于第二类模拟数据集，使用程序对偏好进行建模部分_符号在中CrystFEL公司套房（白色等。, 2012)。图4(一)显示了偏好和分辨率之间的关系。由于Ewald壳层在较高分辨率下较厚，因此Ewald外壳和Bragg斑点之间的重叠越大，强度测量结果越好，这反映在较高散射角下的较大偏度上。对于10的数据集，算法的性能 图4总结了使用这种方法编译的000个模式(b条)。在这种情况下，模型强度重建收敛更快，索引模糊度仅需两次迭代即可解决。决赛相关系数与理论强度相比约为0.99，只有两种模式（共10种 000）索引不正确。

图4 模拟数据集的提取过程，重点是偏好的系统建模。(一)偏见和决心之间的关系。分辨率更高（更大q个值），记录的强度更准确，更好地表示相应的全反射。(b条)在两次迭代中，索引模糊性问题得到了解决，几乎所有模式都以一致模式进行索引。

3.3. 算法的一致性和鲁棒性

去赢得结果是一致的。对于§3.1中描述的同一组实验数据EM算法对不同的随机生成的启动模型进行了10次应用。图5显示了十个脱纬过程(一)，表示十次迭代内去赢得的收敛性。虽然收敛速度不同，但最终结果是一致的：（i）在两种索引模式下，与根据PDB结构计算的参考模型的相关性非常相似；（ii）目标分数收敛到几乎相同的值。通过计算两两相关性来评估十次运行的最终模型之间的一致性。还值得将EM去赢得结果与在CrystFEL公司包，程序煽动者，它利用一个模式和由其他模式组成的集合之间的相关性的平均值。在两两比较中，我们还包括了合并的强度，但没有进行去重运算。为了进行这些比较，计算了分辨率壳内反射子集在3到5之间的相关性 Å. 该反射子集包含约55%的总反射（111 204人中有452人 092），很好地代表了互易空间降低低分辨率下超大强度的影响。结果总结如图5所示(b条)，其中每个模型对之间的相关性计算两次，考虑两种索引模式：一种用于CIM，另一种用于AIM。下三角矩阵显示了在相同模式（CIM）下索引时模型之间的相关性，上三角矩阵包含在替代索引模式（AIM）下的模型之间的相关性。热图显示，当以相同模式索引时，这十个模型具有非常大的相关性（>0.90），表明具有良好的自我一致性。另一方面，在不同模式下，模型之间的相关性小于0.55。来自迁徙者程序还与从EM算法中获得的所有十个模型密切相关，相关系数为0.90-0.95。相比之下，孪晶强度与所得到的结果没有很强的相关性。根据孪生模型和所有其他详细结果之间的相关性，孪生模型的两种索引模式几乎无法区分（相关性在0.70和0.80之间），如热图所示（图5b条)，其中最后一行和最后一列对应于两种索引模式的详细结果和孪生数据之间的相关性。

图5 EM算法的结果是一致的。(一)该程序使用随机生成的启动模型运行了十次，最终输出模型与理论模型的相关性几乎相同。(b条)对十次运行的模型和程序结果进行两两比较迁徙者在里面CrystFEL公司和孪生数据。下三角矩阵显示了在CIM中进行比较时的相关性，上三角矩阵显示了AIM中的相关性。请注意，在这两种模式下（深灰色、最后一行和最后一列），孪生数据的相关性非常相似，而其他模型非常一致，在相同模式下索引时，相关性大于0.90。

EM算法速度快，并且在模式数量方面具有线性缩放的优势。大约花了18分钟 min处理由17个以上的实验数据集 MacBook Pro上的000个图案，2.8 GHz Intel Core i7双核处理器。在图6中，计算时间被绘制为图案数量的函数(一)，显示出线性相关关系。该算法的当前实现使用单个计算核心，当需要处理更大的数据集时，可以通过将相关性计算并行化，将相关性计算分发给多个计算核心，从而加快去抽取速度。

图6 EM算法的速度和对数据集的要求。(一)一次迭代所需的时间与衍射图案的数量成线性关系。(b条)对于PSI实验数据，需要至少设置5000个衍射图案，以确保可靠的收敛模型。纵轴上显示的CIM百分比是指与参考模型一致的恢复索引模式的百分比。当样本量小于500时，EM算法无法解决索引歧义。对于1000到3000个模式组成测试集的情况，可以成功地进行去抽取，但较大的错误条表明不能保证成功率，因此需要更多的运行。

还使用较小的数据集对EM算法进行了评估，结果表明该算法非常稳健。根据由17个以上数据组成的实验数据集 000个PSI晶体衍射图样，随机选择图样子集，形成500、1000、2000、3000和10个数据集 000个图案。图6总结了一致索引模式的百分比(b条)。当数据集由5000多个衍射图案组成时，我们发现大约90%以上的图案得到了一致的索引。当数据集由较少的模式组成时，算法变得不那么可靠，表现为较小的百分比和较大的波动。这可能是因为，如果数据集不够大，合并后的强度无法准确近似全反射。这可以从蒙特卡罗积分的基本性质中理解，这需要对每个布拉格点进行足够的采样。另一个极端情况是，当测试数据集中的模式数量太少（本测试案例中为500个）时，一致索引的模式接近50%（去抽取失败），如图6所示(b条).