基于faster-RCNN的细胞电子冷冻成像线粒体自动定位与识别

摘要

背景

低温电子断层成像技术（Cryo-ET）可以实现近自然状态下细胞组织的三维可视化，在结构细胞生物学领域发挥着重要作用。然而，由于细胞内的低信噪比、大体积和高内容复杂度，定位和识别细胞冷冻-ET中的不同成分仍然很困难且耗时就地我们提出了一种基于快速RCNN的简单而有效的自动图像分析方法。

结果

我们的实验结果通过使用就地cyro-ET成像线粒体数据。我们的实验结果表明，我们的算法能够在二维倾斜图像和重建的二维切片上准确定位和识别重要的细胞结构。当在线粒体低温-ET数据集上运行时，我们的方法达到了平均精度>0.95。此外，我们的研究表明，我们定制的预处理步骤可以进一步提高模型性能的鲁棒性。

结论

本文提出了一种自动Cryo-ET图像分析算法，用于定位和识别细胞中不同的感兴趣结构，这是第一种基于Faster RCNN的方法，用于在Cryo-ET图像中定位细胞器，并证明了细胞内线粒体检测和分类任务的高准确性和稳健性。此外，我们的方法也可以很容易地应用于其他细胞结构的检测任务。

背景

在细胞中，大多数生物过程由复杂的分子组装和网络控制。分析这些组件的结构特征和空间组织对于理解细胞功能至关重要。最近，细胞低温电子断层成像（cryo-ET）已被发展成为一种以亚分子分辨率和接近自然状态获得细胞结构三维可视化的方法[1]. Cryo-ET已被证明是结构生物学的一项强大技术就地并已成功应用于包括拱顶在内的许多重要结构的研究[2]，整合素连接激酶（ILK）[三]和核孔复合体（NPC）[4]. 然而，由于几个因素，包括低信噪比（SNR）、有限的投影范围（导致缺失的楔形效应）和由复杂的细胞内结构组成的拥挤的细胞内环境，冷冻ET图像中细胞成分的系统结构分析仍然具有挑战性。

考虑到线粒体在哺乳动物细胞中所起的关键作用，以及这些细胞器的独特形态，我们选择通过就地低温-ET[5]. 线粒体的三维可视化可以提供线粒体结构和功能的见解。因此，在复合体内检测和定位线粒体的方法学改进就地低温-ET数据集可以显著提高这些细胞器检测的准确性，并直接影响进一步的结构分析。

定位感兴趣的亚细胞结构可以促进后续对所选结构中特定大分子成分的研究[6]. 这种定位可以通过图像分割来执行，通常是手动执行或通过专门设计的启发式方法执行。尽管已经开发了一些可视化工具来促进这些方法，但Cryo-ET图像中的手动分割仍然需要研究人员进行大量重复劳动，并且结果是主观的。另一方面，自动方法速度快，可以产生一致的结果。当图像复杂度较低，但对噪声敏感时，基于轮廓的方法（如分水岭）可以产生很好的效果[7]. 基于阈值的方法通常根据密度阈值生成掩模，可以应用于前景背景分割，但仍难以识别不同的细胞成分[8]. 最近，分割方法侧重于特定类型的结构，包括膜、微管和细丝[9–11]，吸引了很多关注。这些方法在特定的细胞结构上表现良好，但缺乏通用性。迄今为止，识别细胞内结构的机器学习方法似乎很有前景。因此，我们开发了一种基于手动设计的启发式规则的无监督分割方法[12]和通过聚类代表性功能[13]. Luengo等人[14]提出了一种有监督的方法，用训练好的分类模型对每个体素进行分类。然而，这两种方法都需要手动设计的功能或规则，这些功能或规则可能需要耗费时间和精力，但有各种限制。Chen等人利用卷积神经网络（CNN）优异的特征提取能力，开发了另一种监督分割方法[15]. 但通过这种方式，必须为每种类型的结构特征训练单独的CNN，并且需要在训练数据中手动注释精确的轮廓，这可能并不容易。

我们的目标是设计一种简单通用的方法来自动识别和定位内部感兴趣的亚细胞结构就地与现有的分割类型方法不同，具有弱注释的低温-ET图像可以大大减少详细手动注释的时间和精力成本。我们的目标是检测图像中所有感兴趣的对象，并同时输出相应的边界框和类预测。基于区域的卷积神经网络（RCNN）[16]该算法使用选择性搜索生成区域建议，使用CNN进行归一化后从所有建议中提取特征，最后将特征同时输入分类器和回归层，以获得分类分数和边界框坐标作为输出，为我们的目标奠定了基础。以及它的最后一个化身，更快的RCNN[17]，实现了几乎实时的高精度检测。基于RCNN的快速定位方法已应用于生物医学成像数据，如乳房X射线照相术[18]和细胞荧光成像[19].

在这项工作中，我们提出了一种基于Faster-RCNN的自动识别和定位方法，这是第一种基于Faster-RCNN的方法，用于定位Cryo-ET图像中的细胞器。我们的算法在低温-ET断层图的二维投影图像上进行了训练和验证，用于线粒体的定位和分类任务。实验结果表明，我们的算法能够根据分类分数稳健地预测对象的边界框。此外，我们将研究扩展到了三维层析切片，并取得了准确和稳健的性能。

方法

我们的线粒体识别和定位方法包括两个主要部分：（1）提高样本质量的预处理，以及（2）使用Faster-RCNN进行目标检测。系统的输入是断层图的二维投影图像，输出包括感兴趣对象边界框的坐标、每个对象的类别和分类概率。我们的方法的流程图如图所示1在本节中，我们将详细描述系统的每个部分。

图1

我们Faster-RCNN模型的流程图。将去噪后的输入图像送入Conv层，生成特征图。然后，区域建议网络提出包含感兴趣对象的潜在区域。建议区域被传递给1）分类器进行分类，2）回归器用于优化边界框位置

预处理

由于生物样品对辐射损伤很敏感，只有低剂量的电子才能用于电子显微镜成像[6]. 与正常图像相比，电子层析图像通常噪声更大，对比度更低。为了使图像适合后续处理，我们首先进行噪声降低和对比度增强。为了减少噪声，考虑到边缘特征对亚细胞结构通常很重要，我们选择了双边滤波[20]，一种尽可能保留原始边缘的非线性滤波方法。双边滤波同时考虑了空间距离和灰度距离的影响，可以通过组合两个高斯滤波器来实现。为了提高局部对比度和细节的清晰度，我们使用了直方图均衡，这也可以平衡不同图像的亮度。

2D图像中的对象检测

我们方法的主要思想是基于更快的RCNN[17]其中，将特征提取、建议生成、RoI池、分类和回归四个模块有机结合，形成端到端的目标检测系统。

特征提取是我们方法的第一步。深度卷积神经网络的输入是图像我，输出为提取的特征地图。这些功能将由后续模块共享。我们模型中的基本特征提取网络Resnet-50基于[21]. 他等人于2015年提出了这种深度剩余学习方法，以使深度网络训练得当。我们的网络架构如图所示2在我们的模型中，将原始Resnet-50网络分为两部分：第一部分包括层conv1到conv4_x，用于提取共享特征；第二部分包括层conv5_x和上层，进一步提取建议的特征，用于最终分类和回归。该模型的实施参考了Yann Henon在2017年的工作[22].

图2

Faster-RCNN模型的详细架构。在我们的模型中，基本特征提取网络Resnet-50被分为两部分：1）层conv1到conv4_x用于提取共享特征（在共享层中），2）层conv 5_x和上层进一步提取建议的特征以用于最终分类和回归（在分类器中）。由三个卷积层实现的RPN从共享特征映射生成建议

特征提取网络之后是区域建议网络（RPN）。大小合适的窗口n个×n个滑动到特征地图上，并在每个位置将窗口中的特征映射到一个低维向量，该向量将用于对象背景分类和建议回归。同时，k个在原始图像中以滑动窗口为中心的区域建议根据k个锚，是不同形状和大小的矩形框。此外，对于每个提案，将实现两个分类概率和四个回归参数，构成最后的6个k个分类层和回归层的输出。滑动窗口、分类层和回归层均采用卷积神经网络实现。实际上，我们选择了k个=9，3个刻度为128², 256²，和512²像素和1:1、1:2和2:1的3个纵横比作为中的默认值[17]. 采用非最大抑制（NMS），IoU阈值为0.7，而RPN生成的最大提案数为300。

然后，通过RoI池化层将不同尺度的特征集成到相同大小（在我们的实验中为7×7）的特征图中，以便在最终的完全连接的分类和回归层中使用这些特征。对于任何规模的地区提案，如小时×w个，它将被划分为一个固定的数字，如H（H）×W公司，窗口大小为小时/H（H）×w个/W公司。然后将执行最大池和固定大小(H（H）×W公司)将以每个窗口的最大值获得特征地图。

为了对整个模型进行端到端的训练，提出了以下多任务损失函数[17].

$$L\左（p，u，t^{u}，v\右）=L_{cls}（p，u）+\lambda[u\geq1]L_{loc}\左（t^{u}，v \右）$$

(1)

在哪里？u个是提案的基本事实标签，以及v（v）=(v（v）_x个,v（v）_年,v（v）_w个,v（v）_小时)表示提案与基本事实之间的回归抵消。分类层的输出，第页=(第页₀,第页₁,...,第页_K（K）)，表示提案属于每个K（K）+1类和\（t^{u}=\左（t{x}^{u{，t{y}^{u，t{w}^{u，t{h}^{u}\右）\）表示带有标签的方案的预测回归偏移u个分类任务的损失函数定义为：

$$L_{cls}（p，u）=-\log p_{u}$$

(2)

回归的损失函数是稳健的L1损失，如下所示：

$$L_{loc}\left（t^{u}，v\right）={x，y，w，h}}中的sum_{i}平滑_{L1}\left（t_{i{^{u} -v型_{i} \右）$$

(3)

在哪里？

$$平滑_{五十} 1个\left（x\right）=\left\{\begin{array}{lr}0.5x^{2}，\：\：：\：if\，\|x\|<1&\\|x\|-0.5，\：：：\；否则为&\end{arrary}\right$$

(4)

超参数λ用于控制两种损失之间的平衡，并设置为λ在我们的实验中=1。同样，训练过程中RPN的损失函数也定义为这种形式。在训练过程中，首先训练具有共享层的RPN，然后使用RPN生成的建议训练分类器，两个网络的初始权重由ImageNet上的预处理模型给定[17,23].

结果

数据集和评估指标

数据采集：组织培养：大鼠INS-1E细胞（通用大学P.Maechler赠送）在添加2 mM L-谷氨酰胺（纽约州格兰德岛生命科技公司）、5%热灭活胎牛血清、10 mM HEPES、100单位/mL青霉素、100μg/mL链霉素、1mM丙酮酸钠和50μM b-巯基乙醇如前所述（插入参考文献：PMID:14592952）。

EM网格制备：为了进行冷冻-ET成像，将INS-1E细胞以2×10的密度镀在纤维粘连蛋白涂层的200目金R2/1 Quantifoil网格或200目金R2/2 London finder Quantifol网格（Quantifoir Micro Tools GmbH，Jena，Germany）上⁵细胞/mL。在常规培养条件下，在完整的RPMI 1640培养基中培养48小时后，直接从培养基中取出网格，并立即用Vitrobot Mark IV（Thermo Fisher FEI，Hillsboro，OR）将其浸入液态乙烷中冷冻。

低温电子层析成像：在300kV的FEI Polara F30电子显微镜（Thermo Fisher FEI）上记录INS-1E细胞的层析倾斜序列，倾斜范围为±60°，增量为1.5°，使用Gatan K2 Summit直接检测器（Gatan，Inc.）在超分辨率模式下以2倍于2.6º/像素的速度进行记录；倾斜序列通过SerialEM获得。

数据集集合：我们收集了9张包含线粒体的冷冻-ET断层图（786个2D切片）。在786个切片中，482个被选中，并通过LabelImg手动注释[24]. 然后，将二维切片按5:1的比例随机分为训练集和测试集。数据集的详细信息如表所示1.

表1 Cryo-ET数据集属性

韵律学：为了评估模型的性能，我们主要使用两个来自常见对象检测和分割评估的指标：AP（平均精度）和F类₁ 秒c（c）o个第页电子定义如下：

$$AP=\int_{0}^{1}P（R）\，d（R）$$

(5)

$$F_{1}\score=\压裂{2P\乘以R}{P+R}$$

(6)

哪里P（P）表示精度，表示真阳性与所有预测阳性的比率；R（右）表示召回，表示真阳性与所有真元素的比率。无论是准确度还是召回率都不足以全面评估预测性能。因此，在精度和召回率都需要足够高的情况下，通常使用由加权调和平均值定义的F1得分。AP相当于精确再调用曲线下的面积，可以对模型在不同精度/召回率下的性能进行总体评估。作为一个目标检测问题，每个样本预测的正确性不仅与分类有关，还与定位有关。定位精度通过（交叉于联合）进行评估，其定义为：

$$IoU=压裂{S_{P}\cap S_{G}}{S_{P}\cup S_{G}}$$

(7)

哪里S公司_P（P）是预测的边界框S公司_G公司代表基本事实，IoU衡量巧合程度。在我们的实验中，设置了不同的IoU阈值（0.5、0.6、0.7、0.8和0.9），并考虑了线粒体预测标签和IoU高于特定阈值的样本。IoU阈值越高，定位精度要求越高。因此，我们可以看到在不同定位精度要求下检测精度的差异，并判断我们模型的定位性能。计算了实验中的准确度、召回率、F1分数和AP。

数据预处理和模型训练

我们从原始层析图像中获得的2D投影图像具有较低的信噪比和对比度，这会干扰后续细胞内特征的识别和分割。因此，首先通过双边滤波器对图像进行去噪σ_第页=1.2和σ_d日=100，抑制噪波并尽可能保留原始边特征。随后通过直方图均衡化增强对比度，从而提高以前无法区分的细节的分辨率。图三显示了预处理前后两幅图像的示例。我们方法中的预处理方法和参数最终是基于根据[25]图像的灰度分布直方图和视觉效果。图4显示同一图像的不同信噪比σ_d日和σ_第页以及不同预处理方案的性能。我们发现，首先执行直方图均衡化会增加原始图像中的噪声，并且在滤波后对比度会再次降低，无法达到预期的效果。此外，我们发现用于降噪的高斯滤波不能像双边滤波那样保留边缘。

图3

一原始2D投影图像，b条降噪后的图像（使用σ_第页=1.2和σ_d日=100),c（c）降噪和对比度调整后的图像

图4

一双边滤波+直方图均衡，b条高斯滤波器+直方图均衡，c（c）直方图均衡+双边滤波器d日不同信噪比σ_d日和σ_第页

我们实验中的所有模型都是使用Keras进行训练和测试的[26]带Tensorflow[27]作为后端，使用优化器Adam（自适应矩估计）[28]带有β₁=0.9,β₂=0.999，学习率1×10⁻⁵用于RPN和分类器。根据5:1的比例，将482个带注释的切片随机分成402个切片的训练集和80个切片的测试集。只有当一个历元后的损失小于之前的最佳损失时，模型才会被保存。

预测性能

我们在训练集上训练模型，并在测试集上进行测试。数字5和6直观、定量地显示测试结果。除了边界框之外，我们的模型还提供了对象的最可能类别以及它属于该类别的概率。在图中5，红色边界框是手动标注的地面真相，蓝色边界框由模型预测。我们注意到，预测结果与基本事实高度吻合，即使是不能完全重叠的区域也基本上包含了整个线粒体，这意味着我们的系统可以很成功地实现线粒体的自动识别和定位。线粒体所在的区域可以通过边界框与外界隔开，以尽可能消除周围环境的影响，从而可以更详细地分析内部结构。

图5

检测结果示例：红色框表示地面实况，蓝色框表示预测边界框。数据来源：一层析成像：Unstim_20k_mito1（投影图像63），b条层析成像：Unstim_20k_mito2（投影图像49），c（c）断层扫描：HighGluc_Mito2（投影图像47），d日断层扫描：CTL_Fibro_mito1（投影图像44），电子断层扫描：HighGluc_Mito1（投影图像48），如果体层摄影：CHX+葡萄糖刺激A2（投影图像13）

图6

预测性能：一具有不同IoU阈值的AP，b条IoU阈值为0.7的精确重拨曲线

在图中6，我们绘制了精确再调用曲线，并计算了不同IoU阈值下的AP，以测量检测性能。我们注意到，当IoU阈值设置为0.7及以下时，AP接近1，这意味着几乎所有样本都得到了正确预测，表明我们的系统能够成功识别图片中的线粒体。然而，当IoU阈值增加到0.9时，AP急剧下降到0.4左右，这表明我们的系统在定位精度方面仍然存在一些不足。预测区域和地面真实区域之间的重叠可以进一步改善，这可能是我们未来工作的一个重要方面。IoU阈值0.7的精确重新调用曲线也如图所示6当IoU阈值为0.7时，所有阳性样本都可以正确预测，而精度要求不高于0.9，即在此条件下可以找到所有线粒体；即使精确到1，也就是说所有预测为阳性的样本都必须是正确的，70%的线粒体仍然可以被检测到。

此外，我们还比较了预处理对预测结果的影响。值得注意的是，无论如何设置IoU阈值，未进行预处理的模型的AP值都显著低于包含预处理的模块的AP值，这再次表明预处理是整个系统的必要步骤。特别是当IoU阈值为0.8时，经过或不经过预处理的系统在平均预测精度上表现出很大差异，这表明预处理对系统的主要贡献是进一步提高定位精度。对于不包括预处理的模型，具有不小于0.8的IoU和基本事实的预测边界框是非常罕见的，并且在这种情况下计算的平均精度仅为0.3。在预处理步骤之后，通常预测的边界框和地面实况的IoU达到0.8，导致平均精度增加到0.95或更高。

错误的来源

为了进一步分析我们的方法的性能，我们分别分析了9种不同情况下系统的预测结果就地低温-ET断层图（表2)，并研究了原始图像质量、线粒体完整性等不同因素的影响F类₁ 秒c（c）o个第页电子AP仍以0.7的IoU阈值计算。在大多数断层图中，我们的系统显示出高精度，与整体结果一致。然而，我们还发现，在INS_21_g3_t10中，我们的系统无法准确检测线粒体7). 我们注意到，在该断层图的所有二维投影图像中，包含的线粒体太小，结构似乎不完整，尤其是内部结构，基本上淹没在噪声中，难以识别。即使经过降噪和对比度调整，图像中线粒体的细节仍然过于模糊，导致特征提取受到强烈干扰。我们还计算了INS_21_g3_t10中二维投影图像的信噪比，平均约为0.06。作为参考，我们在图中分析了Unstim_20k_mito1原始投影图像的信噪比4为0.12，显著高于INS_21_g3_t10中的图像。值得注意的是，在Unstim_20k_mito1中，投影图像的主体是我们需要检测的线粒体，而在INS_21_g3_t10中，线粒体只占图像的很小部分。因此，图像的其他成分被计算为对我们的检测任务可能没有那么有用的信号，使得有效信息与噪声的比率甚至低于0.06。这可以解释为什么它的检测性能特别不令人满意。

图7

层析图像INS_21_g3_t10的投影图像示例（其中线粒体很难检测）：一原始图像，b条降噪和对比度调整后的图像，c（c）M2236_Fibro_mito1的投影图像

表2不同断层图的预测结果

为了更好地研究不同层析图像对定位精度的影响，计算了每个层析图像的平均联合交集（mIoU）。可以注意到，平均而言，包含完整线粒体的断层图中的mIoU较高，即定位精度较高，尽管最高的mIuU来自包含不完整线粒体的层析图。我们分析了这张断层图的特征，发现这是唯一一张线粒体不呈圆形或近似圆形，而是呈斜条形的断层图（也如图所示）7). 因此，当线粒体标记为矩形方框时，方框占据更大的面积，并且包含更多的非线粒体区域，这可能会使预测结果更容易与实际情况吻合。因此，总的来说，我们仍然可以得出结论，完整的线粒体更容易准确定位。这也与我们的直觉一致，即完整的线粒体有一个近似圆形的双层膜的完整轮廓，这为确定其特定边界提供了有力的参考。事实上，在F类₁ 秒c（c）o个第页电子而AP也含有完整的线粒体。因此，线粒体的完整性对系统的检测结果有一定影响。

断层切片预测

最终的目标是在三维断层图像中检测线粒体。基于二维投影图像训练的模型可以直接应用于层析切片以生成输出。与投影图像一样，首先用相同的参数对切片进行双边滤波和直方图均衡化预处理，然后用Faster-RCNN模型进行测试。整个模型被逐层应用于层析图像，输出包括切片中线粒体的所有边界框，每个边界框有一个分类分数。在CPU上测试时，每个片只需要几秒钟。

如图所示8与二维投影图像相比，层析切片中的线粒体可以被成功识别和定位，而定位的准确性可能会因较高的噪声而略有降低。因此，只需对二维投影图像进行注释和训练，可以大大降低计算成本，并且可以在允许的误差内检测三维层析图像中的线粒体。即使在3D的情况下，扩展到不同细胞器的概率仍然保留。

图8

重建断层图像切片的检测结果。数据来源：一断层扫描：Unstim_20k_mito_1（切片26），b条断层扫描：M2236_truemoto3（切片97），c（c）断层扫描：HighGluc_Mito1（切片58）

结论

本文提出了一种自动Cryo-ET图像分析算法，用于定位和识别细胞中不同的感兴趣结构。据我们所知，这是将Faster-RCNN模型应用于Cryo-ET数据的第一项工作，它证明了高精度(A类P（P）>0.95和我o个U型>0.7）和细胞内线粒体检测和分类任务的鲁棒性。此外，如果提供了多类细胞成分的注释，我们的算法可以推广到使用相同的Faster-RCNN模型检测多个细胞成分。对于未来的工作，我们将通过收集更多数据来进一步提高定位的准确性，并且我们将探索不同网络结构的影响以增强模型。