基于深度学习结构的超声图像乳腺病变检测与分类的实验研究

摘要

背景

近年来，计算机辅助诊断（CAD）在医学领域受到越来越多的关注。CAD的一个重要应用是在超声图像中检测和分类乳腺病变。传统的乳腺病变分类CAD过程主要由两个步骤组成：i）定位感兴趣的病变区域（ROI）；ii）对定位的感兴趣区域（ROI）进行分类，以查看它们是否是良性的。然而，由于乳腺结构复杂，超声图像中存在噪声，传统的基于人工特征的方法往往无法达到满意的效果。

方法

随着近年来深度学习的发展，目标检测和分类的性能得到了很大程度的提高。在本文中，我们旨在系统评估几种现有的最先进的乳腺病变CAD目标检测和分类方法的性能。为了实现这一点，我们收集了一个新的数据集，包括579例良性和464例恶性病变病例，并由经验丰富的临床医生手动注释相应的超声图像。我们评估了不同的深度学习架构，并对新收集的数据集进行了综合实验。

结果

对于病变区域检测任务，输入尺寸为300×300（SSD300）的单点多盒检测器在平均准确率（APR）、平均召回率（ARR）和F方面表现最佳₁分数。对于分类任务，DenseNet更适合我们的问题。

结论

我们的实验表明，更好、更有效的检测和卷积神经网络（CNN）框架是提高乳腺病变检测和分类任务性能的重要因素。提高检测和分类任务性能的另一个重要因素是从大规模带注释的ImageNet学习到分类乳腺病变。

背景

乳腺癌是女性死亡的第二大原因。早期诊断是控制乳腺癌的关键，因为它可以显著降低死亡率（40%或更多）[1]. 以前，乳房X光摄影是检测乳腺癌的主要手段。然而，乳房X光检查不仅给患者带来健康风险，而且由于特异性低，导致不必要的活检手术（65%-85%）[1]. 作为一个更好的选择，超声成像可以将整体癌症检测提高17%，并将不必要的活检减少40%[1].

目前，超声检测乳腺病变的技术依赖于医生的经验，特别是对于乳腺病变的标记和分类，其过程如下：医生使用超声仪器找到一个好的角度，使病变清晰地显示在屏幕上，然后用一只手长时间固定探头，用另一只手在屏幕上标记和测量病变。这是一项艰巨的任务，因为握住探头的手的轻微抖动会对乳腺超声图像的质量造成很大影响；然后，其他医生根据自己的经验对超声图像进行诊断，但由于乳房结构复杂，超声图像中存在噪声，通常很难得出病变是良性还是恶性的结论。基于以上，自动定位感兴趣区域（即病变）和分类（即良性或恶性）是超声图像中对乳腺病变检测的迫切要求。

此前许多研究人员分析了乳腺超声图像中病变的检测和分类。我们将在本节剩余部分中回顾文献。

分类

在早期的机器学习中，主流的机器学习方法都是基于统计的，他们不关心特征。然而，计算机视觉是机器学习在视觉领域的应用，其中良好的特征提取方法至关重要。特征提取是一个降维过程，它在不丢失重要或相关信息的情况下减少了处理所需的资源数量，并加快了机器学习过程中学习和泛化步骤的速度。有很多手动特征提取方法可以分为三类[2,三]：i）兴趣点检测（如高斯拉普拉斯、高斯差分、哈里斯角点检测、加速分段测试的特征），ii）密集特征[4]（例如缩放不变特征变换[5]，定向梯度直方图[6]，本地二进制模式[7,8])，iii）特征组合（例如基于可变形零件的模型[9,10]).

以前的几种方法讨论了如何自动分类乳腺病变。在[11]建立了三维M维特征集，通过主成分分析和互信息选择特征，对641幅超声图像进行分类。在[12]作者基于分水岭变换对乳腺超声图像进行了分割，从分割出的病变中提取了22个形态学特征，并基于互信息和统计检验对641个超声图像进行分类。在[13]，作者提出了一种根据病变形状类型的超声图像进行计算机辅助诊断的方法。他们使用Zernike矩和不变矩提取特征，同时使用支持向量机和多层感知器对45幅超声图像进行分类。在[14]提出了一种利用纹理分析提取特征的分类方法，并利用感知器分类方法对57幅超声图像进行了分类。在[15]作者对良性和恶性病例的原发性和继发性进行了分类。他们从超声图像中提取了Laws的掩模纹理特征，并使用支持向量机作为分类器来区分172个乳腺病变的超声图像。

检测

过去，研究人员通常在传统的检测框架内研究手工特征[6]使用支持向量机和面向梯度直方图特征进行行人检测任务。Felzenszwalb等人[9,10]提出了一种基于潜在支持向量机的可变形零件模型，该模型在2006年模式分析、统计建模和计算学习人员检测挑战中取得了最佳性能。在[16]作者使用字典学习方法获得图像的稀疏表达式，称为稀疏码直方图。稀疏码的直方图被用来代替面向梯度的直方图，用于分类器训练和目标检测。虽然性能有了很大提高，但检测速度很慢。在[17]提出了一种基于共现特征的目标检测器，它是由传统的Harris角点检测、局部二值模式和定向梯度直方图构造的三种局部共现特征。

以前的几种方法讨论了如何自动定位乳腺病变的ROI。在[18]采用自组织映射神经网络对乳腺病变进行检测。利用局部纹理和局部灰度共生矩阵（两个位置的联合概率密度函数）可以自动提取ROI。与基本纹理特征相比，灰度共生矩阵能够反映图像的方向、间隔和幅度的综合信息。在[19]Shan等人开发了一种ROI自动生成方法，该方法由两部分组成：自动种子点选择和区域生长。然而，该方法依赖于纹理特征，当病变区域附近存在脂肪区域或对比度较低时，这些特征对乳腺超声图像无效。在[20]提出了一种监督学习方法，利用训练好的纹理分类器将乳腺组织分为不同的类别，其中背景知识规则用于选择组织的最终ROI。然而，由于所提出的方法中引入的约束的不灵活性，其鲁棒性降低。在[21]，作者在[20]通过提出一种具有灵活约束的全自动自适应ROI生成方法。在他们的工作中，可以高精度地生成ROI种子，并且可以很好地区分数据集的病变区域和正常区域。然而，如实验所示，召回率仍不令人满意，平均召回率较低，良性为27.69%，恶性为30.91%，总计为29.29%。

近年来，深度学习技术由于其良好的数据可解释性和较高的可分辨能力而引起了研究人员的广泛关注。值得注意的是，深度卷积神经网络（CNN）不仅在一般目标检测方面大大提高了性能[22–26]，但也用于图像分类[27–32]. 到目前为止，在文献中，人们已经使用基于CNN的方法来处理医学图像的检测和分类任务，例如乳房X光片[33]. 据我们所知，很少有工作对乳腺超声图像中基于CNN的不同检测和分类方法的性能进行全面评估。

方法

在本研究中，我们分析、探索和评估了基于CNN架构的不同对象检测和分类方法，用于乳腺超声图像中的病变检测和分类，该方法是在我们的MICCAI研讨会论文的基础上扩展的[34]. 首先，我们介绍了数据收集；其次，我们分析了适用于乳腺超声图像的基于CNN的目标检测的各种架构；最后，我们描述了如何利用CNN对乳腺病变进行分类，以及如何将CNN从非医学图像学习到乳腺超声图像。

数据收集

收集定义明确的数据集是乳腺病变检测/分类研究的关键。为此，我们一直与四川省人民医院合作，让经验丰富的临床医生对乳腺病变患者的乳腺超声图像进行注释。具体来说，患者被告知接受LOGIQ E9（GE）和IU-Elite（PHILIPS）扫描，以生成这些超声图像。每一个超声图像随后都由两三名临床医生进行检查和诊断。基于乳腺成像报告和数据系统（BI-RADS）的评级[35]然后将每个诊断图像分为7个类别，从0到6，其中0表示需要更多信息，1个阴性，2个良性发现，3个可能良性（癌症的可能性小于2%），4个可疑异常，5个高度提示恶性肿瘤，6个已证实恶性肿瘤。根据[35]一些医学专家建议将第四类（可疑异常）进一步划分为三个亚类，即4A（低恶性怀疑）、4B（中等恶性怀疑）和4C（中度关注，但恶性不明显）。为此，根据临床医生的专业指导，我们将数据集分为两类：良性和恶性。良性类别由分类为2、3和4A的图像构成，而恶性类别由分类4B、4C、5和6的图像构成。通过与临床医生的合作，我们已经从患者中收集了577例良性和464例恶性病例。此外，每幅图像中的病变也由经验丰富的临床医生标记出来。图1例显示4个包含良性或恶性病变的超声图像。据我们所知，目前还没有像我们这样公开的乳腺病变超声图像数据集。

图1

针对不同患者的四个病变病例，采用不同方法的基础事实注释和预测边界框

目标检测训练协议

深度学习技术的显著进步，尤其是CNN，极大地促进了视觉对象检测的研究。基于快速区域的卷积神经网络（R-CNN）[22]，更快的R-CNN[23]，你只看一次（YOLO）[24]，YOLO版本3（YOLOv3）[25]和单脉冲多盒探测器（SSD）[26]是现有的最先进的目标检测方法。然而，这些基于CNN的方法只关注一般的目标检测。在本文中，我们将其应用于检测我们新收集的乳腺超声数据集中的病变。我们还将每个基于CNN的检测方法与不同的现有神经网络相结合，例如，视觉几何组（VGG16）[29]，ZFNet公司[28].

我们使用方法的结果[21]作为检测乳腺病变的基线。所有CNN都经过修改，以从ImageNet检测任务到我们的数据集评估这些CNN架构。接下来，我们将介绍这些算法之间的差异。

快速R-CNN美国有线电视新闻网[36]和空间金字塔汇集网[37]使用CNN对区域建议进行分类，并达到了很好的目标检测精度。然而，仍然存在两个主要问题：一是培训阶段是一个多阶段的管道；以及ii）目标检测速度慢。为了克服这些缺点，还受到金字塔池网的启发[37]，Girshick等人[22]改进了R-CNN，提出了快速R-CNN（Fast R-CNN），将ROI池层添加到最后一个卷积层，ROI池图层使用最大池将任何有效感兴趣区域内的特征转换为具有固定空间范围的小特征图。每个特征都被输入到一个完全连接的层中，该层最终分支为两个输出：一个输出产生softmax概率估计，另一个输出进行bounding-box回归。换句话说，同时执行分类和边界框回归。

更快的R-CNN快速R-CNN，由于选择性搜索用于区域建议，检测时间不是很快。为了避免生成区域的独立步骤，Ren等人[23]建议将所谓的区域建议网络（RPN）集成到快速R-CNN中，RPN和快速R-CNN共享大量卷积层。在Faster R-CNN中，作为输入的图像被输入到RPN并输出一组矩形对象建议，每个对象建议都有一个对象性分数，该分数被输入到两个兄弟的完全连接层：对象类别分类层和方框回归层，同时在规则网格上的每个位置回归对象性分数和区域边界。

YOLO公司YOLO公司[24]利用单个卷积神经网络预测检测区域的边界盒和类标签。由于YOLO限制了边界框的数量，因此避免了对同一对象的重复检测，从而大大提高了检测速度，使YOLO适合于实际应用。由于YOLO可能无法定位小对象，Redmon和Farhadi提出了YOLO版本2（YOLOv2）[38]，YOLO的改进版本。YOLOv2使用了一种新的分类模型Darknet-19，在标准检测任务上达到了最先进的水平。在[25]Redmon和Farhadi对YOLO做了一系列小的设计更改，这比YOLOv2（称为YOLOv 3）更快、更准确地进行检测。YOLOv3使用维度优先级和位置预测边界框。YOLOv3使用了一个功能强大得多的特征提取网络，这是YOLOv 2中使用的网络、Darknet-19和新型剩余网络之间的混合方法。YOLOv3是一种快速准确的检测仪。

固态硬盘为了提高检测速度和准确性，Liu等人[26]建议的SSD，它只需要在训练期间为每个对象提供一个输入图像和地面真值框。对于不同大小的目标，SSD添加了几个辅助卷积特征层，这些特征层的大小逐渐减小，并在多尺度上预测检测。SSD使用较浅的层来检测小物体。此外，SSD框架以卷积方式评估了不同比例的多个特征图中每个位置的一组不同纵横比的默认框。为了有效地离散可能的输出框形状的空间，允许在多个特征映射中使用不同的默认框形状。对于每个默认框，SSD预测所有对象类别的形状偏移和置信度。

分类培训协议

在这项工作中，我们主要探索和评估在乳腺病变分类任务中具有不同模型训练参数值的不同CNN架构。这些CNN架构学习了标签集，与使用手工制作功能的更传统方法相比，标签集具有主要优势。由于缺乏大数据，我们还评估了非医学数据集的迁移学习。

卷积神经网络结构

我们主要探索和评估AlexNet[27]、ZFNet[28]，VGG[29]、ResNet[30]、GoogLeNet[31]和DenseNet[32]用不同的模型训练参数值对乳腺病变任务进行分类。这些深入的CNN架构描述如下。

AlexNet公司

AlexNet[27]在ImageNet大型视觉识别比赛（2012年）中取得了显著提高的成绩。AlexNet有五个卷积层，三个完全连接层，大约有6000万个自由参数。

ZFNet公司

ZFNet体系结构发布于[28]，作者介绍了一种新的可视化技术，以揭示CNN模型表现如此出色的原因。该体系结构基于AlexNet，它是一个8层convnet模型，有五个卷积层、两个完全连接层和一个softmax层。

VGG公司

在VGG中[29]作者的主要贡献是对深度不断增加的网络进行了评估，结果表明深度达到16-19个权重层，可以显著提高性能。在本文中，我们使用16个权重层（VGG16）作为默认架构。

谷歌在线

谷歌在线[31]基于希伯来理论和多尺度处理的直觉，作者提出了一个新的模型“初始”。“初始”层由六个卷积层组成。GooLeNet显著增加了卷积网络的深度，超过20层（两个卷积层和九个“初始”模块）。

ResNet公司

在[30]提出了一个残差学习框架来解决难以训练深度CNN的问题，并表明这些残差网络更容易优化。该框架明确地将层重新构造为学习剩余函数。在我们的论文中，我们使用了50层来评估和分析我们的数据集。

DenseNet公司

DenseNet公司[32]以前馈方式将每一层连接到其他层。DenseNets有几个优点：有效解决了消失梯度问题，减少了参数数量，特征重用，加强了特征传播。在本文中，DenseNet-121是我们用于评估和分析数据集的默认DenseNetwork架构，其增长率为k=32。

培训协议

先前的许多研究已经分析了临床医生从基于全尺寸图像（LROI）分类的传统方法中手动选择ROI的感兴趣病变区域。我们知道，目前还没有一项工作能够将超声图像中的乳腺病变进行分类，从而达到实际临床环境的性能要求。在本文中，为了系统评估基于CNN的不同体系结构的影响，但之前不关心的因素，我们使用CNN对全尺寸图像和LROI图像进行分类。为了适应上述CNN架构，所有全尺寸图像和LROI图像的大小都调整为256×256像素，并手动分类为良性或恶性。我们使用caffe框架对所有模型进行训练，并且训练了2000个可以观察到收敛的时段。

收集和注释大量乳腺超声图像仍然是一项重大挑战。尽管自然图像和乳腺超声图像之间存在差异，但我们的假设是，CNN在大规模注释良好的ImageNet上进行全面训练后，仍可能被转移，以使医学图像识别任务更加有效。因此，本文评估和分析了CNN模型的影响，这些模型不仅从零开始学习，而且从预训练模型中转移学习。当从头开始学习时，CNN模型的所有随机参数初始化如下：AlexNet、ZFNet、VGG和高斯随机参数；GoogLeNet与Xavier合作；ResNet和DenseNet与Microsoft Research Asia填料。对于预训练模型的微调，最后一个完全连接的层是随机初始化和新训练的，以适应我们任务中的新对象类别。

结果

在本节中，实验比较了基于CNN的检测和分类方法在我们的数据集上的性能。

检测

在本文中，我们比较了不同方法的结果（[21]、Fast R-CNN、Faster R-CNN，YOLO，YOLOv3，SSD）在乳腺超声图像中定位病变ROI。对于深层架构，我们采用中型网络VGG16[29]和一个小型网络ZFNet[28]用于Fast R-CNN、Faster R-CNN和SSD。我们将基于VGG16的检测架构表示为Fast+VGG16、Faster+VGG16、SSD300+VGG16和SSD，输入大小为500×500（SSD500）+VGG16；并将基于ZFNet的检测体系结构表示为Fast+ZFBet、Faster+ZFBET、SSD300+ZFBets和SSD500+ZFNets。我们表示YOLO使用其原始的Darknet-53模型[24]作为YOLO，YOLOv3使用其原始的Darknet53.conv.74模型[25]作为YOLOv3。

对于评估指标，我们使用所有测试图像的平均准确率（APR）和平均召回率（ARR）[21]以及F₁每种方法的得分：

$$开始{数组}{@{}rcl@{}}\text{APR}&=&\frac{1}{N}\sum_{i=1}^{N}\frac}\left|R{i}^{gt}\cap R{i{^{pred}\right|}{left|R{i}^{pred}\right |}，\，\，\\text{ARR}}^{N}\frac{\left|R_{i}^{gt}\cap R_{i}^{pred}\right|}{\left | R_{i}^}\right |}，\，\，\\mathrm{F}（F）_{1} &=&\frac{2\times\text{APR}\times\text{ARR}}{\text{APR{+\text{ARR}}，\end{array}$$

哪里N个是图像的数量，\（R_{i}^{gt}\）是地面损伤区域，并且\（R_{i}^{pred}\）是预测的边界框。较高的APR表明ROI和真实病变区域之间的重叠率较高，而较高的ARR表明，由所提出的方法生成的ROI可能需要删除额外的非病变区域。

在实验中，我们准备了以下数据。对于良性类，随机选择285例作为训练集，191例作为验证集，103例作为测试集。对于恶性类，我们抽取230例作为训练集，154例作为验证集，80例作为测试集。总计（良性+恶性），我们有515个培训案例、345个验证案例和183个测试案例。表中列出了这些基线的比较1，其中APR、ARR和F₁比较了不同方法在三种设置下的得分，即仅良性图像、仅恶性图像和良性+恶性图像。我们可以清楚地观察到，基于CNN的方法比[21]. 此外，在基于CNN的方法中，YOLO和SSD的表现明显优于Fast R-CNN和Faster R-CNN。此外，总体而言，SSD300比其他基于CNN的方法获得了良好的结果，这表明SSD300更适合于本工作中的病变检测任务。

表1 APR、ARR和F₁三种设置下不同方法的得分

我们还为图中的四种病变情况绘制了不同方法预测的结果边界框1.

分类

为了分析学习对划痕和预训练的影响，我们比较了四种不同的场景，分别是LROI与随机初始化、LROI和传输学习、全尺寸图像与随机初始化以及全尺寸图像和传输学习。

对于评估指标，我们采用每种方法的准确率（AR）：

$$\开始{数组}{@{}rcl@{}}\text{AR}=\frac{\left|B_{B}^{pre}+M_{M}^{pred}\right|}{\left |B_}B}^}pred}+M_2{M}^{pred}+B_{M{^{pred}+M_pred}+M_{bneneneep ^{pred\right|{，\end{array}$$

\（B_{B}^{pre}\）是良性预测为良性的图像数量，以及\（M_{M}^{pred}\）是恶性预测为恶性的图像数。\（B_{m}^{pre}\）是良性预测为恶性的图像数量，以及\（M_{b}^{pred}\）是恶性预测为良性的图像数量。需要注意的是，当一个数字有多个病变时，只要有恶性病变，这个数字就是恶性的。

在实验中，我们准备了以下数据。随机选取良性班476例和恶性班384例作为训练集。以103例良性分类和80例恶性分类为测试集。在这个实验中，我们在我们的数据集上分析和比较了AlexNet、ZFNet、VGG16、GoogLeNet、ResNet和DenseNet的性能。我们进行了广泛的实证评估，并比较了上述四种不同的场景，结果如表所示2。我们可以看到，在所有场景中，DenseNet都比其他方法取得了最好的结果，这表明DenseNetwork更适合我们的问题。

表2不同方法的准确率（AR）

讨论

检测

来自表格1我们可以看到YOLO和SSD的性能明显优于其他方法。YOLO根据每个完整图像进行预测，因此它隐式编码上下文信息。ROI没有两阶段拦截，因此YOLO的背景错误更少。SSD添加了几个辅助卷积特征层，这些特征层的大小逐渐减小，并在多尺度上预测检测。SSD使用不同的层来检测不同大小的对象。在乳腺超声图像中，有许多不同大小的病变，SSD的这些优点还可以覆盖大小病变区域。值得注意的是，通过使用ZFNet或VGG16，SSD300在所有三种设置中都优于SSD500。原因如下。SSD300将图像大小调整为300×300，而SSD500将图像大小设置为500×500。SSD300中的候选区域覆盖的面积比SSD500中的区域大。由于病变区域在图像中占很大比例，SSD300能够更好地捕获该区域，从而获得更好的性能。此外，SSD300+ZFNet在良性环境下优于SSD300+VGG16，但在恶性环境下更差。这个有趣的观察结果可以基于ZFNet和VGG16的模型复杂性来解释。具体来说，尽管ZFNet是一个小的神经网络，但它可以很好地处理较容易的情况（即良性），但对于较难的情况（如恶性），它的拟合有点不足。相比之下，较大的VGG16模型擅长处理恶性病变，而对良性病变则过于拟合。

分类

对于完整图像和LROI，AlexNet、ZFNet和VGG16在从头开始学习时表现不佳，因为维度诅咒问题很容易导致过度拟合。GoogLeNet使用inception模块作为降维模块来增加网络的深度和宽度，这比我们的数据集上的AlexNet、ZFNet和VGG16改进了结果。ResNet通过引入深度残差学习框架来解决退化问题，而不是希望每个堆叠层直接适合所需的底层映射，而是明确地让这些层适合残差映射。当深度增加时，Resnet很容易优化，并且可以很容易地从大大增加的深度中获得精度增益。在表中2，我们可以看到ResNet在我们的数据集上比GoogLeNet更准确。DenseNet以前馈方式将每一层与每一层连接起来，以缓解消失梯度问题并加强特征传播。在相同层数的情况下，DenseNet比传统卷积网络减少了参数的数量，因为不需要重新学习冗余特征图，这已经在我们的数据集上获得了最好的结果。

转移学习有可能进一步提高分类性能。在表中2在四种不同的场景中，我们观察到所有网络都从大规模带注释的ImageNet传输学习，这比随机初始化产生了更高的准确率，而DenseNet获得了最佳结果。

结论

本文主要研究了现有的基于CNN的乳腺超声图像中乳腺病变检测和分类方法。由于缺乏公开可用的数据集，为了分析和评估乳腺超声图像中的CAD方法，我们收集了一个新的数据集。该数据集由579例良性病变和464例恶性病变病例以及相应的超声乳腺图像组成，并由经验丰富的临床医生手动注释。

在检测任务中，我们使用最先进的基于CNN的检测方法来定位乳腺超声图像中的病变区域，并在我们新收集的数据集上对其进行系统评估。我们为我们新收集的数据集建立了基准，我们的研究可能会使同一领域的其他研究人员受益。通过检测病变区域的综合实验，我们发现SSD300在APR、ARR和F方面表现最佳₁分数。

对于分类任务，在我们的数据集上，我们系统地分析了不同的基于CNN的分类方法在四种场景中的性能。我们的实验表明，参数较少的深度网络在我们的数据集上获得了更好的结果。将学习从大规模带注释的ImageNet转移到乳腺病变分类，可以显著提高不同CNN架构的性能。DenseNet更适合我们的问题。

目前，我们的数据集基于从BI-RADS中获得的评级。未来，我们将建立注释良好的数据集，该数据集基于每个肿瘤的活检结果。此外，我们将对新算法进行进一步的研究，以提高性能。