卷积神经网络：综述及其在放射学中的应用

摘要

卷积神经网络（CNN）是一类在各种计算机视觉任务中占主导地位的人工神经网络，它正在包括放射学在内的各个领域吸引人们的兴趣。CNN旨在通过使用多个构建块（如卷积层、池层和完全连接层），通过反向传播自动自适应地学习特征的空间层次。本文综述了CNN的基本概念及其在各种放射学任务中的应用，并讨论了其在放射学领域的挑战和未来方向。本文还将介绍将CNN应用于放射任务的两个挑战，即小数据集和过拟合，以及将其最小化的技术。熟悉CNN的概念、优势和局限性对于充分利用其在诊断放射学中的潜力至关重要，其目标是提高放射科医生的表现并改善患者护理。

关键点

•卷积神经网络是一类深度学习方法，已在各种计算机视觉任务中占据主导地位，并吸引了包括放射学在内的多个领域的兴趣。

•卷积神经网络由多个构建块组成，例如卷积层、池层和完全连接层，设计用于通过反向传播算法自动自适应地学习特征的空间层次。

•熟悉卷积神经网络的概念、优点和局限性，对于利用其潜力来提高放射科医生的工作表现，并最终改善患者护理至关重要。

介绍

近年来，人们对深度学习产生了巨大的兴趣[1]. 在各种深度学习模型中，最成熟的算法是卷积神经网络（CNN），自2012年在被称为ImageNet大规模视觉识别竞赛（ILSVRC）的物体识别竞赛上分享令人惊讶的结果以来，一类人工神经网络一直是计算机视觉任务中的主导方法[2,三]. 医学研究也不例外，因为CNN在各个领域都取得了专家级的成绩。Gulshan等人[4]，Esteva等人[5]，以及Ehteshami Bejnordi等人[6]证明了深度学习在糖尿病视网膜病变筛查、皮肤病变分类和淋巴结转移检测方面的潜力。不用说，放射学研究人员对CNN的潜力产生了浓厚的兴趣，并且已经在病变检测等领域发表了几项研究[7]，分类[8]，分段[9]，图像重建[10,11]和自然语言处理[12]. 熟悉这种最先进的方法不仅有助于将CNN应用于放射学和医学成像任务的研究人员，也有助于临床放射科医生，因为深度学习可能会影响他们在不久的将来的实践。本文重点介绍CNN的基本概念及其在各种放射学任务中的应用，并讨论其面临的挑战和未来的方向。其他深度学习模型，如序列模型的递归神经网络，超出了本文的范围。

术语

为了避免混淆，本文始终使用以下术语。本文中的“参数”表示在培训过程中自动学习的变量。“超参数”是指在训练过程开始之前需要设置的变量。“核”是指卷积运算中应用的可学习参数集。“重量”通常与“参数”互换使用；然而，我们试图在引用卷积层之外的参数时使用这个术语，例如，在完全连接层中的核。

什么是CNN：大局（图1)

CNN是一种深度学习模型，用于处理具有网格模式的数据，例如图像，其灵感来自动物视觉皮层的组织[13,14]并被设计为自动和自适应地学习从低级到高级模式的特征的空间层次。CNN是一种数学构造，通常由三种类型的层（或构建块）组成：卷积层、池层和完全连接层。前两个层（卷积层和池层）执行特征提取，而第三个层（完全连接层）将提取的特征映射到最终输出，如分类。卷积层在CNN中起着关键作用，CNN由一系列数学运算组成，例如卷积，一种特殊的线性运算。在数字图像中，像素值存储在二维（2D）网格中，即数字数组（图2)在每个图像位置应用一个称为kernel的小参数网格，这是一个可优化的特征提取程序，这使得CNN对于图像处理非常高效，因为特征可能出现在图像中的任何位置。当一层将其输出输入到下一层时，提取的特征可能会分层并逐步变得更加复杂。优化参数（如核）的过程称为训练，其目的是通过一种称为反向传播和梯度下降的优化算法，将输出和地面真值标签之间的差异最小化。

图1

卷积神经网络（CNN）体系结构和训练过程概述。CNN由几个构建块组成：卷积层、池层（例如最大池）和完全连接（FC）层。通过在训练数据集上的前向传播，利用损失函数计算模型在特定内核和权重下的性能，并通过梯度下降优化算法的反向传播，根据损失值更新可学习参数，即内核和权重。ReLU，整流线性单元

图2

计算机将图像视为数字数组。右侧的矩阵包含0到255之间的数字，每个数字对应于左侧图像中的像素亮度。两者都在中间的图像中重叠。源图像是通过下载的http://yann.lecun.com/exdb/mnist

CNN与放射组学中使用的其他方法有何不同？

最近的辐射学研究使用手工特征提取技术，如纹理分析，然后使用传统的机器学习分类器，如随机森林和支持向量机[15,16]. 这些方法与CNN有几个不同之处需要注意。首先，CNN不需要手工提取特征。其次，CNN架构不一定需要人类专家对肿瘤或器官进行分割。第三，CNN对数据的需求更大，因为它有数百万可学习的参数需要估计，因此计算成本更高，导致需要图形处理单元（GPU）进行模型训练。

CNN架构的构建块

CNN体系结构包括几个构建块，例如卷积层、池层和完全连接层。典型的体系结构由多个卷积层和池层的堆栈重复组成，然后是一个或多个完全连接的层。通过这些层将输入数据转换为输出的步骤称为正向传播（图。1). 虽然本节中描述的卷积和池操作适用于2D-CNN，但也可以对三维（3D）-CNN执行类似的操作。

卷积层

卷积层是执行特征提取的CNN体系结构的基本组件，特征提取通常由线性和非线性操作的组合组成，即卷积操作和激活函数。

卷积

卷积是用于特征提取的一种特殊类型的线性操作，其中一个称为核的小数字数组应用于输入，该输入是一个名为张量的数字数组。在张量的每个位置，计算核的每个元素和输入张量之间的元素乘积，并求和以获得输出张量相应位置的输出值，称为特征映射（图三a–c）。该过程重复应用多个核来形成任意数量的特征映射，这些特征映射代表输入张量的不同特征；因此，不同的内核可以被视为不同的特征提取程序（图。三d） ●●●●。定义卷积运算的两个关键超参数是核的大小和数量。前者通常为3 × 3，但有时5 × 5或7 × 7.后者是任意的，决定了输出特征图的深度。

图3

一——c核大小为3的卷积运算示例 × 3，无填充，步幅为1。在输入张量上应用一个核，在每个位置计算核的每个元素与输入张量之间的元素乘积，并求和以获得输出张量对应位置的输出值，称为特征映射。d日显示了卷积层中的核如何从输入张量中提取特征的示例。多个内核充当不同的特征提取程序，例如水平边缘检测器（顶部）、垂直边缘检测器（中部）和轮廓检测器（底部）。注意，左边的图像是输入，中间的图像是内核，右边的图像是输出特征图

上述卷积运算不允许每个核的中心与输入张量的最外层元素重叠，并且与输入张量相比，减少了输出特征映射的高度和宽度。填充，通常是零填充，是一种解决此问题的技术，其中在输入张量的每一侧添加了行和列的零，以便在最外层元素上拟合核的中心，并通过卷积操作保持相同的平面内尺寸（图4). 现代CNN架构通常使用零填充来保留平面内尺寸，以便应用更多层。如果没有零填充，每个连续的特征映射在卷积操作后都会变得更小。

图4

一种带零填充的卷积运算，以保持平面内尺寸。请注意，输入维度为5 × 5保持在输出特征图中。在本例中，内核大小和步幅设置为3 × 分别为3和1

两个连续的核位置之间的距离称为步长，也定义了卷积运算。步幅的常见选择是1；然而，有时使用大于1的步幅来实现特征映射的下采样。执行下采样的另一种方法是池操作，如下所述。

卷积运算的关键特征是权重共享：在所有图像位置共享核。权重共享创建了卷积操作的以下特征：（1）使核平移b提取的局部特征模式在核遍历所有图像位置时保持不变，并检测学习到的局部模式，（2）通过下采样结合池操作来学习特征模式的空间层次结构，从而捕获越来越大的视野，以及（3）与完全连接的神经网络相比，通过减少要学习的参数数量来提高模型效率。

如后文所述，就卷积层训练CNN模型的过程是根据给定的训练数据集确定最适合给定任务的内核。核是卷积层中训练过程中自动学习的唯一参数；另一方面，核的大小、核的数量、填充和步幅是在训练过程开始之前需要设置的超参数（表1).

表1卷积神经网络（CNN）中的参数和超参数列表

非线性激活函数

然后，线性运算（如卷积）的输出通过非线性激活函数。尽管之前使用了平滑非线性函数，如sigmoid或双曲正切（tanh）函数，因为它们是生物神经元行为的数学表示，但目前使用的最常见的非线性激活函数是校正线性单位（ReLU），它只需计算函数：f(x个) = 最大值（0， x个)（图5)[1,三,17,18,19].

图5

常用于神经网络的激活函数：一校正线性单元（ReLU），b条乙状结肠，以及c双曲正切（tanh）

水池层

池层提供了一种典型的下采样操作，它降低了特征映射的平面内维数，以便为小位移和畸变引入平移不变性，并减少后续可学习参数的数量。值得注意的是，在任何池化层中都没有可学习的参数，而滤波器大小、步长和填充是池化操作中的超参数，类似于卷积操作。

最大池数

最流行的池操作形式是最大池，它从输入特征映射中提取补丁，输出每个补丁中的最大值，并丢弃所有其他值（图6). 带有大小为2的过滤器的最大池 × 实际中通常使用步幅为2的2。这将特征地图的平面内尺寸降低了2倍。与高度和宽度不同，要素图的深度标注保持不变。

图6

一筛选器大小为2的最大池操作示例 × 2，无填充，步幅为2，提取2 × 来自输入张量的2个面片，输出每个面片中的最大值，并丢弃所有其他值，从而将输入张量平面内尺寸的采样降低2倍。b条图中相同图像上的最大池操作示例。三b.注意，上面一行中的图像从26降为2 × 26至13 × 13

全球平均池

另一个值得注意的池操作是全球平均池[20]. 全局平均池执行极端类型的下采样，其中具有高度大小的要素图 × 宽度降为1 × 1数组，只需取每个要素图中所有元素的平均值，而保留要素图的深度。此操作通常仅在完全连接的层之前应用一次。应用全局平均池的优点如下：（1）减少了可学习参数的数量，（2）使CNN能够接受可变大小的输入。

全连接层

最终卷积或池层的输出特征映射通常是平坦的，即转换为一维（1D）数字数组（或向量），并连接到一个或多个完全连接的层，也称为致密层，其中每个输入通过可学习的权重连接到每个输出。一旦创建了卷积层提取的特征和池层降采样的特征，它们将由完全连接层的子集映射到网络的最终输出，例如分类任务中每个类的概率。最后一个完全连接的层通常具有与类数相同的输出节点数。每个完全连接的层后面都有一个非线性函数，如ReLU，如上所述。

最后一层激活功能

应用于最后一个完全连接层的激活函数通常与其他层不同。需要根据每个任务选择适当的激活功能。应用于多类分类任务的激活函数是一个softmax函数，它将最后一个完全连接层的输出实值规范化为目标类概率，其中每个值的范围在0到1之间，所有值的总和为1。表中总结了各种任务类型的最后一层激活功能的典型选择2.

表2各种任务常用的最后一层激活功能列表

训练网络

训练网络是一个在卷积层中寻找核的过程，在完全连接的层中寻找权重，以最小化输出预测与训练数据集上给定地面真值标签之间的差异。反向传播算法是训练神经网络的常用方法，其中损失函数和梯度下降优化算法起着至关重要的作用。特定核和权重下的模型性能通过损失函数在训练数据集上向前传播计算，可学习参数，即核和权重，通过称为反向传播和梯度下降的优化算法等根据损失值进行更新（图。1).

损失函数

损失函数（也称为成本函数）通过正向传播测量网络输出预测与给定地面真相标签之间的兼容性。多类分类中常用的损失函数是交叉熵，而均方误差通常用于回归到连续值。损失函数类型是超参数之一，需要根据给定的任务确定。

梯度下降

梯度下降法是一种常用的优化算法，它迭代地更新网络的可学习参数，即核和权重，以使损失最小化。损失函数的梯度为我们提供了函数增长速度最快的方向，每个可学习参数都在梯度的负方向上更新，更新的步长是根据称为学习率的超参数确定的（图7). 从数学上讲，梯度是损失相对于每个可学习参数的偏导数，参数的单一更新公式如下：

$$w：=w-\alpha\ast\frac{\partial L}{\partical w}$$

哪里w个表示每个可学习参数，α表示学习率，以及L（左）代表损失函数。值得注意的是，在实践中，学习率是在培训开始之前要设置的最重要的超参数之一。实际上，由于内存限制等原因，损失函数相对于参数的梯度是使用称为minibatch的训练数据集子集计算的，并应用于参数更新。这种方法被称为微型梯度下降法，也称为随机梯度下降法（SGD），微型梯度大小也是一个超参数。此外，对梯度下降算法提出了许多改进，并得到了广泛应用，如带动量的SGD、RMSprop和Adam[21,22,23]，尽管这些算法的细节超出了本文的范围。

图7

梯度下降是一种迭代更新可学习参数以最小化损失的优化算法，它测量输出预测与地面真值标签之间的距离。损失函数的梯度提供了函数增长速度最快的方向，所有参数在梯度的负方向上更新，步长根据学习速度确定

数据和地面真相标签

在应用深度学习或其他机器学习方法的研究中，数据和地面真相标签是最重要的组成部分。正如源于计算机科学的一句著名谚语所说：“垃圾进，垃圾出。”仔细收集数据和基本真相标签，用以训练和测试模型，对于一个成功的深度学习项目来说是强制性的，但获取高质量的标记数据可能既昂贵又耗时。虽然可能有多个医疗图像数据集向公众开放[24,25]在这些情况下，应特别注意地面真相标签的质量。

可用数据通常分为三组：培训、验证和测试集（图8)，尽管有一些变体，例如交叉验证。训练集用于训练网络，其中损失值通过正向传播计算，可学习参数通过反向传播更新。验证集用于在训练过程中评估模型，微调超参数，并执行模型选择。理想情况下，测试集只在项目的最后使用一次，以评估最终模型的性能，该模型是在训练过程中通过训练集和验证集进行微调和选择的。

图8

可用数据通常分为三组：培训、验证和测试集。训练集用于训练网络，其中损失值通过正向传播计算，可学习参数通过反向传播更新。验证集用于在训练过程中监控模型性能、微调超参数和执行模型选择。理想情况下，测试集只在项目结束时使用一次，以评估最终模型的性能，该模型经过微调，并在训练过程中使用训练集和验证集进行选择

需要单独的验证和测试集，因为训练模型总是需要微调其超参数并执行模型选择。由于此过程是基于验证集的性能执行的，因此有关此验证集的一些信息会泄漏到模型本身，即验证集过拟合，即使模型从未直接接受过可学习参数的训练。因此，可以保证验证集上具有微调超参数的模型在同一验证集上表现良好。因此，一个完全看不见的数据集，即一个单独的测试集，对于适当评估模型性能是必要的，因为我们关心的是模型在前所未有的数据上的性能，即泛化性。

值得一提的是，“验证”一词在医学领域和机器学习领域的用法不同[26]. 如上所述，在机器学习中，术语“验证”通常指在训练过程中微调和选择模型的步骤。另一方面，在医学中，“验证”通常代表验证预测模型性能的过程，这类似于机器学习中的术语“测试”。为了避免这种混淆，有时用单词“开发集”代替“验证集”。

过度拟合

过度拟合是指模型学习特定于训练集的统计规律的情况，即最终记忆不相关的噪声而不是学习信号，因此在后续的新数据集上表现不佳。这是机器学习中的主要挑战之一，因为过度提交的模型无法推广到从未见过的数据。从这个意义上讲，测试集在机器学习模型的正确性能评估中起着关键作用，如前一节所述。识别训练数据过拟合的例行检查是监控训练和验证集的丢失和准确性（图9). 如果与验证集相比，模型在训练集上表现良好，则模型可能超出训练数据。已经提出了几种方法来最小化过拟合（表三). 减少过拟合的最佳解决方案是获得更多的训练数据。在更大的数据集上训练的模型通常泛化得更好，尽管这在医学成像中并不总是可以实现的。其他解决方案包括带丢失或权重衰减的正则化、批量规范化和数据增强，以及降低架构复杂性。Dropout是最近引入的一种正则化技术，在训练期间，随机选择的激活设置为0，因此模型对网络中的特定权重不太敏感[27]. 权重衰减（也称为L2正则化）通过惩罚模型的权重，使权重只取较小的值，来减少过拟合。批量归一化是一种补充层，它自适应地对下一层的输入值进行归一化，降低过拟合的风险，并改善网络中的梯度流，从而提高学习率，减少对初始化的依赖[28]. 数据增强还可以有效地减少过拟合，这是一个通过翻转、平移、裁剪、旋转和随机擦除等随机变换修改训练数据的过程，因此模型在训练迭代期间不会看到完全相同的输入[29]. 尽管做出了这些努力，但由于超参数微调和模型选择过程中的信息泄漏，仍然存在对验证集而不是训练集过度拟合的问题。因此，在单独的（看不见的）测试集上报告最终模型的性能，如果适用，最好在外部验证数据集上报告，这对于验证模型的可推广性至关重要。

图9

识别过拟合的例行检查是在训练迭代期间监测训练和验证集的损失。如果与验证集相比，模型在训练集上表现良好，则模型已超出训练数据。如果模型在训练集和验证集上都表现不佳，则模型对数据的拟合不足。虽然网络的训练时间越长，它在训练集上的表现就越好，但在某些情况下，网络与训练数据拟合得太好，并失去了泛化能力

表3缓解过拟合的常用方法列表

小数据集培训

在医学成像中需要大量标记良好的数据，但由于放射学专家的成本和必要工作量，这些数据很少可用。有两种技术可以在较小的数据集上有效地训练模型：数据增强和传递学习。由于上一节简要介绍了数据增强，因此本节重点关注迁移学习。

转移学习是在小数据集上训练网络的一种常见而有效的策略，其中网络在超大数据集上进行预处理，例如ImageNet，其中包含140万张图像和1000个类，然后重复使用并应用于给定的感兴趣任务。传递学习的基本假设是，在足够大的数据集上学习的通用特征可以在看似不同的数据集之间共享。学习到的通用功能的这种可移植性是深度学习的一个独特优势，使其在具有小数据集的各种领域任务中非常有用。目前，许多在ImageNet挑战数据集上预处理过的模型，以及它们的学习内核和权重，如AlexNet，都向公众开放并易于访问[三]，VGG[30]、ResNet[31]，成立[32]和DenseNet[33]. 实际上，有两种方法可以利用预处理网络：固定特征提取和微调（图10).

图10

转移学习是在小数据集上训练网络的一种常见而有效的策略，其中网络在超大数据集（如ImageNet）上进行预处理，然后重用并应用于给定的感兴趣的任务。固定特征提取方法是从预处理网络中删除FC层，同时保持剩余网络的过程，剩余网络由一系列卷积和池层组成，称为卷积基，是固定特征提取器。在这种情况下，任何机器学习分类器，例如随机森林和支持向量机，以及通常的FC层，都可以添加到固定特征提取器的顶部，从而导致训练仅限于在给定的感兴趣数据集上添加分类器。一种更常应用于放射学研究的微调方法不仅是用一组新的FC层替换预训练模型的FC层，以在给定的数据集上对其进行再训练，还可以通过反向传播对预训练卷积库中的全部或部分内核进行微调。FC，完全连接

固定特征提取方法是从ImageNet上预处理的网络中删除完全连接的层，同时保持剩余网络的过程，剩余网络由一系列卷积和池层组成，称为卷积基，作为固定特征提取器。在这种情况下，任何机器学习分类器，例如随机森林和支持向量机，以及CNN中通常的完全连接层，都可以添加到固定特征提取器的顶部，从而导致训练仅限于在给定的感兴趣数据集上添加分类器。由于ImageNet和给定的医学图像之间的差异，这种方法在医学图像的深度学习研究中并不常见。

一种更常用于放射学研究的微调方法是，不仅用一组新的全连接层替换预处理模型的全连接图层以重新训练给定数据集，而且通过反向传播对预处理卷积基中的全部或部分核进行微调。卷积基中的所有层都可以进行微调，或者，可以在微调其余深层的同时固定一些较早的层。这是因为观察到早期的特征看起来更通用，包括适用于各种数据集和任务的边缘等特征，而后期的特征逐渐变得更特定于特定的数据集或任务[34,35].

迁移学习的一个缺点是它对输入维度的限制。输入图像必须是具有与RGB相关的三个通道的2D图像，因为ImageNet数据集由具有三个通道（RGB：红色、绿色和蓝色）的2D彩色图像组成，而医学灰度图像只有一个通道（灰度级）。另一方面，通过在卷积基和添加的完全连接层之间添加全局池层，输入图像的高度和宽度可以是任意的，但不能太小。

人们对利用未标记数据（即半监督学习）来克服小数据问题也越来越感兴趣。这种尝试的例子包括伪标签[36]并结合生成模型，如生成性对抗网络（GAN）[37]. 然而，这些技术是否真的有助于提高放射学深度学习的性能尚不清楚，目前仍在积极研究中。

放射学应用

本节介绍放射学中的最新应用程序，这些应用程序分为以下类别：分类、分割、检测和其他。

分类

在医学图像分析中，深度学习分类通常利用医学图像中描述的目标病灶，并将这些病灶分为两类或更多类。例如，深度学习经常用于将CT图像上的肺结节分类为良性或恶性（图11a） ●●●●。如图所示，为了使用CNN进行有效分类，有必要准备大量具有相应标签的训练数据。对于肺结节分类，使用肺结节的CT图像及其标记（即良性或恶性）作为训练数据。图11b、 c显示了良性肺结节和原发性肺癌之间的肺结节分类训练数据的两个示例；图11b显示训练数据，其中每个数据包括轴向图像及其标签，图11c显示训练数据，其中每个数据包括三个图像（肺结节的轴向、冠状和矢状图像）及其标签。训练CNN后，医生或计算机辅助检测（CADe）系统可以在部署阶段指定医学图像的目标病变[38].

图11

CNN分类系统示意图及其训练数据的代表性示例。一在部署阶段使用CNN的分类系统。b条,c培训阶段使用的培训数据

由于计算机视觉中经常使用2D图像，因此为2D图像开发的深度学习网络（2D-CNN）不能直接应用于放射学中获得的3D图像[薄层CT或3D-磁共振成像（MRI）图像]。为了将深度学习应用于3D放射图像，使用了不同的方法，例如自定义架构。例如，Setio等人[39]使用多流CNN将肺部图像数据库联盟和图像数据库资源倡议（LIDC-IDRI）数据库中的胸部CT图像的候选结节分类为结节或非结节[40]，阳极09[41]和丹麦肺癌筛查试验[42]. 他们基于多平面重建从一个候选结节（每个候选结节一个或九个斑块）中提取出不同方向的二维图像斑块，这些斑块被用于单独的流中，并合并到完全连接的层中，以获得最终的分类输出。之前的一项研究使用3D-CNN充分捕获肺部结节的空间三维上下文信息[43]. 他们的3D-CNN使用LIDC-IDRI数据库执行二分类（良性或恶性结节）和三分类（良性肺结节、恶性原发和继发肺癌）。他们在3D-CNN中使用了多视图策略，其输入是通过裁剪不同大小的肺结节的三个3D补丁，然后将其大小调整为相同的大小来获得的。他们还在3D-CNN中使用3D初始模型，其中网络路径被划分为具有不同卷积和池运算符的多个分支。

时间序列数据通常在动态对比增强CT/MRI或动态放射性同位素（RI）/正电子发射断层扫描（PET）等放射检查中获得。之前的一项研究使用了肝脏肿块三期（非增强CT、动脉期和延迟期增强CT）的CT图像集，用2D-CNN对肝脏肿块进行分类[8]. 为了利用时间序列数据，该研究使用三相CT图像作为具有三个通道的2D图像，这对应于计算机视觉中的RGB颜色通道，用于2D-CNN。研究表明，使用三相CT图像的2D-CNN优于使用两相或单相CT图像。

细分

器官或解剖结构的分割是医学图像分析的基本图像处理技术，如临床参数（器官体积和形状）的定量评估和计算机辅助诊断（CAD）系统。在上一节中，分类取决于感兴趣的病变的分割。分割可以由放射科医生或专业人员手动执行，这是一个耗时的过程。然而，也可以将CNN应用于此任务。图12a显示了MRI上带有恶性肿瘤的子宫分割的代表性示例[24,44,45]. 在大多数情况下，分割系统直接接收整个图像并输出其分割结果。分割系统的训练数据由包含感兴趣器官或结构的医学图像和分割结果组成；后者主要是从以前执行的手动分割中获得的。图12b显示了带有恶性肿瘤的子宫分割系统的典型训练数据示例。与分类相比，由于整个图像被输入到分割系统中，因此系统有必要捕获整个图像的全局空间上下文以进行有效分割。

图12

分割恶性肿瘤子宫的系统示意图及其训练数据的典型示例。一CNN的细分系统正在部署阶段。b条培训阶段使用的培训数据。请注意，原始图像和相应的手动分割是相邻排列的

执行分割的一种方法是使用CNN分类器计算器官或解剖结构的概率。在这种方法中，分割过程分为两个步骤；第一步是使用CNN和图像补丁构建器官或解剖结构的概率图，第二步是细化步骤，其中利用图像的全局上下文和概率图。之前的一项研究使用3D-CNN分类器在3D CT图像上分割肝脏[46]. 3D-CNN的输入是从整个3D CT图像中收集的3D图像块，3D-CN计算图像块中肝脏的概率。通过计算每个图像块出现肝脏的概率，获得肝脏的三维概率图。然后，一种称为图切割的算法[47]基于肝脏的概率图，用于细化肝脏分割。在该方法中，CT图像的局部上下文由3D-CNN评估，全局上下文由图割算法评估。

尽管在深度学习中成功地实现了基于图像块的分割，Ronneberger等人的U-net[48]在ISBI[IEEE（电气与电子工程师学会）国际生物医学成像研讨会]电子显微镜图像中神经元结构分割挑战中，优于基于图像补丁的方法。U形网的结构由一个收缩路径和一个对称扩展路径组成，前者用于捕捉解剖环境，后者用于精确定位。虽然使用基于图像补丁的方法很难同时捕获全局上下文和局部上下文，但U-net使分割过程能够合并多尺度空间上下文。因此，可以从有限数量的训练数据对U-net进行端到端的训练。

在放射学中使用U-net的一种潜在方法是将U-net扩展到3D放射学图像，如分类所示。例如，V网被建议作为U网的扩展，用于在体积MRI图像上分割前列腺[49]. 在研究中，V-net利用了一种基于分割结果与基本事实之间的Dice系数的损失函数，直接反映了前列腺分割的质量。另一项研究[9]利用两种类型的三维U网在三维CT图像上分割肝脏和肝脏肿块，称为级联全卷积神经网络；一种U型网络用于肝脏分割，另一种用于利用肝脏分割结果分割肝脏肿块。由于第二类三维U网主要用于肝脏肿块的分割，因此肝脏肿块分割比单个三维U网更有效。

检测

放射科医生的一项常见任务是检测医学图像中的异常。异常情况很少见，必须在许多正常病例中检测到。之前的一项研究调查了2D-CNN在胸片上检测结核的有用性[7]. 该研究使用了两种不同类型的2D-CNN，AlexNet[三]和GoogLeNet[32]，在胸片上检测肺结核。为了开发检测系统并评估其性能，使用了1007张胸片的数据集。结果表明，AlexNet和GoogLeNet 2D-CNNs集合得到的用于检测健康人肺结核的受试者操作特征曲线下的最佳面积为0.99。

美国每年进行近4000万次乳房X光检查。这些检查主要用于筛查早期乳腺癌。先前对基于CNN的CADe系统和依赖手工制作的成像特征的参考CADe系统进行了比较[50]. 这两个系统都是在大约45000张图像的大型数据集上进行训练的。这两个系统共享候选检测系统。基于CNN的CADe系统根据感兴趣的区域对候选对象进行分类，而参考CADe体系则根据从传统分割算法的结果中获得的手工图像特征对其进行分类。结果表明，基于CNN的CADe系统在低灵敏度下性能优于参考CADe，在高灵敏度下性能相当。

其他

低剂量CT在临床上的应用越来越多。例如，低剂量CT被证明对肺癌筛查有用[51]. 由于低剂量CT的噪声图像阻碍了对CT图像的可靠评估，许多图像处理技术被用于低剂量CT图像的去噪。之前的两项研究表明，利用深度学习可以有效地对低剂量和超低剂量CT图像进行去噪[52,53]. 他们的系统将带噪CT图像分割成图像块，对图像块进行去噪，然后从去噪后的图像块中重建出新的CT图像。他们的系统使用了带编码器-解码器架构的深度学习来去除图像补丁的噪声。去噪系统的训练数据由成对的图像块组成，这些图像块来自标准剂量CT和低剂量CT。图13显示了系统训练数据的典型示例。

图13

模型超低剂量CT（ULDCT）图像去噪系统的示意图及其训练数据的典型示例。一CNN降噪系统处于部署阶段。b条培训阶段使用的培训数据。SDCT，标准剂量CT

之前的一项研究[54]使用U-net解决成像中的逆问题，以获得由子采样正弦图（投影数据）重建的无噪CT图像。为了训练U-net从二次采样正弦图重建无噪声CT图像，U-net的训练数据包括（i）通过滤波反投影（FBP）从二次采样正弦图获得的有噪声CT图像和（ii）从原始正弦图获得的无噪声CT图像。研究表明，虽然可以训练U网络直接从正弦图重建CT图像，但首先执行FBP大大简化了训练。作为对原始U-net的改进，该研究在剩余学习的输入和输出之间添加了跳跃连接。他们的研究表明，U-net可以有效地从次采样的正弦图中生成无噪声的CT图像。

虽然深度学习需要大量的训练数据，但构建如此大规模的放射图像训练数据是一个具有挑战性的问题。一个主要挑战是注释（标签）的成本；放射性图像的注释成本比普通图像大得多，因为注释需要放射科医生的专业知识。为了解决这个问题，之前的一项研究[55]利用放射科医生的注释，这些注释经常添加到放射科医师的报告中（例如圆形、箭头和方形）。该研究从放射科医生报告的注释中获得了33688个病灶边界框。然后，进行无监督的病变分类，推测边界框中病变的标签。为了进行无监督分类，需要反复执行以下三个步骤：（i）使用预处理的VGG16模型进行特征提取[30]（ii）特征的聚类，以及（iii）基于聚类结果对VGG16进行微调。该研究将从聚类结果中获得的标签命名为伪类别标签。研究还表明，检测系统是使用Faster R-CNN方法构建的[56]边界框中的病变及其相应的假分类。结果表明，加入伪类别标签可以显著提高检测精度。

放射科医生通常会将其报告作为医学图像的解释结果。因为他们将医学图像总结为报告中的文本数据，所以可以通过分析放射科医生的报告有效地收集有关疾病诊断的有用信息。之前的一项研究[12]与传统的自然语言处理模型相比，评估了CNN模型在从胸部CT提取肺栓塞发现方面的性能。通过使用单词嵌入，可以将放射学报告中的单词转换为有意义的向量[57]. 例如，通过使用向量表示和单词嵌入，以下等式成立：king–man+woman = 女王。在之前的研究中，单词嵌入使放射报告能够转换为大小为300的矩阵（或图像） × 通过使用这种表示法，2D-CNN可用于将报告归类为肺栓塞或非肺栓塞。他们的结果表明，CNN模型的性能等同于或超过传统模型。

挑战和未来方向

尽管深度学习最近取得了惊人的进展，但其在医学成像中的应用仍然存在挑战。

深度学习被视为一个黑匣子，因为它不会留下审计线索来解释其决策。针对这一问题，研究人员提出了几种技术，可以深入了解特征地图中识别出的特征，称为特征可视化，以及输入的哪一部分负责相应的预测，称为属性。对于特征可视化，Zeiler和Fergus[34]描述了一种可视化特征地图的方法，其中第一层识别小的局部模式，如边或圆，随后的层逐渐将它们组合成更有意义的结构。对于属性，Zhou等人提出了一种生成粗定位图的方法，称为类激活图（CAM），它定位用于预测的输入中的重要区域（图14)[58,59]. 另一方面，值得注意的是，研究人员最近注意到，深层神经网络容易受到对抗性示例的攻击，这些示例是精心选择的输入，导致网络改变输出，而不会对人类造成可见的改变（图15)[60,61,62,63]. 尽管医学领域中对抗性例子的影响尚不清楚，但这些研究表明，人工网络的观察和预测方式与我们的不同。研究深度神经网络在医学成像中的脆弱性至关重要，因为与识别猫或狗等相对琐碎的非医学任务相比，深度学习的临床应用需要极端的鲁棒性才能最终用于患者。

图14

类激活映射（CAM）的示例[58]. 一个接受ImageNet培训的CNN网络将左边的图像归类为“桥墩”。“桥墩”类别的热图，由Grad-CAM方法生成[59]，是叠加的（右图像），表示CNN用于分类的区分图像区域

图15

Goodfellow等人证明的一个对抗性例子[61]. 一家网络将左图中的物体归类为“熊猫”，置信度为57.7%。通过添加少量精心构建的噪声（中间图像），该网络将目标误分类为“长臂猿”，在正确的图像上有99.3%的置信度，而人类没有明显的变化。经Goodfellow等人《解释和利用对抗性例子》许可重印[61]

尽管如上所述，有几种方法可以促进对较小数据集的学习，但仍需要注释良好的大型医学数据集，因为深度学习的大多数显著成就通常都基于大量数据。不幸的是，在医学中建立这样的数据集成本高昂，需要专家承担巨大的工作量，而且可能还存在道德和隐私问题。如前所述，大型医学数据集的目标是提高泛化性和最小化过拟合的潜力。此外，一旦这些数据集可用，可能会提出专门的医学预处理网络，这可能会促进医学成像的深入学习研究，尽管与ImageNet预处理模型相比，使用此类网络的转移学习是否能提高医学领域的性能尚不清楚，仍有待进一步研究。

结论

卷积神经网络在包括医学研究在内的多个领域取得了惊人的成就，人们对放射学的兴趣也越来越大。尽管深度学习已成为图像分类和目标检测等各种复杂任务中的主导方法，但它并不是万能药。熟悉CNN的关键概念和优势以及深度学习的局限性是至关重要的，以便在放射学研究中利用CNN，以提高放射科医生的表现，并最终改善患者护理。