一种新的图像分类方法——基于改进的具有浅层局部接收场扩展的MobileNet模型

摘要

1.简介

计算机图像分类是计算机视觉领域的研究热点之一。通过分析图像并将其分类为几个类别中的一个，它可以在一定程度上取代人类的视觉解释。图像分类研究主要集中在图像特征提取和分类算法上。这些特征对图像分类非常关键，但传统的图像特征如SIFT[1]，HOG公司[2]和NSCT[三]通常是手动设计的。因此，传统的方法很难满足设计者的要求。相反，卷积神经网络（CNN）可以利用已知图像样本的先验知识自动提取特征。它可以避免传统图像分类方法中复杂的特征提取过程，提取的特征具有较强的表达能力和较高的分类效率。

深度学习技术[4,5]在图像分类中的应用日益广泛[6]，目标跟踪[7]，目标检测[8]，图像分割[9,10]等等，都取得了良好的效果。Russakovsky等人[11]使用具有约6000万个参数、5个卷积层和3个完全连接层的AlexNet赢得了2012年ImageNet大型视觉识别挑战赛冠军。然后，为了获得更高的分类精度，深度神经网络（DNN）的结构变得更加深入和复杂。例如，VGG[12]将网络深化到19层，GoogleNet[13]使用inception作为基本结构（网络达到22层），ResNet[14]引入剩余网络结构来解决梯度消失问题。然而，复杂的DNN具有大量的参数和大量的计算，这需要大量的内存访问和CPU/GPU资源。一些实时应用程序和低内存便携式设备仍然无法完全满足DNN模型的资源需求。

为了解决上述问题，越来越多的研究集中在轻量级网络上，轻量级网络在保持高精度的同时，具有较少的参数和计算量。在分析网络参数的数量时，Denil等人[15]发现深层网络中的参数有很多冗余。在处理过程中，这些参数并不能提高分类精度，但会影响处理效率。Hinton等人[16]通过提取模型的集成知识，显著改进了压缩模型。这种简单网络的分类精度几乎与复杂网络的分类精度相同。在网络压缩方面，Iandola等人[17]2016年提出了一个名为SqueezeNet的小型CNN结构，大大减少了网络参数的数量。通过使用深度可分离过滤器，Howard等人[18]基于深度卷积滤波器和点卷积滤波器，设计了一种称为MobileNet的流线型体系结构。MobileNet使用了两个全局超参数来平衡效率和准确性。作为一种计算效率极高的CNN架构，ShuffleNet[19]采用了两种新的操作：逐点群卷积和信道洗牌。这种网络可以应用于计算能力非常有限的移动设备。

尽管轻量级网络的参数或计算量减少，但分类的准确性也相应降低。因此，通过在MobileNet中引入扩展卷积滤波器，提出了一种基于局部感受野扩展的扩展MobileNets方法。在不增加参数的情况下，扩展卷积滤波器可以使网络获得更大的局部感受野，提高分类精度。

2.基本框架

2.1. CNN结构

卷积神经网络通常由卷积层、池层和全连接层组成[20]，如所示图1首先，通过一个或多个卷积层和池层提取特征。然后，将最后一个卷积层的所有特征映射转换为一维向量进行全连接。最后，输出层对输入图像进行分类。该网络通过反向传播和最小化分类结果与预期输出之间的平方差来调整权重参数。每个层中的神经元按三个维度排列：宽度、高度和深度，其中宽度和高度是神经元的大小，深度是指输入图片的通道数或输入特征映射的数量。

在单独的窗口中打开

图1

卷积神经网络的基本结构[21].

卷积层包含多个卷积滤波器，通过卷积运算从图像中提取不同的特征。当前层的卷积滤波器对输入特征映射进行卷积，提取局部特征，得到输出特征映射。然后，利用激活函数得到非线性特征映射。

池层，也称为子采样层，位于卷积层的后面。它使用特定值作为特定子区域中的输出，执行下采样操作。通过从特征映射中删除不重要的采样点，减少了后续层输入特征映射的大小，降低了计算复杂度。同时，网络对图像平移和旋转变化的适应性增强。最常见的池操作是最大池和平均池。

基于卷积层和池层的结构可以提高网络模型的鲁棒性。卷积神经网络可以通过多层卷积得到更深的层次。随着层数的增加，通过学习获得的特征变得更加全球化。最后将学习到的全局特征映射转化为一个向量来连接整个连接层。网络模型中的大多数参数位于全连接层。

2.2. MobileNet结构

MobileNet，如所示图2，结构更小，计算量更小，精度更高，可用于移动终端和嵌入式设备。基于深度可分卷积，MobileNets使用两个全局超参数来平衡效率和准确性。

在单独的窗口中打开

图2

MobileNet的体系结构。

MobileNet的核心思想是卷积核的分解。通过使用深度可分卷积，标准卷积可以分解为深度卷积和带有1×1卷积核的点卷积，如所示图3深度卷积滤波器对每个通道执行卷积，并且1×1卷积用于组合深度卷积层的输出。这样，N个标准卷积核(图3（a）)可以替换为M（M）深度卷积核(图3（b）)和N个逐点卷积核(图3（c）). 标准卷积滤波器将输入组合成一组新的输出，而深度可分离卷积将输入分为两层，一层用于滤波，另一层用于合并。

在单独的窗口中打开

图3

（a） 标准卷积滤波器、（b）深度卷积滤波器和（c）点卷积滤波器。

3.扩展MobileNet结构

MobileNet公司(图2)主要使用3×3卷积滤波器。虽然该网络可以降低计算成本，但在特征图分辨率较高的情况下，小卷积滤波器的局部接收场太小，无法捕获更好的特征。然而，使用大型卷积滤波器将增加参数数量和计算负载。因此，在一些第一浅卷积层中，我们使用膨胀率为2的膨胀卷积来代替标准卷积。我们将此网络称为膨胀卷积移动网络（Explated-MobileNet）。

3.1. 扩张卷积

扩张卷积滤波器[22]首先应用于图像分割的是一种卷积滤波器，它在特征图中相邻的非零值之间插入0个值。图像分割需要与原始输入图像大小相同的图像，但传统DNN中的池层会降低特征地图的空间分辨率。为了生成有效的密集特征图并获得相同大小的感受野，Chen等人[10]删除了完整CNN最后几层中的最大池层，并添加了扩展卷积。该方法不仅避免了汇集层特征图空间分辨率的降低，而且与汇集层一样增加了感受野。

扩张卷积滤波器通过在非零值之间插入0值来扩展感受野，如所示图4.图4（a）表示3×3卷积滤波器的感受野。图4（b）表示感受野，当膨胀率为2时，3×3卷积核变为5×5。图4（c）显示感受野，而当膨胀率为3时，3×3卷积核变为7×7。因此，扩展卷积可以在不增加卷积滤波器参数的情况下扩展卷积滤波器的接收场。

在单独的窗口中打开

图4

扩展卷积核的示意图。

3.2. 扩展的MobileNet

感受野是指映射在输入图像上的每一层输出的特征图中每个元素的大小，因此该层在靠近网络底部时会有更大的感受野，其感受野大约等于全局感受野。在我们的研究中，扩大局部感受野是为了提高MobileNet的分类精度，因此需要增加感受野的层靠近MobileNet的输入。根据扩展卷积滤波器的位置，我们提出了3种新的网络模型，分别命名为D1-MobileNet、D2-MobileNet和D3-MobileNet。

3.2.1. 扩展的1-MobileNet

D1-MobileNet在第一层中将卷积步长设置为1，并用扩展率为2的扩展卷积滤波器取代标准卷积滤波器。同时，为了抑制计算成本的增加，将第二层深度可分卷积的步长设置为2，其他层保持不变。与跨距为1的第一个卷积层MobileNet相比，第一个卷曲层的输出特征图的大小从112×112变为224×224，如所示图5.

在单独的窗口中打开

图5

Dilated1-MobileNet的体系结构。

3.2.2. 扩展的2-MobileNet

在DWD2（深度可分离）层中，深度卷积滤波器由扩展率为2的扩展卷积滤波器扩展，而其他层保持不变。此方法不会增加计算量和参数，也不会更改任何层的输出特征图的大小，如所示图6.

在单独的窗口中打开

图6

扩展的2-MobileNet体系结构。

3.2.3. 扩展的3-MobileNet

D3-MobileNet将第一个卷积层中的卷积步长设置为1，并使用扩展率2将标准卷积滤波器替换为扩展卷积滤波器。在第一个卷积层中进行卷积操作后，通过批归一化层对其进行归一化[23]. 然后，步幅为2的最大池层位于批处理规范化层的后面，其他层保持不变，如所示图7.

在单独的窗口中打开

图7

扩展的3-MobileNet架构。

在感受野扩展方面，也有不同的扩展方式。例如，Sun W将扩展卷积和深度可分卷积结合起来，形成网络构建的标准块[21]. 他们的方法是在每个深度可分离卷积之前添加一个扩张卷积层。与他们的方法不同的是，在Dilated1-MobileNet中，我们使用扩展卷积来代替Mobile Net第一层中的标准卷积，而不在所有后续的深度可分离卷积块之前添加扩展卷积，因为这会增加参数的数量。Dilated2-MobileNet中的差异更大，因为我们在深度卷积层中扩展了感受野，而不是在深度可分离卷积层之前添加了一个扩展卷积层。类似地，Dilated3-MobileNet在第一层用扩展卷积替换标准卷积，并在其后添加池层，而不是在所有深度可分离卷积块之前添加扩展卷积。

4.实验与结果分析

在实验中，我们比较了6个网络的分类结果：SqueezeNet[17]、MobileNet[18]、Dense1-移动网络[24]、Dense2-MobileNet[24]Caltech-101上的D1-MobileNet、D2-MobileNet和D3-MobileNet[25]和Catech-256[26]数据集和具有属性的图宾根动物[27].

Caltech-101数据集是一个图像对象识别数据集，共由9146张图像组成，分为101个不同的对象类别和一个额外的背景/杂波类别。每个对象类平均包含40到800个图像。在对数据集中的图片进行标记后，随机选择1500张图片作为测试图片，其余图片作为训练图片。一些示例如所示图8.

在单独的窗口中打开

图8

Caltech-101数据集中的图片实例。

Caltech-256数据集基于Caltech-101数据集，添加了图像类和每个类中的图像数。该数据集包含257个类中的30607个图像，其中包括256个对象类和一个背景类。每堂课至少有80张图片，背景课最多有827张。图9显示了Caltech-256数据集中的图像示例。数据集中的每张图片都会被标记和洗牌。随机选取3060张图片作为测试图像，其余图片作为训练图像。

在单独的窗口中打开

图9

Caltech-256数据集中的图片实例。

我们还在Animals with Attributes（AwA）数据集上验证了我们的方法，如图10。数据库中共有50个动物类别，共有30475张图片。在实验中，我们选择了21种动物类别作为实验数据集，它们是最大的类别，图片数量几乎相同。这21个动物班共有22742张图片，每个班的图片数量在850-1600张之间。在对数据集中的图片进行标记后，随机选择2000张图片作为测试图片，其余图片作为训练图片。

在单独的窗口中打开

图10

Tuebingen Animals（21）数据集中的图片实例。

实验是在TensorFlow框架下进行的，编程语言是Python。实验服务器配备了NVIDIA TITAN GPU。实验中使用了RMSprop优化算法。RMSprop是一种自适应学习速率方法，可以调整学习速率。在实验中，初始学习率为0.1。由于Xavier初始化方法可以根据每个层的输入和输出数量确定参数的随机初始化分布范围，因此我们使用它来初始化权重系数。实验中使用ReLU作为激活函数，总共训练了50000个批次，每个批次有64个样本。

在接下来的实验中，所有结果都是10次实验的平均值，表中的最佳分类准确率以粗体显示。表2显示了Caltech-101数据集上7个网络模型的分类精度。

从中可以看出表2经过30000次迭代，7个网络模型的准确率达到了平衡，我们改进的3个Dilated-MobileNets模型的准确度比MobileNet模型高出约0.8%～2%。其中，Dilated1-MobileNet模型的分类准确率提高了0.87%，而Dilated2-MobileNets模型的分类正确率提高了1.13%。Dilated3-MobileNet模型效果最好，准确率提高了2.13%，最终分类准确率为78.73%。

表3是Caltech-256数据集上7个网络模型的分类准确率的比较。如所示表3经过30000次迭代，7个网络模型的准确率也达到了平衡，我们改进的3个模型的准确度比MobileNet模型提高了0.5%～1.5%。其中，Dilated-MobileNet模型的准确率提高了1.35%，Dilated3-MobileNet模型的正确率提高了0.64%，其中Dilated-MobileNet的准确率最高，提高了1.42%，最终达到65.94%。

可以从中看到表4MobileNets和Dilated-MobileNet模型的准确率在30000次迭代后达到平衡，但SqueezeNet的准确率仍在增加，最终在50000次迭代之后达到73.85%的平衡。与前2个实验一样，MobileNet、Dense-MobileNets和我们的3个改进模型的准确率远高于SqueezeNet。3种改进的Dilated-MobileNet模型的准确率比MobileNets模型高约0.5%～1.2%。其中，Dilated-MobileNet模型的分类准确率最终提高了0.8%，Dilated2-MobileNet的分类准确度最终提高了0.4%，而Dilated3-MobileNets的分类准确程度最高，达到92.8%。

在上述三种实验中，基于稠密连接的Dense1-MobileNet和Dense1-MobileNetwork也取得了良好的分类效果。在caltech-256数据集上的实验结果略好于Dilated3-MobileNet，略差于Dilated-1-MobileNets和Dilated-2-MobileNet。密集移动网的设计思想不同于扩展移动网，网络结构也不同，因此这两种方法可以在实际应用中结合使用

5.结论

深度学习方法的内存密集型和高度计算密集型特性限制了其在便携式设备中的应用。同时，网络模型的压缩和加速会降低分类精度。因此，本文在不增加网络参数的情况下，利用轻量级神经网络（MobileNet）中的扩张卷积来提高分类精度，并提出了三种扩张MobileNets模型。实验结果表明，扩展MobileNets在Caltech-101、Catech-256和AWA数据集上具有更好的分类精度。

近年来，新的轻量级网络，如mobilenetv2[29]和mobilenetv3[28]，已经出现。如何降低参数，提高分类效果仍是研究热点之一。同时，一些深度学习方法与传统方法相结合，在目标识别和分类方面取得了良好的效果[30]. 另一方面，根据分类对象的特征设计特定的深度学习网络是一种非常有效的分类方法[31,32]. 因此，如何充分利用不同方法的优势也值得进一步研究。

致谢

工具书类