A Multi-Scale Wavelet 3D-CNN for Hyperspectral Image Super-Resolution

Yang, Jingxiang; Zhao, Yong-Qiang; Chan, Jonathan Cheung-Wai; Xiao, Liang

doi:10.3390/rs11131557

开放式访问第条

用于高光谱图像超分辨的多尺度小波3D-CNN

通过

杨静香

^{1, 2},

赵永强

^2,*

,

乔纳森·张伟珍

^三和

梁晓

¹

南京科技大学计算机科学与工程学院，南京210094

²

中国深圳西北工业大学研究开发院，邮编：518057

^三

比利时布鲁塞尔1050，布鲁塞尔Vrije大学电子与信息学系

^*

信件应寄给的作者。

远程传感器。 2019,11(13), 1557;https://doi.org/10.3390/rs11131557

收到的提交文件：2019年5月21日/修订日期：2019年6月21日/接受日期：2019年6月28日/发布日期：2019年6月30日

（本文属于特刊利用高光谱图像进行深度学习和特征挖掘)

下载

浏览地物

版本注释

摘要

:

超分辨率（SR）对于高光谱图像（HSI）应用具有重要意义。在单帧HSI SR中，由于没有辅助图像（例如HR多光谱图像）提供结构信息，因此如何在高分辨率HSI中重建详细的图像结构是一个挑战。小波可以捕获不同方向的图像结构，强调预测高频小波子带有助于恢复HSI SR的详细结构，它预测HR-HSI的小波系数，而不是直接重建HR-HSI。为了利用光谱域和空间域中的相关性，使用3D卷积层构建了MW-3D-CNN。MW-3D-CNN由一个嵌入子网和一个预测子网组成，嵌入子网从低分辨率HSI中提取深层空间谱特征，并将LR-HSI表示为一组特征立方体。然后将特征立方体馈送到预测子网。预测子网中有多个输出分支，每个分支对应一个小波子带，并预测HR-HSI的小波系数。通过对预测的小波系数进行逆小波变换，可以得到HR-HSI。在训练阶段，我们建议使用L1范数损失训练MW-3D-CNN，这比传统的L2范数丢失更适合惩罚不同小波子带中的错误。在模拟和实际星载HSI上的实验表明，该算法与其他先进的HSI SR方法相比具有竞争力。

关键词：

超分辨率;高光谱;小波;多尺度;美国有线电视新闻网

1.简介

高光谱图像（HSI）是在特定电磁波谱上的相邻波段中采集的，HSI中的光谱和空间信息有助于识别和区分场景中的不同材料。HSI已经应用于许多领域，包括目标检测[1]、环境监测[2]和陆地覆盖分类[三]. 然而，由于空间分辨率和光谱分辨率之间的权衡，HSI的空间分辨率往往受到限制。一些地球观测应用，如城市测绘[4]和精细矿产测绘[5]，需要高分辨率（HR）HSI。因此，提高HSI的空间分辨率对HSI的应用具有重要意义。

有几种方法可以提高HSI的空间分辨率。一些辅助图像，例如全色图像和多光谱图像（MSI），通常具有更高的空间分辨率[6]. 高光谱泛锐化通过将低分辨率（LR）HSI与同一时间（或类似时间段）在同一区域拍摄的HR全色图像融合来重建HR HSI。泛锐化可以通过不同的方法实现，例如组件替换方法[7]，多分辨率分析方法[8]，和变分方法[9]. 深度学习，特别是卷积神经网络（CNN），作为提取特征和表示映射函数的有效模型，在泛锐化中引起了越来越多的兴趣[10,11]. 在[12]提出了一种泛锐化CNN网络（PNN）来学习LR-MSI、HR全色图像和HR-MSI之间的映射。结合残差学习，PNN的性能可以进一步提高[13]. 为了保留细节结构，也可以在高通滤波域而不是图像域学习泛锐化网络[14]. 在[15]，Yuan等人提出了一种用于泛锐化的多尺度多深度CNN（MSDCN），可以利用HSI中的多尺度特征。

HSI-MSI融合是提高HSI分辨率的另一种选择，它将LR HSI与相同区域的HR MSI融合[16]. HSI-MSI融合方法可分为四类：基于分解的方法、基于字典学习的方法、变分方法和深度学习方法。HR HSI可以用LR HSI的端元和MSI的丰度来重建。利用这一思想，提出了几种基于分解的融合方法。例如，在[17]通过非负矩阵分解将LR-HSI和MSI交替分离，利用LR-HSI的端元和MSI的丰度重建HR-HSI。HR HSI也可以使用字典重建。在[18]从HR-MSI中学习空间字典，然后通过联合稀疏编码重构HR-HSI。在[19]从LR-HSI中学习谱字典，然后根据MSI丰度重建HR-HSI。HSI-MSI融合问题也可以在变分框架中解决[20,21,22]. 稀疏度[20]，矢量总变化[21]、和低级别[22]CNN也显示出其在HSI-MSI融合中的潜力。在[23]针对HSI-MSI融合，提出了一种具有两个分支结构的CNN，通过这两个CNN分支可以提取LR-HSI和HR-MSI的深层特征并进行融合。在[24]LR-HSI和MSI融合在一个深度学习模型中，使用低秩作为先验信息。

单帧HSI超分辨率（SR）尝试仅使用一个LR HSI重建HR HSI[25]. 与泛锐化和HSI-MSI融合相比，它不需要任何辅助数据，并且更加灵活。基本的单帧HSI SR涉及到对LR HSI频带进行内插（例如，双三次内插）。这些方法简单快速，但HR-HSI中的图像细节容易模糊。在[26]提出了一种基于稀疏表示的HSI-SR方法，并利用了稀疏性和非局部相似性正则化子。在[27]为了利用空间域和谱域中的自相似性，提出了HSI SR的组稀疏表示方法。HSI可以表示为张量，并在[28]通过非局部低阶张量近似。在[29]首先使用CNN超分辨率解算LR HSI的频带，然后通过协同矩阵分解细化HR HSI。中的作者[30]提出了一种光谱差分卷积网络（SDCNN）来学习LR和HR HSI之间的光谱差分映射，SDCNN可以进一步与空间误差校正模型集成，以校正HR HSI的伪影[31]. 三维卷积可以利用HSI中的光谱空间相关性，在[32]其中，LR和HR HSI之间的映射由3D CNN表示。

尽管取得了上述进展，但由于没有提供结构信息的HR辅助数据，基于深度学习的单帧HSI SR技术在重构HR HSI的详细结构方面仍然面临挑战。为了在没有HR辅助数据的情况下准确重建HSI中的细节结构，应充分利用LR-HSI光谱和空间域中的信息进行SR。从HSI中提取深光谱空间特征是利用HSI中信息的有效方法。另一方面，在小波域中，不同的小波子带可以捕获不同尺度和方向的全局拓扑和局部纹理信息。训练一个预测小波系数，特别是高频小波子带的深度学习网络，将鼓励该网络在图像SR问题中产生更多的结构细节[33,34,35,36].

在本研究中，我们提出了一种基于多尺度小波三维CNN（MW-3D-CNN）的单帧HSI SR方法，该方法预测潜在HR HSI的小波包系数，而不是直接推断HR HSI。该网络建立在三维卷积层上，可以从HSI的光谱域和空间域中提取层次特征。具体来说，MW-3D-CNN由两个子网组成，一个子网是嵌入子网，另一个子网则是预测子网。嵌入子网将LR HSI投影到特征空间中，并用深谱空间特征立方体表示它。然后将特征立方体馈送到预测子网。预测子网由多个输出分支组成，每个分支对应一个小波子带，预测潜在HR HSI的小波系数。通过对预测的小波系数进行小波包逆变换，可以得到HR-HSI。需要注意的是，小波系数在低频子带中的值较大，但在高频子带中值较小。先前的L2范数损失会过度惩罚低频子带中较大的错误，而忽略高频子带中较小的错误[37]. 因此，我们建议用L1范数损失训练MW-3D-CNN，这更适合于对低频和高频子带中的错误进行同等惩罚。此外，L1范数损失可能导致SR结果具有更清晰的结构[38,39].

我们考虑了提议的HSI SR方法的四个特征：

与之前直接重建HR HSI的深度学习模型不同[29,30,31,32]该网络预测了潜在HR HSI的小波系数，有利于HSI中细节纹理的重建。
在预测子网中，不同小波子带对应的不同分支在一个统一的网络中联合训练，可以利用子带间的相关性。
该网络基于三维卷积层构建，可以利用HSI光谱域和空间域的相关性。
与传统的L2范数不同，我们建议用L1范数损失来训练网络，这适用于低频和高频小波子带。

本文的其余部分组织如下。在第2节，我们介绍了一些相关的工作。在第3节，我们提出了所提出的HSI SR方法，包括网络的体系结构和训练。实验结果如所示第4节.英寸第5节对实验进行了分析和讨论。在第6节最后，我们对单帧HSI SR方法的潜力进行了观察。

2.相关工程

2.1. 基于CNN的单图像SR

CNN可以通过与可训练核的卷积从图像的局部邻域中提取特征，这使得利用图像的空间相关性变得容易。CNN已经成为许多图像处理任务中最流行的深度学习模型，特别是在图像SR中[40,41,42,43,44,45,46].

在[38]，Dong等人建议使用CNN学习LR和HR图像之间的映射。经过训练的网络可以从HR图像的LR版本中推断出HR图像。受此启发，提出了几种基于CNN的单图像SR方法[41,42,43,44,45,46]. 在[41]提出了一种针对SR的深度CNN，并使用剩余学习策略进行了训练。深度CNN中可训练的参数会急剧增加，建议使用递归CNN来解决这个问题，方法是在[42]. 大多数CNN SR方法使用高层特征进行重建，而忽略了低层和中层特征。在[43,44]提出了一种SR剩余稠密网络，在该网络中各层紧密连接，以充分利用层次特征。为了应对大因子超分辨率图像的挑战，作者[45]提出了渐进式深度学习模型来逐步提升图像质量。类似地，年提出了拉普拉斯金字塔SR CNN（LapSRN）[46]它可以逐步重建潜在HR图像不同子带的高频细节。

2.2. 小波在随机共振中的应用

小波描述不同方向的图像结构。在图像SR中使用小波，特别是高频小波子带，有利于保持图像的细节结构。许多基于小波的SR方法已经被提出[47,48,49,50]. 在[47]将LR图像分解为不同的小波子带，对高频子带进行插值，然后与LR图像结合，通过小波逆变换生成HR图像。类似地，LR图像被两种类型的小波分解，然后将两种小波的高频子带组合，然后进行小波逆变换[48]. 在[49,50]边缘先验用于高频子带估计，使SR结果更加清晰。小波也可以用于CNN，以更好地推断图像细节并增强网络的稀疏性[34,35]对于单个图像SR，LR和HR图像之间的映射是由CNN在小波域中学习的。然而，这些SR方法是针对单个图像设计的，因此将这些方法以带对带方式应用于HSI会忽略HSI中的光谱相关性，导致高光谱失真。

3.HSI SR的多尺度小波3D CNN

在本研究中，我们将HSI SR问题转化为HSI小波系数的预测。在本节中，我们首先介绍了小波包分析和3D CNN的一些基础知识，然后我们提出了用于HSI SR的MW-3D-CNN，包括体系结构和损失函数。

3.1. 小波包分析

小波包变换（WPT）可以将图像变换为一系列大小相同的小波系数子带。下面给出了使用Haar小波函数的WPT示例图1一级分解如所示图1b.可以发现，低频子带（即左上角贴片）描述了全局拓扑。垂直、水平和对角线方向上的详细结构可以由不同的高频子带（即剩余的面片）捕获。通过递归地对每个子带重复分解，我们可以获得更高级别的WPT结果，例如图1c.需要注意的是，分解同时应用于低频子带和高频子带，因此更高级别分解的子带具有相同的大小。原始图像可以通过逆WPT从这些子带重建。

3.2. 3D有线电视新闻网

对于HSI，在特征提取中应同时利用空间域和光谱域。通过与三维核函数进行卷积，三维CNN可以从体积数据的不同域中提取特征。的活动k个-中的第个功能多维数据集d日-第th层以下公式[51]可以写为

{F类}_{(x个, 年, z（z）)}^{d日, k个} = 克 ({b条}^{d日, k个} + \sum_{c（c）} \sum_{u个 = 0}^{U型 - 1} \sum_{五 = 0}^{V（V） - 1} \sum_{w个 = 0}^{W公司 - 1} ϖ_{(u个, 五, w个)}^{d日, k个, c（c）} {F类}_{(x个 + u个, 年 + 五, z（z） + w个)}^{d日 - 1, c（c）}),

(1)

哪里，c（c）表示中的一组功能多维数据集(d日-1） -连接到k个-中的第个功能多维数据集d日-第层，

ϖ_{(u个, 五, w个)}^{d日, k个, c（c）}

是位置处的值

(u个, 五, w个)

与关联的3D内核的k个-第个功能立方体。3D内核的大小为

U型 \times V（V） \times W公司

.

{F类}_{(x个, 年, z（z）)}^{d日, k个}

是位置处的值

(x个, 年, z（z）)

的k个-中的第个功能多维数据集d日-第层。

克 (\cdot)

是一个非线性激活函数，如整流线性单元（ReLU）和Sigmoid函数等。通过与不同的核卷积，可以在3D CNN的每个层中提取多个3D特征立方体，如所示图2b.空间邻域和相邻频带的像素参与3D卷积，HSI中的光谱空间相关性可以在特征提取中联合利用[52,53].

3.3. MW-3D-CNN的网络架构

相关性不仅存在于空间域和谱域中，还存在于HSI的小波包子带之间。考虑到小波包子带间的相关性，设计了一个嵌入子网来学习不同小波包子频带的共享特征。然后将这些共享特征馈送到预测子网以推断小波包系数。嵌入和预测子网都是基于三维卷积层构建的，可以自然地利用HSI中的光谱空间相关性。MW-3D-CNN的总体架构如所示图3.

3.3.1. 嵌入子网

嵌入子网将LR-HSI投影到深层特征空间，并将其表示为不同小波包子带共享的一组特征立方体。三维卷积层和非线性激活层交替堆叠在嵌入子网中。嵌入子网从LR HSI中提取特征立方体

X（X） \in ℝ^{米 \times n个 \times L（左）}

，其中米,n个、和L（左）分别是行数、列数和光谱带数。在特征提取过程中，HSI的光谱和空间信息都可以通过三维卷积进行编码，经过几个三维卷积层后，LR-HSI

X（X）

可以用一系列光谱空间特征立方体表示，表示为

ψ (X（X）) \in ℝ^{米 \times n个 \times L（左） \times S公司}

，其中

S公司

是特征立方体的数量，

ψ : ℝ^{米 \times n个 \times L（左）} \to ℝ^{米 \times n个 \times L（左） \times S公司}

表示嵌入子网的功能。值得注意的是，在每个卷积层中都采用了零填充，以使特征立方体与LR-HSI的大小相同。

3.3.2. 预测子网

嵌入子网之后是预测子网，预测子网推断小波包系数。预测子网中有多个输出分支，每个分支对应一个小波包子带。预测子网以嵌入子网提取的特征立方体作为输入，对预测子网的每个分支进行训练，以推断每个子带的小波系数。与嵌入子网类似，预测子网中的每个分支也由3D卷积层和非线性激活层堆叠而成，并采用零填充策略，预测的小波系数与LR-HSI具有相同的空间大小。所需的HR HSI是通过对预测的小波系数应用逆WPT得到的，因此SR的放大因子取决于WPT层数。具体来说，假设WPT级别的数量为我，会有

{N个}_{w个} = 4^{我}

小波包子带，预测子网中的输出分支数也为

4^{我}

。获取共享功能多维数据集

ψ (X（X）)

作为输入我-第个分支

φ_{我}

预测我-th小波包子带as

φ_{我} (ψ (X（X）)) \in ℝ^{米 \times n个 \times L（左）}

，其中

φ_{我} : ℝ^{米 \times n个 \times L（左） \times S公司} \to ℝ^{米 \times n个 \times L（左）}

,

我 = 1, 2, \dots, {N个}_{w个}

表示我-第个分支。MW-3D-CNN的输出可以表示为一组小波包系数：

{φ_{1} (ψ (X（X）)), φ_{2} (ψ (X（X）)), \dots, φ_{我} (ψ (X（X）)), \dots, φ_{{N个}_{w个}} (ψ (X（X）))}, 我 = 1, 2, \dots, {N个}_{w个} .

(2)

在训练阶段，MW-3D-CNN学习LR HSI和潜在HR HSI的小波包系数之间的映射。在测试阶段，给定LR HSI，MW-3D-CNN将推断每个子带的小波包系数。将逆WPT应用于预测的小波包系数，可以获得HR HSI：

\hat{Y（Y）} = ϕ {φ_{1} (ψ (X（X）)), φ_{2} (ψ (X（X）)), \dots, φ_{我} (ψ (X（X）)), \dots, φ_{{N个}_{w个}} (ψ (X（X）))},

(3)

哪里，

ϕ

表示反向WPT，

\hat{Y（Y）} \in ℝ^{(第页 \times 米) \times (第页 \times n个) \times L（左）}

是估计的人力资源HSI，

第页 = 2^{我}

是SR的放大因子。

由于小波子带间的相关性，不同的小波子带在嵌入子带中共享共同的深层。嵌入子网学习共享特征立方体，预测子网对每个小波包子带进行优化。嵌入子网将不同的分支连接到一个统一的预测子网中，并允许它们进行联合优化。具体来说，每个小波包子带中的错误可以联合反向传播到嵌入子网以学习共享特征，嵌入子网将细化预测子网中的不同分支。与单独训练每个分支相比，这种联合训练可以使不同的分支相互促进，并隐式捕获不同小波子带之间的相关性。

我们的MW-3D-CNN侧重于预测HR HSI的小波包系数，与直接预测HR HSI相比，我们考虑了三个优点。首先，小波系数描述HSI中的细节纹理信息。训练MW-3D-CNN预测小波系数有助于恢复HSI中的细节结构[33,36]. 其次，具有稀疏激活的网络更容易训练[34,35]. 小波系数在高频子带中具有稀疏性特征，预测小波系数可以提高MW-3D-CNN的稀疏性，使训练更容易，训练的网络更健壮。最后，MW-3D-CNN直接从LR HSI中提取特征。与从插值的LR HSI中提取特征相比，例如[40,41]，可以利用更大感受野中的信息。

3.4. MW-3D-CNN培训

嵌入和预测子网中的所有卷积核和偏差都以端到端的方式进行训练。在传统的基于CNN的图像SR方法中，L2范数通常用于损失函数中，它测量均方误差。然而，我们的网络的输出是小波系数，如图4L2范数损失对较大错误的惩罚较大，对较小错误的敏感性较低[37]. 相反，L1范数损失对较大和较小误差的惩罚是相等的，它比L2范数丢失更适合于小波系数预测。此外，与L2模损失相比，L1模损失有助于恢复具有更快收敛速度的更清晰图像结构[38]. 因此，我们建议用L1范数损失训练MW-3D-CNN，损失函数写为

L（左） = \frac{1}{N个 {N个}_{w个}} \sum_{j = 1}^{N个} \sum_{我 = 1}^{{N个}_{w个}} λ_{我} | | {C类}_{j}^{我} - {\hat{C类}}_{j}^{我} | |_{1},

(4)

哪里，

{C类}_{j}^{我}

和

{\hat{C类}}_{j}^{我} = φ_{我} (ψ ({X（X）}_{j}))

是地面实况和预测的小波包系数我-分别为第个子带，

j = 1, 2, \dots, N个

,N个是训练样本数，

我 = 1, 2, \dots, {N个}_{w个}

,

{N个}_{w个} = 4^{我}

是子带的数量。

{X（X）}_{j}

是的LR HSIj-第个训练样本。

λ_{我}

是平衡不同小波子带之间的权衡的权重，为了简化实验，将其设置为1。采用标准反向传播的自适应矩估计（ADAM）方法对损失函数进行优化。可训练卷积核和偏差根据以下规则更新[54]:

θ_{(t吨)} = θ_{(t吨 - 1)} - α \cdot {\tilde{米}}_{(t吨)} / (\sqrt{{\tilde{五}}_{(t吨)} + ε})

(5)

哪里，

θ_{(t吨)}

表示在t吨-第th次迭代，

α

是学习率，

ε

是稳定更新的常量，设置为

10^{- 6}

.

{\tilde{米}}_{(t吨)}

和

{\tilde{五}}_{(t吨)}

分别是偏差修正的一阶矩和二阶矩估计值：

{\tilde{米}}_{(t吨)} = 米_{(t吨)} / (1 - β_{1}^{t吨}),

(6)

{\tilde{五}}_{(t吨)} = 五_{(t吨)} / (1 - β_{2}^{t吨}),

(7)

米_{(t吨)} = β_{1} \cdot 米_{(t吨 - 1)} + (1 - β_{1}) \cdot \frac{\partial {L（左）}_{(t吨 - 1)}}{\partial θ},

(8)

五_{(t吨)} = β_{2} \cdot 五_{(t吨 - 1)} + (1 - β_{2}) \cdot {(\frac{\partial {L（左）}_{(t吨 - 1)}}{\partial θ})}^{2},

(9)

哪里

\frac{\partial {L（左）}_{(t吨 - 1)}}{\partial θ}

是相对于可训练参数的梯度

θ

.

β_{1}

和

β_{2}

是矩估计的两个指数衰减率。在我们的实施中，学习率

α

最初设置为0.001，每50个训练周期减少一半。指数衰减率

β_{1}

和

β_{2}

分别设置为0.9和0.999。批处理大小设置为64。训练时数为200。

4.实验结果

在本节中，我们在几个模拟HSI数据集上比较了MW-3D-CNN和其他最先进的HSI SR方法。为了证明MW-3D-CNN的适用性，我们也在实际的Hyperion HSI上进行了验证。由于在实际数据案例中没有用于SR评估的参考HSI，因此我们在[55]评估SR性能。

4.1. 实验设置

实验中使用了三个数据集。第一个是反射光学系统成像光谱仪（ROSIS）数据集，该数据集包含Pavia大学和Pavia中心拍摄的两幅图像，尺寸分别为610×340和1096×715。空间分辨率为1.3m。剔除噪声带后，在430~860nm的光谱范围内仍有100个带。第二个数据集由Headwall Hyperspec-VNIR-C成像传感器于2014年7月29日在日本Chikusei收集[56]. 其尺寸为2517×2335，空间分辨率为2.5m。在363～1018nm的光谱范围内有128个谱带。第三个数据集是2018 IEEE GRSS数据融合竞赛数据（表示为“GRSS_dfc_2018”），该数据集于2017年2月16日由休斯顿大学的国家机载激光测绘中心（NCALM）获取[57]. 该数据的大小为1202×4172。空间分辨率为1米，在380~1050纳米的光谱范围内有48个波段。

上述数据被视为原始HR HSI，LR HSI通过高斯下采样进行模拟，这是一个通过将高斯滤波器应用于HR HSI-然后在垂直和水平方向上对其进行下采样来模拟LR HSI--的过程。高斯下采样是使用“高光谱和多光谱数据融合工具箱”实现的[16]. 对于2倍的下采样，高斯滤波器尺寸为2×2，平均值为零，标准偏差为0.8493；对于4倍的下采样，高斯滤波器的尺寸为4×4，平均值为零，标准偏差为1.6986。下采样中的所有这些参数都建议在[16,17].

我们从原始HSI中裁剪出三个纹理丰富的子图像作为测试数据，其余的作为训练数据。提取约100000对LR-HR作为训练样本，训练MW-3D-CNN。每个LR HSI样本大小为16×16×16。对于通过2的放大因子训练MW-3D-CNN，预测子网中有四个分支，每个分支中的输出小波系数大小为16×16×16，对应的HR-HSI样本大小为32×32×16。用4倍放大因子训练MW-3D-CNN时，预测子网中有16个分支，每个分支的输出小波系数也为16×16×16，对应的HR-HSI样本为64×64×16。值得注意的是，培训和测试区域之间没有重叠。MW-3D-CNN的网络参数是根据图3小波变换采用Haar小波函数。

4.2. 与最新SR方法的比较

在本小节中，我们将所提出的方法与其他最先进的HSI SR方法进行了比较。谱空间群稀疏表示HSI SR方法（表示为SSG）[27]和两种基于CNN的SR算法，即SRCNN[40]和3D-CNN[32]，用于比较。作为常用的基准，还比较了双三次插值。SSG、SRCNN和3D-CNN的所有参数均遵循中所述的默认设置[27,40]、和[32]. SRCNN和3D-CNN的训练样本和训练时间与MW-3D-CNN相同，保证了比较的公平性。

使用峰值信噪比（PSNR，dB）、结构相似性指数测量（SSIM）评估SR性能[58]，特征相似性指数度量（FSIM）[59]和光谱角平均值（SAM）。我们计算每个波段的PSNR、SSIM和FSIM指数，然后计算所有光谱波段的平均值。

不同SR方法的评估指标如下表1和表2在大多数情况下，我们方法的得分都优于比较方法。中的3D-CNN[32]可以从HSI中提取光谱空间特征，并联合重建不同的光谱带，因此与SRCNN相比，它可以导致更少的光谱失真，如所示表1和表23D-CNN和MW-3D-CNN都是在3D CNN的框架下，MW-3D-CNN预测HR HSI的小波系数，而不是直接预测HR HSI。聚焦于小波系数可以使MW-3D-CNN更有效地保存HR HSI中的结构，因此MW-3D-CNN的结果具有更高的PSNR值。为了测试MW-3D-CNN在更大的放大因子上的稳健性，我们还将SR实现为四个因子，并在表2可以发现，在大多数情况下，MW-3D-CNN也可以通过四个放大因子来获得竞争结果。在图5，我们绘制了不同SR方法在每个频带上的PSNR指数。很明显，该方法在大多数谱带上都优于其他方法。

SR结果如所示图6,图7,图8,图9和图10。重建HR HSI的一些选定波段如所示图6,图8和图10为了比较SR方法的差异图7,图9和图11，我们还给出了SR结果的残差图，其中可以反映每个像素的重建误差。在图6很明显，MW-3D-CNN的结果更接近参考图像，其他比较方法的结果比原始HR图像明亮得多，这意味着光谱失真更严重。我们还通过放大一些小区域来显示SR结果的细节。在图6和图10，SSG和SRCNN结果都会受到具有带状图案的伪影的影响。通过比较图10可以发现，我们的MW-3D-CNN SR结果比3D-CNN结果更尖锐。

在残差图中，可以观察到所有SR结果都包含边缘和细节的错误。与其他方法相比，我们的MW-3D-CNN方法产生的误差较小。例如，在图11MW-3D-CNN残差图中的误差值要稀疏得多，这也表明预测小波系数有助于恢复HR-HSI中的边缘和细节结构。

我们还介绍了不同SR方法的运行时间比较表3和表4大多数SR方法都能快速推断出HR HSI。在SSG方法中，字典学习和稀疏编码非常耗时，因此SSG重建HR HSI所需的时间最长。MW-3D-CNN的运行时间与3D-CNN相当，因为两者都可以在2s内超分辨HSI表3和表4结果表明，我们提出的方法在SR精度和运行时间方面都具有竞争力。

4.3. 实际星载HSI的应用

在本小节中，我们还将MW-3D-CNN应用于实际的星载HSI SR，以证明其适用性。地球观测1号（EO-1）/Hyperion HSI用作测试数据。Hyperion HSI的空间分辨率为30m。在400～2500 nm的光谱范围内有242个光谱带。Hyperion HSI受到噪音的影响，去除噪音带和吸水带后，仍有83个波段。本实验中的Hyperion HSI于2015年10月接管美国洛杉矶拉斐特。我们从中裁剪出341×365的子图像作为研究区域。

由于在实际应用中没有HR HSI，我们使用Wald协议来训练网络[24]. 最初的30m HSI被视为HR HSI，通过下采样模拟分辨率为60m的LR HSI。LR-HR HSI对用于训练MW-3D-CNN，该CNN可以以2倍的倍数超分辨率解析HSI。然后将训练好的MW-3D-CNN应用于30m Hyperion HSI，可以获得15m分辨率的HR HSI。超分辨率Hyperion HSI如所示图12.英寸图13和图14，我们以缩放方式显示了比较方法的结果。通过SR，Hyperion HSI的分辨率显著提高。与其他方法相比，MW-3D-CNN生成的HSI具有更清晰的边缘和更清晰的结构，如虚线框中突出显示的区域所示。

由于没有用于评估的参考图像，因此不能使用PSNR等传统评估指标。我们在[55]测量重建HSI与原始HSI的偏差，以评估超分辨率Hyperion HSI。首先对原始Hyperion图像进行噪声带和吸水带筛选。其余波段用作训练数据，从训练数据中提取质量敏感特征，并学习基准多元高斯模型用于无参考HSI评估。SR后的无参考HSI质量分数列于表5结果表明，在SR图像分辨率为15 m的情况下，通过2倍的放大因子，所提出的MW-3D-CNN比得分较低的其他方法性能更好，这意味着SR结果与原始HSI的偏差小于其他SR结果。

5.分析与讨论

5.1. 网络参数敏感性分析

理论上很难估计深度学习架构的最佳网络参数。我们根据经验调整了网络参数，并在图3在本小节中，我们给出了MW-3D-CNN对网络参数的敏感性分析。我们改变一个网络参数并修正其他参数，然后观察SR性能。

3D卷积核大小的敏感性分析表6为了收集HSI SR的空间和光谱信息，需要适当的大卷积核大小。很明显，卷积核的大小为3×3×3时，性能最佳。当卷积核大小设置为5×5×5时，性能降低。较大的卷积核可以利用更多的空间和光谱信息，但会导致网络的复杂性增加，需要训练更多的参数。这也许可以解释为什么性能会随着内核大小的增加而下降。

三维卷积核的数量决定了每层提取的特征立方体的数量。在我们的MW-3D-CNN中，我们为嵌入子网的每一层设置了32个卷积核，为预测子网的每个层设置了16个卷积内核，这在大多数情况下都会获得最佳性能，如所示表7随着卷积核数的增加，可以提取更多的特征立方体，但会增加网络的复杂性。

通常，网络越深，性能越好。如果架构更深入，网络将具有更大的容量。在表8结果表明，在大多数情况下，当嵌入子网和预测子网中的卷积层数分别设置为3和4时，可以获得最佳性能。

5.2. L1定额损失的合理性分析

为了验证L1范数损失的合理性，我们使用写为

我 o（o） 秒 秒 = \frac{1}{N个 {N个}_{w个}} \sum_{j = 1}^{N个} \sum_{我 = 1}^{{N个}_{w个}} λ_{我} | | {C类}_{j}^{我} - {\hat{C类}}_{j}^{我} | |_{2},

(10)

然后将其与使用方程（4）中L1范数损失训练的结果进行比较。比较结果见表9L1范数损失可以缓解L2范数丢失导致的低频和高频小波包子带惩罚不平衡，因此用L1范值损失训练的MW-3D-CNN在测试数据上表现优于L2范值丢失，如所示表9.

在训练阶段我-MW-3D-CNN预测的第个小波包子带可以表示为

({C类}_{j}^{我} - {\hat{C类}}_{j}^{我})

，其中

j = 1, 2, \dots, N个

,N个是训练样本的数量。我们给出了年200个训练期后的错误直方图图15很明显，不同小波包子带的误差具有相似的统计特性，因为大多数误差接近于零，并且倾向于遵循拉普拉斯分布。与L2范数相比，L1范数更适合惩罚拉普拉斯类错误，这也证明了L1范量损失的合理性。

5.3. 三维卷积的合理性分析

在本小节中，为了分析HSI SR中3D卷积相对于2D卷积的优势，我们将MW-3D-CNN中的所有3D卷积层替换为2D卷曲层。在这种情况下，它简化为以下架构：[36]. 然后我们将MW-3D-CNN与小波-SRNet进行了比较。小波-SRNet的损失函数最初是用L2范数设计的[36]. 这里，我们还用L1范数作为损失函数训练了小波-SRNet，相应的结果表示为小波-SRNet-L2和小波-SRNet-L1。MW-3D-CNN和小波-SRNet之间的比较如所示表10.

在表10可以发现，在这三个数据集上，MW-3D-CNN的性能优于小波-SRNet。MW-3D-CNN基于3D卷积层，可以自然地利用谱相关性并减少HSI SR中的谱失真。我们还可以发现，当L1范数用作小波-SRNet的损失函数时，SR性能略优于L2范数，这也证明了L1范数的有效性。

5.4. 小波函数的鲁棒性

在实验中，我们在小波包变换中使用了Haar小波函数。在本小节中，我们还使用其他两个小波函数Daubechies-2和双正交小波函数来执行MW-3D-CNN，以评估MW-3D-CNN对小波函数的鲁棒性。在表11可以发现，不同小波函数的SR性能相近。SR性能随不同的小波函数而略有变化，这表明MW-3D-CNN对小波函数的鲁棒性。

MW-3D-CNN在Tensorflow上实现[60]，带有NVIDIA GTX 1080Ti显卡。训练MW-3D-CNN分别需要约7小时和20小时的时间，其放大因子为2和4。在测试阶段，推断HR HSI只需不到两秒钟，因为只涉及前馈操作，所以速度很快。

6.结论

在本研究中，提出了用于HSI SR的MW-3D-CNN。我们不是直接预测HR-HSI，而是预测潜在HR-HSI的小波包系数，然后通过逆WPT重构HR-HSI。MW-3D-CNN由一个嵌入子网和一个预测子网组成，这两个子网都建立在三维卷积层上。嵌入子网将输入的LR-HSI投影到特征空间中，并用一组特征立方体表示。然后，这些特征立方体被送入预测子网，该子网由几个输出分支组成。每个分支对应一个小波包子带，并预测每个子带的小波包系数。HR HSI可以通过逆WPT重建。在模拟和实际星载HSI上的实验结果表明，所提出的MW-3D-CNN能够实现具有竞争力的性能。MW-3D-CNN从HSI SR的外部训练数据中学习知识。HSI在光谱和空间域都有其先验信息，例如结构自相似性[26]和低等级优先[61,62,63]. 利用这些先验信息有助于规范不适定HSI SR问题。如何在深度学习中将这种内部先验知识与外部学到的知识结合起来，需要在未来的工作中加以研究。此外，整合对抗性损失[64]在培训中，网络是提高SR性能的另一个方向。

作者贡献

概念化、方法论和编写初稿，J.Y。；写作评论和编辑，J.C.、Y.Z.和L.X。

基金

本研究得到了国家自然科学基金（61771391、61371152）、中国国家自然科学研究基金会与韩国国家研究基金会联合资助项目（61511140292）、中央高校基本科研业务费（3102015ZY045）、，江苏省社会发展项目（BE 2018727）、中国联合博士生奖学金委员会（201506290120）、深圳市科学技术与创新委员会（JCYJ20170815162956949）、西北工业大学博士论文创新基金（CX201621）。

致谢

作者感谢东京大学高级跨学科研究系空间应用实验室提供Hyperspec-VC Chikusei数据。作者还要感谢美国航空激光测绘国家中心和休斯顿大学高光谱图像分析实验室以及IEEE GRSS图像分析和数据融合技术委员会获取并提供了本研究中使用的“GRSS_dfc_2018”数据。

利益冲突

作者声明没有利益冲突。

工具书类

Nasrabadi，N.M.高光谱目标检测：当前和未来挑战概述。IEEE信号处理。美格。 2014,31, 34–44. [谷歌学者] [交叉参考]
克拉克，M.L。；Buck-Diaz，J。；Evens，J.用模拟多季高光谱卫星图像绘制森林联盟图。遥感环境。 2018,210, 490–507. [谷歌学者] [交叉参考]
杨，J。；赵勇强。；Chan，J.C.W.学习并传输用于高光谱分类的深部联合光谱-空间特征。IEEE传输。地质科学。远程传感器。 2017,55, 4729–4742. [谷歌学者] [交叉参考]
陈，F。；王凯。；Van de Voorde，T。；Tang，T.F.从高空间分辨率高光谱数据绘制城市土地覆盖图：一种基于同时分离相似像素和联合稀疏光谱混合分析的方法。遥感环境。 2017,196, 324–342. [谷歌学者] [交叉参考]
横屋，N。；陈，J.C.W。；Segl，K.使用模拟EnMAP和Sentinel-2图像进行矿物制图的分辨率增强高光谱数据潜力。远程传感器。 2016,8, 172. [谷歌学者] [交叉参考]
Loncan，L。；阿尔梅达律师事务所。；Bioucas-Dias，J.M。；布利奥特，X。；查努索，J。；北多比根。；Fabre，S。；廖，W。；利奇亚迪，G.A。；西蒙斯，M。；等。高光谱泛锐化：综述。IEEE地质科学。远程传感器磁。 2015,三, 27–46. [谷歌学者] [交叉参考]
Dalla Mura，M。；Vivone，G。；Restaino，R。；Addesso，P。；Chanussot，J.高光谱泛锐化的全球和本地Gram-Schmidt方法。2015年7月26日至31日，意大利米兰，IEEE国际地球科学和遥感研讨会论文集；第37-40页。[谷歌学者]
沙赫多斯蒂，H.R。；Ghassemian，H.通过最优滤波器将光谱PCA和空间PCA融合方法结合起来。信息融合 2016,27, 150–160. [谷歌学者] [交叉参考]
Yang，S。；张凯。；Wang，M.学习带空间谱偏移的泛锐化低阶分解。IEEE传输。神经网络。学习。系统。 2017,20, 3647–3657. [谷歌学者]
张，L。；张，L。；Du，B.遥感数据深度学习：最新技术教程。IEEE地质科学。远程传感器磁。 2016,4, 22–40. [谷歌学者] [交叉参考]
朱，X.X。；Tuia，D。；牟，L。；夏，G.S。；张，L。；徐，F。；Fraundorfer，F.《遥感深度学习：综合回顾和资源清单》。IEEE地质科学。远程传感器磁。 2017,5, 8–36. [谷歌学者] [交叉参考]
马西，G。；科佐利诺，D。；Verdoliva，L。；Scarpa，G.通过卷积神经网络进行锐化。远程传感器。 2016,8, 594. [谷歌学者] [交叉参考]
魏毅。；袁，Q。；沈，H。；Zhang，L.通过学习深度残差网络提高多光谱图像泛细化的准确性。IEEE地质科学。遥感快报。 2017,14, 1795–1799. [谷歌学者] [交叉参考]
杨，J。；Fu，X。；胡，Y。；黄，Y。；丁，X。；Paisley，J.PanNet：泛锐化的深层网络架构。2017年7月21日至26日在美国夏威夷州火奴鲁鲁举行的IEEE计算机视觉和模式识别会议记录；第5449–5457页。[谷歌学者]
袁，Q。；魏毅。；孟，X。；沈，H。；Zhang，L.一种用于遥感图像泛锐化的多尺度多深度卷积神经网络。IEEE J.选择。顶部。申请。地球目标遥感。 2018,11, 978–989. [谷歌学者] [交叉参考]
横屋，N。；Grohnfeldt，C。；Chanussot，J.高光谱和多光谱数据融合：近期文献的比较综述。IEEE地质科学。远程传感器磁。 2017,5, 29–56. [谷歌学者] [交叉参考]
横屋，N。；Yairi，T。；Iwasaki，A.用于高光谱和多光谱数据融合的耦合非负矩阵分解分解。IEEE传输。地质科学。远程传感器。 2012,50, 528–537. [谷歌学者] [交叉参考]
朱，X.X。；Grohnfeldt，C。；Bamler，R.利用关节稀疏性进行泛锐化：J-SparseFI算法。IEEE传输。地质科学。远程传感器。 2016,54, 2664–2681. [谷歌学者] [交叉参考]
北阿赫塔。；沙法特，F。；Mian，A.用于高光谱图像超分辨率的稀疏空间光谱表示。在欧洲计算机视觉会议; 施普林格：瑞士查姆，2014年；第63-78页。[谷歌学者]
魏强。；Bioucas-Dias，J。；北多比根。；Tourneret，J.Y.基于稀疏表示的高光谱和多光谱图像融合。IEEE传输。地质科学。远程传感器。 2015,53, 3658–3668. [谷歌学者] [交叉参考]
西蒙斯，M。；Bioucas-Dias，J。；阿尔梅达，L.B。；Chanussot，J.通过基于子空间的正则化实现高光谱图像超分辨率的凸公式。IEEE传输。地质科学。远程传感器。 2015,53, 3373–3388. [谷歌学者] [交叉参考]
张，L。；魏伟（Wei，W.）。；Bai，C。；高，Y。；Zhang，Y.利用聚类流形结构实现高光谱图像超分辨率。IEEE传输。图像处理。 2018,27, 5969–5982. [谷歌学者] [交叉参考]
杨，J。；赵勇强。；Chan，J.C.W.通过深二分支卷积神经网络进行高光谱和多光谱图像融合。远程传感器。 2018,10, 800. [谷歌学者] [交叉参考]
谢奇。；周，M。；赵（Q.Zhao）。；孟，D。；左，W。；Xu，Z.基于MS/HS融合网络的多光谱和高光谱图像融合。arXiv公司 2019，arXiv:1901.03281。[谷歌学者]
加米西，P。；横屋，N。；李，J。；Liao，W。；刘，S。；J.广场。；拉斯蒂，B。；Plaza，A.高光谱图像和信号处理的进展：最新技术的综合概述。IEEE地质科学。远程传感器磁。 2017,5, 37–78. [谷歌学者] [交叉参考]
赵勇强。；杨，J。；Chan，J.C.-W.通过空间-光谱联合非局部相似性超分辨率高光谱图像。IEEE J.选择。顶部。申请。地球目标遥感。 2014,7, 2671–2679. [谷歌学者] [交叉参考]
李，J。；袁，Q。；沈，H。；X孟。；Zhang，L.通过光谱混合分析和空间光谱群稀疏性实现高光谱图像超分辨率。IEEE地质科学。遥感快报。 2016,13, 1250–1254. [谷歌学者] [交叉参考]
Wang，Y。；陈，X.A。；韩，Z。；He，S.通过非局部低阶张量近似和全变分正则化实现高光谱图像超分辨率。远程传感器。 2017,9, 1286. [谷歌学者] [交叉参考]
袁，Y。；郑，X。；Lu，X.通过转移学习实现高光谱图像超分辨率。IEEE J.选择。顶部。申请。地球目标遥感。 2017,10, 1963–1974. [谷歌学者] [交叉参考]
李，Y。；胡，J。；X.赵。；谢伟。；Li，J.J.使用深度卷积神经网络超分辨率高光谱图像。神经计算 2017,266, 29–41. [谷歌学者] [交叉参考]
胡，J。；李，Y。；Xie，W.通过光谱差分学习和空间误差校正的高光谱图像超分辨率。IEEE地质科学。遥感快报。 2017,14, 1825–1829. [谷歌学者] [交叉参考]
梅，S。；袁，X。；季军（Ji，J.）。；Zhang，Y。；Wan，S。；Du，Q.基于三维全卷积神经网络的高光谱图像空间超分辨率。远程传感器。 2017,9, 1139. [谷歌学者] [交叉参考]
刘，P。；张，H。；张凯。；林，L。；Zuo，W.用于图像恢复的多级小波-CNN。2018年6月18日至22日，美国犹他州盐湖城，IEEE计算机视觉和模式识别（CVPR）研讨会会议记录；第773-782页。[谷歌学者]
郭，T。；穆萨维，H.S。；Vu、T.H。；Monga，V.图像超分辨率的深度小波预测。2017年7月21日至26日在美国夏威夷州火奴鲁鲁举行的IEEE计算机视觉和模式识别（CVPR）研讨会会议记录；第104–113页。[谷歌学者]
Bae，W。；Yoo，J.J。；Ye，J.C.超越深度残差学习用于图像恢复：持久同源性引导的流形简化。2017年7月21日至26日在美国夏威夷州火奴鲁鲁举行的IEEE计算机视觉和模式识别（CVPR）研讨会会议记录；第1141-1149页。[谷歌学者]
黄，H。；He，R。；孙，Z。；Tan，T.Wavelet-SRNet：基于小波的CNN，用于多尺度人脸超分辨率。2017年7月21日至26日在美国夏威夷州火奴鲁鲁举行的IEEE计算机视觉和模式识别会议记录；第1689-1697页。[谷歌学者]
赵，H。；加洛，O。；弗罗西奥，I。；Kautz，J.神经网络图像恢复的损失函数。IEEE传输。计算。成像 2017,三, 47–57. [谷歌学者] [交叉参考]
蔡，J。；顾S。；张，L.从多曝光图像中学习深度单一图像对比度增强剂。IEEE传输。图像处理。 2018,27, 2049–2062. [谷歌学者] [交叉参考] [公共医学]
斯卡帕，G。；Vitale，S。；Cozzolino，D.基于靶向适应性CNN的泛强化。IEEE传输。地质科学。远程传感器。 2018,56, 5443–5457. [谷歌学者] [交叉参考]
Dong，C。；罗伊，C.C。；He，K。；Tang，X.使用深度卷积网络的图像超分辨率。IEEE传输。模式分析。机器。智力。 2016,38, 295–307. [谷歌学者] [交叉参考] [公共医学]
Kim，J。；Lee，J.K。；Lee，K.M.使用深度卷积网络实现精确的图像超分辨率。2016年6月26日至7月1日，美国内华达州拉斯维加斯，IEEE计算机视觉和模式识别会议记录；第1646-1654页。[谷歌学者]
Kim，J。；Lee，J.K。；Lee，K.M.图像超分辨率的深度递归卷积网络。2016年6月26日至7月1日，美国内华达州拉斯维加斯，IEEE计算机视觉和模式识别会议记录；第1637-1645页。[谷歌学者]
Tai，Y。；杨，J。；刘，X。；Xu，C.Memnet：用于图像恢复的持久存储网络。2017年10月22日至29日在意大利威尼斯举行的IEEE计算机视觉会议记录；第4539–4547页。[谷歌学者]
Zhang，Y。；田，Y。；孔，Y。；钟，B。；Fu，Y.图像超分辨率的剩余稠密网络。2018年6月18日至22日，美国犹他州盐湖城，IEEE计算机视觉和模式识别会议记录。[谷歌学者]
Wang，Y。；佩拉齐，F。；McWilliams，B.单图像超分辨率的完全渐进方法。2018年6月18日至22日，美国犹他州盐湖城，IEEE计算机视觉和模式识别研讨会会议记录。[谷歌学者]
赖文斯（Lai，W.S.）。；黄J.B。；阿胡加，N。；Yang，M.H.Deep Laplacian金字塔网络，用于快速准确的超分辨率。2017年7月21-26日，美国夏威夷火奴鲁鲁，IEEE计算机视觉和模式识别会议记录；第624-632页。[谷歌学者]
Anbarjafari，G。；Demirel，H。基于小波域高频子带插值和空域输入图像的图像超分辨率。欧洲贸易研究所J。 2010,32, 390–394. [谷歌学者] [交叉参考]
Demirel，H。；Anbarjafari，G.使用离散和平稳小波分解提高图像分辨率。IEEE传输。图像处理。 2011,20, 1458–1460. [谷歌学者] [交叉参考]
Chavez-Roman，H。；Ponomaryov，V.使用小波域插值生成超分辨率图像，并通过稀疏表示进行边缘提取。IEEE地质科学。遥感快报。 2014,11, 1777–1781. [谷歌学者] [交叉参考]
Demirel，H。；Anbarjafari，G.基于离散小波变换的卫星图像分辨率增强。IEEE传输。地质科学。远程传感器。 2011,49, 1997–2004. [谷歌学者] [交叉参考]
季S。；徐伟（Xu，W.）。；杨，M。；Yu，K.三维卷积神经网络用于人体动作识别。IEEE传输。模式分析。机器。智力。 2013,35, 221–231. [谷歌学者] [交叉参考]
李，Y。；张，H。；Shen，Q.光谱–使用三维卷积神经网络对高光谱图像进行空间分类。远程传感器。 2017,9, 67. [谷歌学者] [交叉参考]
陈，Y。；姜浩。；李，C。；贾，X。；Ghamisi，P.基于卷积神经网络的高光谱图像深层特征提取和分类。IEEE传输。地质科学。远程传感器。 2016,54, 6232–6251. [谷歌学者] [交叉参考]
Kingma，D。；Ba，J.Adam：一种随机优化方法。2015年5月7日至9日，美国加利福尼亚州圣地亚哥，国际学习代表会议记录。[谷歌学者]
杨，J。；Zhao，Y。；Yi，C。；Chan，J.C.W.通过质量敏感特征学习进行无参考高光谱图像质量评估。远程传感器。 2017,9, 305. [谷歌学者] [交叉参考]
横屋，N。；A.川崎。Chikusei上空的机载高光谱数据; 技术报告；SAL-2016-05-27；空间应用程序。东京大学实验室：日本东京，2016年。[谷歌学者]
2018年IEEE GRSS数据融合大赛。在线可用：http://www.grss-ieee.org/community/technical-committees/data-fusion（2018年6月10日访问）。
王，Z。；博维克，A.C。；谢赫，H.R。；Simoncelli，E.P.图像质量评估：从错误可见性到结构相似性。IEEE传输。图像处理。 2004,13, 600–612. [谷歌学者] [交叉参考] [公共医学]
张，L。；张，L。；牟某。；Zhang，D.FSIM：用于图像质量评估的特征相似性指数。IEEE传输。图像处理。 2011,20, 2378–2386. [谷歌学者] [交叉参考] [公共医学]
M.阿巴迪。；巴勒姆，P。；陈，J。；陈，Z。；A.戴维斯。；迪安·J。；德文，M。；Ghemawat，S。；欧文，G。；Isard先生。；等。TensorFlow：用于大规模机器学习的系统。2016年11月2日至4日在美国佐治亚州萨凡纳举行的第十二届USENIX操作系统设计与实现会议记录；第265-283页。[谷歌学者]
薛，J。；Zhao，Y。；Liao，W。；Chan，J.C.W.用于高光谱图像去噪的非局部低秩正则张量分解。IEEE传输。地质科学。远程传感器。 2019,57, 5174–5189. [谷歌学者] [交叉参考]
Yi，C。；赵勇强。；Chan，J.C.-W.基于光谱改进策略和空间保留策略的多光谱图像光谱超分辨率。IEEE传输。地质科学。远程传感器。 2019. [谷歌学者]
潘·L。；哈特利，R。；刘，M。；Dai，Y.基于相位图像的单图像盲解模糊核估计。arXiv公司 2018，arXiv:1811.10185。[谷歌学者]
Ledig，C。；Theis，L。；Huszár，F。；卡巴列罗，J。；坎宁安，A。；Acosta，A。；艾特肯，A。；特贾尼，A。；托茨，J。；王，Z。；等。使用生成对抗网络的真实照片单图像超分辨率。《IEEE计算机视觉和模式识别会议论文集》，美国夏威夷州火奴鲁鲁，2017年7月21日至26日；第4681–4690页。[谷歌学者]

图1。不同级别的小波包变换（WPT）示例：(一)原始图像，从帕维亚大学数据(b条)一级分解(c（c）)两级分解。

图2。以下内容的插图(一)2D和(b条)在二维卷积神经网络（CNN）和三维CNN的每一层中分别生成三维卷积运算、特征映射和特征立方体。

图3。提出的多尺度小波-3D-CNN的结构、卷积核的数量和大小在每一层都表示出来，嵌入子网和预测子网分别有三层和四层。

图4。一级小波包变换不同小波子带的直方图应用于帕维亚大学，LL是低频子带，HL、LH和HH是高频子带。

图4。一级WPT的不同小波子带的直方图应用于帕维亚大学，LL是低频子带，HL、LH和HH是高频子带。

图5。不同高光谱图像超分辨率（HSI-SR）方法的每个波段的峰值信噪比（PSNR）指数以2的放大因子表示(一)上的帕维亚大学, (b条)上的筑西市(c（c）)上的休斯敦大学（grss_dfc_2018）。

图6。不同方法的SR结果（频带85）按2的放大因子进行放大，测试数据从帕维亚大学尺寸为256×256。(一)双三次曲线的结果(b条)频谱空间群稀疏表示HSI SR方法（SSG）的结果[27], (c（c）)超分辨率CNN（SRCNN）结果[40], (d日)3D-CNN结果[32], (e（电子）)拟议MW-3D-CNN的结果，以及(（f）)原始HR图像。

图6。不同方法的SR结果（频带85）按2的放大因子进行放大，测试数据从帕维亚大学尺寸为256×256。(一)双三次曲线的结果(b条)谱空间群稀疏表示HSI-SR方法（SSG）的结果[27], (c（c）)超分辨率CNN（SRCNN）结果[40], (d日)3D-CNN结果[32], (e（电子）)拟议MW-3D-CNN的结果，以及(（f）)原始HR图像。

图7。上的残差贴图帕维亚大学以两倍的放大倍数。(一)双三次结果(b条)SSG结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN结果[32]、和(e（电子）)拟议的MW-3D-CNN结果。残差贴图通过缩放到最小和最大误差来显示。

图7。上的残差贴图帕维亚大学放大倍数为2。(一)双三次结果(b条)SSG结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN结果[32]、和(e（电子）)拟议的MW-3D-CNN结果。残差贴图通过缩放到最小和最大误差来显示。

图8。不同方法的SR结果（频带20）按2的放大因子进行放大，测试数据从筑西市尺寸为256×256。(一)双三次曲线的结果(b条)SSG结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN结果[32], (e（电子）)拟议MW-3D-CNN的结果，以及(（f）)原始HR图像。

图8。不同方法的SR结果（波段20），放大因子为2，测试数据从筑西市尺寸为256×256。(一)双三次曲线的结果(b条)SSG结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN结果[32], (e（电子）)拟议MW-3D-CNN的结果，以及(（f）)原始HR图像。

图9。上的残差贴图筑西市以两倍的放大倍数。(一)双三次结果，（b）SSG结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN结果[32]、和(e（电子）)拟议的MW-3D-CNN结果。残差贴图通过缩放到最小和最大误差来显示。

图10。不同方法的SR结果（带5），放大因子为4，测试数据从休斯敦大学（grss_dfc_2018），尺寸512×512。(一)双三次曲线的结果(b条)SSG结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN结果[32], (e（电子）)拟议MW-3D-CNN的结果，以及(（f）)原始HR图像。

图10。不同方法的SR结果（频带5）按4的放大因子进行放大，测试数据从休斯敦大学（grss_dfc_2018），尺寸为512×512。(一)双三次曲线的结果(b条)SSG结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN结果[32], (e（电子）)拟议MW-3D-CNN的结果，以及(（f）)原始HR图像。

图11。上的残差贴图休斯敦大学放大四倍。(一)双三次结果(b条)SSG结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN结果[32]、和(e（电子）)拟议的MW-3D-CNN结果。残差贴图通过缩放到最小和最大误差来显示。

图12。不同Hyperion SR结果的假彩色复合物（带45、21、14）。放大因子为2，增强图像的大小为682×780，分辨率为15 m。(一)双三次的结果(b条)SSGS结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN结果[32]、和(e（电子）)MW-3D-CNN的结果。

图12。不同Hyperion SR结果的假彩色合成（波段45、21、14）。放大因子为2，增强图像的大小为682×780，分辨率为15 m。(一)双三次的结果(b条)SSGS结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN的结果[32]、和(e（电子）)MW-3D-CNN的结果。

图13。蓝色框中放大区域的假彩色合成（带45、21、14）图12.面积为200×200。(一)Bicubic的结果(b条)SSGS结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN结果[32]、和(e（电子）)MW-3D-CNN的结果。

图13。蓝色框中放大区域的假彩色合成（带45、21、14）图12.面积为200×200。(一)双三次曲线的结果(b条)SSGS结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN结果[32]、和(e（电子）)MW-3D-CNN的结果。

图14。黄色框中放大区域的假彩色合成（带45、21、14）图12.面积为200×200。(一)双三次曲线的结果(b条)SSGS结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN结果[32]、和(e（电子）)MW-3D-CNN的结果。

图14。黄色框中放大区域的假彩色合成（带45、21、14）图12。面积为200×200。(一)双三次曲线的结果(b条)SSGS结果[27], (c（c）)SRCNN结果[40], (d日)3D-CNN结果[32]，以及(e（电子）)MW-3D-CNN的结果。

图15。200个训练周期后不同小波子带的误差直方图。训练数据提取自帕维亚大学用L1范数损失训练MW-3D-CNN，放大因子为2。

表1。不同HSI SR方法的评估指标采用两个放大因子。

表1。不同HSI SR方法的评估指数由两个放大因子决定。

数据	指数	双立方	SSG公司[27]	SRCNN（美国有线电视新闻网）[40]	三维CNN[32]	MW-3D有线电视新闻网
帕维亚大学	峰值信噪比（dB）	30.4032	31.7092	32.1961	33.1397	34.9394
	SSIM公司	0.8867	0.9132	0.9234	0.9398	0.9537
	FSIM公司	0.9191	0.9460	0.9517	0.9643	0.9754
	山姆	4.0979°	4.6845°	3.7519°	3.5470°	3.3302°
筑西市	峰值信噪比（dB）	24.7892	26.7419	26.9271	28.0397	28.4288
	最短持续时间	0.8596	0.9148	0.9301	0.9344	0.9396
	FSIM公司	0.8889	0.9313	0.9408	0.9483	0.9544
	山姆	4.2283°	3.7700°	3.0919°	2.9650°	2.9248°
休斯敦大学（grss_dfc_2018）	峰值信噪比（dB）	31.2005	32.5020	33.5990	34.9816	35.5552
	最短持续时间	0.9280	0.9480	0.9596	0.9669	0.9710
	FSIM公司	0.9878	0.9953	0.9991	0.9993	0.9997
	山姆	2.5757°	3.4858°	2.4268°	2.1029°	1.9252°

表2。不同HSI SR方法的评估指标采用四个放大因子。

数据	指数	双立方	SSG公司[27]	SRCNN（美国有线电视新闻网）[40]	三维CNN[32]	MW-3D有线电视新闻网
帕维亚大学	峰值信噪比（dB）	27.5136	27.6828	27.8132	28.7122	29.1069
	SSIM公司	0.7187	0.7328	0.7327	0.7745	0.7928
	FSIM公司	0.7905	0.8186	0.8058	0.8450	0.8620
	山姆	6.1537°	7.7461°	5.9707°	5.6644°	5.8828°
筑西市	峰值信噪比（dB）	19.8308	20.3108	21.0739	21.1284	20.6069
	SSIM公司	0.5623	0.6280	0.6723	0.6741	0.6853
	FSIM公司	0.7039	0.7646	0.7985	0.7979	0.7934
	山姆	7.8073°	7.9160°	6.5647°	6.5458°	7.2638°
休斯敦大学（grss_dfc_2018）	峰值信噪比（dB）	25.3139	26.0628	26.7927	27.8006	28.4968
	SSIM公司	0.7410	0.7703	0.7971	0.8259	0.8514
	FSIM公司	0.8988	0.9233	0.9372	0.9528	0.9653
	山姆	4.6611°	6.9780°	4.2034°	4.0398°	3.6881°

表3。不同SR方法的运行时间增加了两倍。

数据	双立方	SSG公司[27]	SRCNN（美国有线电视新闻网）[40]	三维CNN[32]	MW-3D有线电视新闻网
帕维亚大学	0.42秒	2.37小时	233.45秒	0.96秒	1.18秒
筑西市	0.44秒	2.86小时	241.84秒	1.14秒	1.30秒
休斯敦大学	0.97秒	4.33小时	402.71秒	1.76秒	1.92秒

表4。不同SR方法的运行时间增加了四倍。

数据	双立方	SSG公司[27]	SRCNN（美国有线电视新闻网）[40]	三维CNN[32]	分子量-3D-CNN
帕维亚大学	0.24秒	2.28小时	237.58秒	1.12秒	1.16秒
筑西市	0.28秒	2.77小时	247.75秒	1.20秒	1.42秒
休斯敦大学	0.49秒	4.21小时	409.54秒	1.76秒	1.87秒

表5。超分辨率15米Hyperion HSI的无参考评估分数。

SR方法	双立方	SSGS公司[27]	SRCNN公司[40]	三维CNN[32]	MW-3D有线电视新闻网
分数	31.3888	28.3041	26.9271	25.6205	25.4930

表6。三维卷积核大小下MW-3D-CNN敏感性分析的PNSR（dB）指数。放大因子是2。

3D转换内核的大小	帕维亚大学	筑西市	休斯敦大学
1 × 1 × 1	30.3859	23.3061	31.0492
3 × 3 × 3	34.9394	28.4288	35.5552
5 × 5 × 5	34.5399	27.9122	35.4294

表7。MW-3D-CNN对嵌入和预测子网中3D卷积核数的敏感性分析的PSNR（dB）指数。放大因子是2。

3D转换内核数	帕维亚大学	筑西市	休斯敦大学
16（嵌入子网）， 8（预测子网）	34.8725	28.3497	35.6839
32（嵌入子网）， 16（预测子网）	34.9394	28.4288	35.5552
64（嵌入子网）， 32（预测子网）	34.8568	28.2704	35.3547

表8。MW-3D-CNN对嵌入和预测子网中3D卷积层数量的敏感性分析的PSNR（dB）指数。放大因子是2。

3D转换层数量	帕维亚大学	筑西市	休斯敦大学
2（嵌入子网）， 3（预测子网）	34.9282	28.3663	35.4573
3（嵌入子网）， 4（预测子网）	34.9394	28.4288	35.5552
4（嵌入子网）， 5（预测子网）	35.1095	28.3744	35.4720

表9。MW-3D-CNN训练的PSNR（dB）具有不同的损失。放大因子是2。

损失函数	帕维亚大学	筑西市	休斯敦大学
L1正常损耗	34.9394	28.4288	35.5552
L2正常损耗	34.6417	28.3176	35.2615

表10。MW-3D-CNN和小波-SRNet的峰值信噪比（dB），放大因子为2。

方法	帕维亚大学	筑西市	休斯敦大学
MW-3D有线电视新闻网	34.9394	28.4288	35.5552
小波-SRNet-L2	32.2569	27.0149	34.1717
小波SRNet-L1	32.3658	27.0903	34.1537

表11。WPT中不同小波函数下MW-3D-CNN的PSNR（dB）指标。放大因子是2。

小波	帕维亚大学	筑西市	休斯敦大学
哈尔小波转换	34.9394	28.4288	35.5552
Daubechies-2小波	35.0468	28.6751	35.5202
双正交小波	34.9695	28.4213	35.5594

分享和引用

MDPI和ACS样式

杨，J。；赵永清。；Chan，J.C.-W。；肖，L。用于高光谱图像超分辨率的多尺度小波3D-CNN。远程传感器。 2019,11, 1557.https://doi.org/10.3390/rs11131557

AMA风格

杨杰，赵Y-Q，Chan JC-W，Xiao L。用于高光谱图像超分辨率的多尺度小波3D-CNN。遥感. 2019; 11(13):1557.https://doi.org/10.3390/rs11131557

芝加哥/图拉宾风格

杨靖祥、赵永强、陈昌伟、梁晓。2019.“用于高光谱图像超分辨率的多尺度小波3D-CNN”遥感11，编号13:1557。https://doi.org/10.3390/rs11131557

请注意，从2016年第一期开始，该杂志使用文章编号而不是页码。请参阅更多详细信息在这里.

文章菜单