Unsupervised Remote Sensing Image Super-Resolution Guided by Visible Images

Zhang, Zili; Tian, Yan; Li, Jianxiang; Xu, Yiping

doi:10.3390/rs14061513

开放式访问第条

可见光引导的无监督遥感图像超分辨率

华中科技大学电子信息与通信学院，武汉430074

^*

应向其寄送信件的作者。

远程传感器。 2022,14(6), 1513;https://doi.org/10.3390/rs14061513

收到的意见：2022年2月22日/修订日期：2022年3月18日/接受日期：2022年3月18日/发布时间：2022年3月21日

（本文属于特刊遥感中的高级超分辨率方法)

下载

浏览地物

版本注释

摘要

:

遥感图像在许多应用中得到了广泛的应用。然而，由于受到传感器的限制，很难从遥感图像中获得高分辨率（HR）图像。本文提出了一种新的无监督跨域超分辨率方法，用于重建由非成对HR可见自然图像引导的低分辨率（LR）遥感图像。因此，建立了一个无监督可见光图像引导的遥感图像超分辨率网络（UVRSR）。该网络分为两个可学习的分支：可见图像引导分支（VIG）和遥感图像引导分支。由于HR可见光图像可以提供丰富的纹理和足够的高频信息，VIG的目的是将其作为目标进行处理，并充分利用其在重建中的优势。特别是，我们首先使用CycleGAN将LR可见自然图像拖到遥感领域；然后，我们使用SR网络对这些模拟的遥感域LR图像进行放大。然而，SR遥感图像和HR可见目标之间的领域差距很大。为了增强域一致性，我们在重构中提出了一种新的域规则鉴别器。此外，受零快照超分辨率网络（ZSSR）探索遥感图像内部信息的启发，我们在RIG中添加了遥感领域内部研究来训练SR网络。大量的实验工作表明，UVRSR可以在几个具有挑战性的遥感图像数据集上，使用最先进的非成对和遥感SR方法获得优异的结果。

关键词：

遥感图像;跨域超分辨率;可见自然图像;内容一致性;域一致性;域规则鉴别器

1.简介

遥感图像目前正在许多应用中使用，例如天气警报[1]、土地覆盖分类[2,三]、和目标检测[4,5,6]。事实上，在这些应用中，需要高分辨率（HR）遥感图像来进行精确预测。虽然可见光图像在HR图像中具有丰富的纹理和详细的内容，但大多数遥感图像的视觉分辨率很低，并且由于高度较高，受到卫星上各种传感器的限制。此外，季风、云层、探测器模糊和噪声也会降低遥感图像的质量。因此，很难获得高质量的卫星图像，这无疑将限制其进一步应用。提高遥感数据空间分辨率的一种成本效益高的技术是图像超分辨率（SR）。

图像SR是图像处理任务中的一个重要问题。它可以定义为图像识别、图像分类和图像分割等的关键预处理阶段。SR的目的是在软件中将单个退化的低分辨率（LR）图像放大为相应的HR图像，而无需更新硬件，从而控制硬件成本，特别是考虑到比例因数高达

8 \times

（8次）。尽管如此，SR带来了两个挑战：来自相应LR的大量潜在超分辨率结果，以及难以定义模型来产生最佳SR结果。随着深度学习方法和模型的发展，SR研究正在迅速改进。深度学习SR模型已经证明了通过捕获图像的详细先验信息来识别可能的HR重建的能力。这些方法通过利用卷积神经网络（CNN）取得了显著的性能[7,8,9,10,11,12,13]和生成性对抗网络（GAN）[14,15,16,17,18].

根据训练数据的不同，现有的SR模型可以分为监督SR和非监督SR两种技术。大多数模型都是以有监督的方式进行训练的，因此在模型训练中应该提供不可或缺的HR/LR图像对。基本HR图像数据集，包括可见的干净数据集，如DIV2K[19]，设置5[20]，城市[21]和B100[22]，通过对HR图像进行降采样，生成成对的HR/LR训练数据。对于非监督类别，这些SR方法使用LR输入图像本身估计结果中的HR信息。这是因为在大多数实际应用中，包括遥感图像、红外图像、真实可见图像和HR数据集，始终不可用。最近，一些工作[23,24,25,26]在无监督SR中采用了非配对训练。具体而言，他们建立了模型，以通过其他HR图像数据集提高LR数据的分辨率，并与这些非配对HR/LR对应方一起训练模型。

现实世界可见图像SR[25,26,27,28,29,30,31]处理未配对的培训。现实世界的图像是由各种可见传感器（如摄像头、智能手机和监控摄像头）捕获的，但由于传感器的抖动或背景的改变，获取HR/LR对可能会很困难。最近，CycleGAN[32]提出了在没有训练成对示例的情况下将图像从源域转换到目标域的方法。最近的一些工作将CycleGAN应用于现实世界[26]首先将CycleGAN应用于真实世界的面部SR。特别是，在未配对的LR真实世界面部的指导下，他们利用CycleGA将LR干净的面部图像传输到真实世界域。然后，CycleGAN之后的堆叠SR网络将此LR模拟真实人脸的分辨率放大到预期的比例。在他们的管道中，他们训练了CycleGAN和SR网络以及几个损失函数。Yuan等人[31]改进了Bulat的模型，并在自然真实世界图像SR中使用了循环中网络。他们的工作使用了两个CycleGAN，其中一个用于学习与Butal等人类似的真实世界退化[26]，然后执行SR任务。为了保持内容的一致性，使用了额外的CycleGAN来确保最终结果可以返回到初始输入。然而，最近关于零快照超分辨率网络（ZSSR）的工作[33]提供了另一种执行无监督SR的方法。他们首先在单个SR网络中训练成对的HR/LR合成图像对，并将LR真实图像降采样到预期规模。然后，他们应用这些降采样的LR真实图像/LR真实图像对在测试时间内继续训练SR网络，这也可以视为在线训练。这种训练策略可以用来探索真实世界图像的内部关系。在本文中，我们充分利用了CycleGAN和ZSSR在我们的无监督遥感SR模型中的优势。

据我们所知，在遥感场景中，关于未配对HR/LR图像的训练设置的工作非常有限。大多数遥感SR方法[34,35,36,37,38]简单地将来自数据集的初始遥感图像及其下采样对应图像作为HR/LR处理。然而，这种设置存在两个关键问题。由于初始遥感图像分辨率低，缺乏细节，因此不宜将其作为目标。此外，HR/LR遥感之间的退化是未知的，并且比简单的降采样更为复杂。为了处理不成对的环境，Haut等人[39]提出了一种基于非配对随机噪声生成遥感图像的无监督学习模型，提高了遥感图像的分辨率。后来，Wang等人[40]改进了这种噪声产生策略。在实现过程中，他们将参考图像编码到潜在空间，作为偏移图像的先验和更新噪声图，以获得更稳定和详细的重建。然而，噪声本身具有有意义的高频信息；这制约了遥感图像的进一步改进。

与随机噪声相比，可见HR清晰图像具有更有意义的纹理，可以提供足够的高频信息。本文以HR清晰图像为目标来指导遥感SR。尽管如此，可见清晰图像与遥感图像之间的域距离远大于可见清晰图像和真实图像之间的距离，而在实际SR中直接使用模型更有可能导致重建中的域偏移。如何在不发生域偏移的情况下探索HR清洁目标的重建能力是遥感SR面临的一个重大挑战。

为了解决这个问题，我们提出了一种新的基于无监督GAN的跨域遥感图像超分辨率网络，我们称之为UVRSR。该网络分为两个可学习的分支：可见光图像引导分支（VIG）和遥感图像引导分支。VIG的设计是为了为网络探索HR清晰图像中的高频信息和纹理。为了避免重建过程中的域偏移，我们设计了一种新的域规则（DR）鉴别器来确保域一致性。DR鉴别器通过遥感目标学习确定遥感域，通过HR可见目标学习确定内容。此外，它还增强了目标域以避免重建中的域偏移。此外，为了了解遥感的内在关系，我们在SR网络中添加了一个RIG。

总之，我们的贡献是：

据我们所知，这是第一项在没有HR/LR图像对的情况下执行跨域SR的工作，也是第一项应用可见图像来辅助遥感域图像SR的工作；
本文提出了一种新的双分支网络UVRSR，用HR可见光图像和非成对LR遥感图像生成SR遥感域图像。提出了一种基于CycleGAN的可学习分支VIG，用于从HR可见光图像中挖掘丰富的纹理，并构建了另一个可学习分支RIG，用于探索遥感图像的内部信息；
我们设计了一种新的域规则（DR）鉴别器，以确定目标遥感域的SR输出，而不会在重建过程中发生域偏移；
实验表明，在UC Merced和NWPU-RESISC45遥感数据集上，与最新的非成对和遥感SR方法相比，UVRSR可以获得更好的结果。

论文组织如下。第2节调查与我们提出的方法相关的工作。第3节描述了我们提出的UVRSR模型的理论、结构和训练。第4节说明了我们在多个遥感数据集中的实验工作和分析。第5节进一步讨论了我们提出的模型的效果。第6节包含我们的结论和未来的工作指示。

2.相关工作

2.1. 遥感超分辨率

Tsai等人提出了关于遥感SR的第一项工作[41]。这些作者通过多个降采样图像将频域应用于高尺度LR图像。然后，随着各种图像处理技术的提出，包括域小波变换（DWT）、最大后验差（MAP）、全变分（TV）、迭代反向投影（IBP）和凸集投影（POCS），在接下来的几年里，遥感SR迅速发展。Tao等人[42]首先将DWT方法应用于遥感SR。SR结果通过逆离散小波变换获得。Wang等人[43]提出了一种迭代生成SR遥感图像并保持多光谱图像光谱特征的MAP方法。Li等人[44]将改进的弹性配准方法嵌入到改进的IBP方法中，以重建更详细的遥感图像。Yuan等人[45]提出了一种区域空间自适应总变差模型，减少了部分伪边缘。最近，深度学习网络提高了遥感的性能[46]提出了一种在统一框架下基于去噪和残差密度的SR网络，以获得更好的重建质量。Liu等人[47]提出了一种基于盐度引导的图像超分辨率模型来增强遥感图像中的显著目标。Jiang等人[37]提出了一种基于GAN的边缘增强网络（EEGAN），用于稳健的卫星图像SR重建，以及对噪声不敏感的对抗性学习策略。Haut等人[38]在基于残差的网络中集成了视觉注意机制，以增强特征表示。Xu等人[18]提出了一种基于GAN的模型，并在生成器中结合了注意机制和金字塔卷积。

2.2. 深度学习中的超分辨率框架

单图像超分辨率（SISR）的最初工作主要集中在神经网络结构的设计上。Dong等人[7]基于CNN提出了最早的SR方法之一。DRRN（数字参考号）[8]和DRCN[9]使用递归神经网络来解决训练深层网络的困难。VDSR公司[48]使用了深度卷积网络和学习率极高的剩余学习来快速训练网络。一些最近的研究人员将其网络中的层密集化，以更好地学习更强的特征。受ResNet成功的启发[49]在图像分类中，多篇论文在最近的SR工作中使用了残差学习[14]通过ResNet架构演示了高质量的重建。EDSR公司[10]删除ResNet中的批规范化层，并使用剩余缩放实现更快、更稳定的训练。灵感来源于DenseNet[50]和ResNet，RDN[11]在放大之前，使用剩余的致密块来学习更深层次的特征。SR任务中也使用了注意机制。RCAN公司[12]应用剩余通道注意块学习不同通道的相互依赖性。Wang等人[51]提出了一种特征蒸馏金字塔残差群来有效地从LR输入中提取特征。后续工作，包括[13,52,53]，在SR.Mei等人[13]提出了一种跨尺度非局部（CS-NL）注意模块，用于探索图像表示中的跨尺度特征相关性。

GAN是一种网络，可以学习从高斯噪声中生成真实的样本，特别是图像。然而，他们也发现在成像问题中作为一个额外的损失术语，可以鼓励逼真的重建。例如，SRGAN[14]利用SR的GAN损失和感知损失（它使用预处理VGG的特征）来重建更真实的纹理和细节。ESRGAN公司[15]构建了一个残存的致密块，进一步改善了感知损失。Ma等人[17]利用基于GAN的模型，借助梯度映射和梯度损失，更加专注于几何结构。

2.3. 超分辨率无准备培训

无准备/无监督训练广泛应用于图像复原，如图像去噪[54]，疯狂[55]，去模糊[56]和去噪[57]。在超分辨率中，真实世界中的可见SR是一个热门应用。真实世界的可见图像是一种复杂的退化，总是缺少参考高质量图像。因此，培训中没有成对的HR/LR真实世界图像。最近，CycleGAN[32]提出用于图像样式传输。随后，许多其他研究人员在无监督的SR中使用了该网络[26]首先将CycleGAN应用于无监督SR任务。Yuan等人[31]在自然现实世界图像SR中使用循环中网络。一个CycleGAN用于域传输，另一个用于保持与初始输入的内容一致。Wei等人[24]在模型中采用了domain-gap软件训练和domain-distance-weighted监督策略来解决真实图像和干净图像之间的领域差距。Liu等人[33]在联合图像去噪和SR模型中提出了一种条件变分自动编码器。为了稳定训练，还采用了循环训练。ZSSR公司[33]提出了一种在真实世界SR中进行这种非配对训练的新方法。作者首先训练成对的HR/LR合成图像对，然后应用下采样的LR真实图像和LR实际图像对在测试时间内继续训练SR网络。这种训练策略可以探索真实图像的内在关系。此外，Haut等人[39]建立了一个无监督的生成网络，该网络注入随机噪声来生成HR遥感重建。Wang等人[40]在中改进了此噪声生成模型[39]在生成步骤之前添加参考图像作为偏移图像，以增强SR遥感图像的纹理和结构化信息。

3.方法

在本节中，我们解释了我们提出的UVRSR，包括它的两个可学习分支和全面培训。

3.1. 总体架构

如所示图1，UVRSR由两个可学习分支组成：VIG和RIG。VIG由未配对的HR可见光图像和LR遥感图像训练。与真实图像SR类似，我们首先使用CycleGAN[32]并将LR可见图像与未配对的遥感图像一起传输到遥感域。接下来，将基于残差的SR网络叠加在CycleGAN之后，生成遥感域SR图像。感知损失[58]用于将感知内容与HR清晰可见目标和SR图像进行匹配。我们将此过程定义为内容一致性。为了避免重建过程中的域偏移，我们设计了一种新的域规则（DR）鉴别器来保持域一致性。与其他传统鉴频器不同，该鉴频器有三个输入端：SR输出、HR清晰可见目标和遥感目标。RIG是通过成对的LR遥感图像及其较低的对应图像进行训练的。下采样的LR遥感图像被送入VIG中的同一SR网络。在RIG训练中，采用L1损失和对抗损失来匹配SR遥感输出和LR遥感目标之间的内容。

3.2. 配方

如所示图1UVRSR的训练由两个可学习的分支组成。为了充分利用引导HR可见目标，UVRSR利用可见引导分支（VIG），定义为

{G公司}_{V（V） 我 S公司}

（请参见图1的上分支）。然后，为了进一步研究遥感图像的内在关系，进一步设计了一个遥感引导分支（RIG）来训练网络（参见图1的下分支），定义为

{G公司}_{R（右） S公司}

.

在VIG中，给定LR输入可见图像

{x个}_{我 第页}^{v（v） 我 秒}

，最终输出是遥感域中的SR图像，定义为

年_{秒 第页}^{第页 秒}

. The

{x个}_{我 第页}^{v（v） 我 秒}

只是被HR可见目标降采样

{x个}_{小时 第页}^{v（v） 我 秒}

用双三次算子。为了稳定对抗训练[59]，作者在基于GAN的变分自动编码器模型中添加了噪声图像和LR输入。在我们的UVRSR中，灵感来自[59]，我们添加了一个零米高斯噪声映射

n个 o个 我 秒 e（电子）

到

{x个}_{我 第页}^{v（v） 我 秒}

CycleGAN之前的尺寸相同，如下所示：

\begin{matrix} {\hat{x个}}_{我 第页}^{v（v） 我 秒} = n个 o个 我 秒 e（电子） + {x个}_{我 第页}^{v（v） 我 秒} \end{matrix}

(1)

要传输

{\hat{x个}}_{我 第页}^{v（v） 我 秒}

对于预期的遥感领域，我们还使用CycleGAN，如[24,26,31]在现实世界SR中，我们将CycleGAN视为一个过程操作符，可以公式化为

C类 年 c（c） G公司 (*)

CycleGAN的输出描述为模拟遥感图像

{\hat{年}}_{我 第页}^{第页 秒}

，其内容应与LR输入相同

{x个}_{我 第页}^{v（v） 我 秒}

，但域不同。该转移过程如下：

\begin{matrix} {\hat{年}}_{我 第页}^{第页 秒} = C类 年 c（c） G公司 ({\hat{x个}}_{我 第页}^{v（v） 我 秒}) \end{matrix}

(2)

接下来是SR网络，定义为

S公司 R（右） (*)

，用于重建

{\hat{年}}_{我 第页}^{第页 秒}

到SR映像

年_{秒 第页}^{第页 秒}

以固定比例因数第页。SR过程是：

\begin{matrix} 年_{秒 第页}^{第页 秒} = S公司 R（右） ({\hat{年}}_{我 第页}^{第页 秒}) \end{matrix}

(3)

最后，完全可见的引导分支可以公式化为：

\begin{matrix} 年_{秒 第页}^{第页 秒} = {G公司}_{V（V） 我 S公司} ({\hat{x个}}_{我 第页}^{v（v） 我 秒}) = S公司 R（右） (C类 年 c（c） G公司 ({\hat{x个}}_{我 第页}^{v（v） 我 秒})) \end{matrix}

(4)

在RIG中，我们以另一种方式在VIG中训练SR网络。在ZSSR中[33]作者应用下采样的LR实数图像和初始LR实像对（低LR/LR）继续训练由合成数据训练的SR网络。训练中可以进一步探索低LR/LR真实图像之间的内在关系。受ZSSR的启发，我们对输入的LR遥感图像进行了降采样

{x个}_{我 第页}^{第页 秒}

到较小的尺寸

{x个}_{我 第页 我 o个 w个}^{第页 秒}

在秤r中，然后馈电

{x个}_{我 第页 我 o个 w个}^{第页 秒}

到同一SR网络(

S公司 R（右） (*)

)在VIG中。SR网络学习生成

年_{我 第页}^{第页 秒}

通过最小化

年_{我 第页}^{第页 秒}

和

{x个}_{我 第页}^{第页 秒}

.遥感引导分支可表述为：

\begin{matrix} 年_{我 第页}^{第页 秒} = {G公司}_{R（右） S公司} ({x个}_{我 第页 我 o个 w个}^{第页 秒}) = S公司 R（右） ({x个}_{我 第页 我 o个 w个}^{第页 秒}) \end{matrix}

(5)

3.3、。可视图像引导分行培训

在该分支的训练中，可见图像起着重要的作用，并引导网络生成具有丰富纹理和细节的SR图像。如所示图1VIG中的关键模块包括CycleGAN、SR网络和DR鉴别器。我们分别说明了每种方法的细节。

3.3.1. CycleGAN公司

CycleGAN的架构如所示图2首先，噪声输入

{\hat{x个}}_{我 第页}^{v（v） 我 秒}

设置为CycleGAN，然后从可见域传输到遥感域。在CycleGAN中，第一台发电机

{G公司}_{第页 秒}

是一个基于CNN的网络，具有多个卷积层。此生成器的功能是生成遥感版本的输入

{x个}_{我 第页}^{v（v） 我 秒}

尺寸相同。

我们使用字母指定过滤器尺寸k个，表示（平方）核大小；n个，表示输出滤波器的数量；和秒，表示步幅大小，后跟相应的数字。CycleGAN处理噪声输入的第一个Conv层

{\hat{x个}}_{我 第页}^{v（v） 我 秒}

到要素空间具有过滤器

k个 = 7

,

n个 = 64

和

秒 = 1

.SRGAN公司[14]得益于他们提出的基于残差的基本层和高效的特征表示。然而，在其基本层中，BN规范化层往往会引入令人不快的伪影并增加计算成本。在我们的工作中，我们使用它的基本层，而没有所有的BN归一化层作为CycleGAN中的基本层。这里我们有五个堆叠的基本层

{G公司}_{第页 秒}

此外，对抗训练用于确保输出

{\hat{年}}_{我 第页}^{第页 秒}

传输到适当的遥感域。鉴别器

天_{第页 秒}

对于遥感领域，具有带滤波器的第一个Conv层

k个 = 三

,

n个 = 64

和

秒 = 2

然后，在第一层之后堆叠以下三个具有BN层的Conv层，第一层具有滤波器

k个 = 2

,

n个 = 128

,

秒 = 2

;

k个 = 2

,

n个 = 256

,

秒 = 2

; 和

k个 = 2

,

n个 = 512

,

秒 = 1

分别是。的最终Conv层

天_{第页 秒}

处理特征

1 / 0

（true/false）具有筛选器

k个 = 三

,

n个 = 1

和

秒 = 1

.鉴别器的训练

天_{第页 秒}

可以培训为：

{L（左）}_{Drs博士} = {电子}_{{z（z）}_{我 第页}^{第页 秒}} | 天_{第页 秒} ({z（z）}_{我 第页}^{第页 秒}) {- 1 |}_{2}^{2} + {电子}_{{x个}_{我 第页}^{v（v） 我 秒}} {| 天_{第页 秒} ({G公司}_{第页 秒} ({\hat{x个}}_{我 第页}^{v（v） 我 秒})) |}_{2}^{2},

(6)

哪里

{z（z）}_{我 第页}^{第页 秒}

表示用于域制导的未配对LR遥感图像，以及

{电子}_{{z（z）}_{我 第页}^{第页 秒}}

和

{电子}_{{x个}_{我 第页}^{v（v） 我 秒}}

表示对随机变量的期望

{z（z）}_{我 第页}^{第页 秒}

和

{\hat{x个}}_{我 第页}^{v（v） 我 秒}

.

使用循环训练方法避免输出之间的内容偏差

{\hat{年}}_{我 第页}^{第页 秒}

和输入

{x个}_{我 第页}^{v（v） 我 秒}

在域传输期间。具体来说，我们把

{\hat{年}}_{我 第页}^{第页 秒}

到另一台发电机

{G公司}_{v（v） 我 秒}

这样它就可以返回到初始可见域，而不会产生内容偏差。我们定义了

{G公司}_{v（v） 我 秒}

作为循环可见图像

年_{c（c） 年 c（c） 我 e（电子）}^{v（v） 我 秒}

在自行车训练中，我们假设

年_{c（c） 年 c（c） 我 e（电子）}^{v（v） 我 秒}

可以返回到LR可见输入

{x个}_{我 第页}^{v（v） 我 秒}

尽可能接近。这是通过使用鉴别器进行进一步的对抗训练来实现的

天_{c（c） 年 c（c） 我 e（电子）}

:

{L（左）}_{Dcycle（数据周期）} = {电子}_{{x个}_{我 第页}^{v（v） 我 秒}} | 天_{c（c） 年 c（c） 我 e（电子）} ({x个}_{我 第页}^{v（v） 我 秒}) {- 1 |}_{2}^{2} + {电子}_{{\hat{年}}_{我 第页}^{第页 秒}} {| 天_{c（c） 年 c（c） 我 e（电子）} ({G公司}_{v（v） 我 秒} ({\hat{年}}_{我 第页}^{第页 秒})) |}_{2}^{2},

(7)

哪里

{电子}_{{x个}_{我 第页}^{v（v） 我 秒}}

和

{电子}_{{\hat{年}}_{我 第页}^{第页 秒}}

表示对随机变量的期望

{x个}_{我 第页}^{v（v） 我 秒}

和

{\hat{年}}_{我 第页}^{第页 秒}

.的体系结构

{G公司}_{v（v） 我 秒}

和

{G公司}_{第页 秒}

，以及

天_{第页 秒}

和

天_{c（c） 年 c（c） 我 e（电子）}

，相同，如所示图3.

3.3.2. SR网络

CycleGAN的输出

{\hat{年}}_{我 第页}^{第页 秒}

然后放入SR网络以生成HR结果

年_{秒 第页}^{第页 秒}

如简介部分所示，HR可视清晰图像可以提供足够的纹理和细节；在这个意义上，我们应用HR可见的干净图像

{x个}_{小时 第页}^{v（v） 我 秒}

作为重建的目标。我们通过最小化SR网络之间的内容距离来训练SR网络

{x个}_{小时 第页}^{v（v） 我 秒}

和

年_{秒 第页}^{第页 秒}

最近，ESRGAN[15]生成了一个剩余剩余稠密块（RRDB），以提供更深入、更有效的特征表示块。每个RRDB结合了多级剩余网络和密集连接，没有BN规范化层。

在我们的UVRSR中，我们在前两个Conv层之后使用了它们的5个堆叠RRDB，其中的过滤器为

k个 = 三

,

n个 = 64

、和

秒 = 1

然后，我们使用像素洗牌层来放大特征的分辨率，然后使用两个堆叠的Conv层，其滤波器为

k个 = 三

,

n个 = 64

、和

秒 = 1

最后，使用滤波器的Conv层

k个 = 三

,

n个 = 三

、和

秒 = 1

用于从64维特征生成SR图像。

在真实的SR中，也没有真实的领域HR目标。最近的工作[16,24,25,26,27,28]以HR可见清晰图像为目标，通过端到端的方式，将模拟现实世界图像与HR可见干净图像配对，对网络进行训练。此设置基于一个假设，即HR真实可见图像和HR清晰可见图像的域相同。实际上，如所示图4a、他们的领域距离很近。尽管如此，在图4b、遥感图像与可见光清晰图像之间的领域差距较大。如果我们直接处理HR清晰可见的图像

{x个}_{小时 第页}^{v（v） 我 秒}

作为目标，就像在真实的SR中一样，它可能会导致

年_{秒 第页}^{第页 秒}

; 换句话说，

年_{秒 第页}^{第页 秒}

将在重建中更改为可见域。

为了避免这种情况，我们通过两种方式训练SR网络：内容一致性和域一致性。通过这些，我们期望SR网络能够产生

年_{秒 第页}^{第页 秒}

作为可见目标

{x个}_{小时 第页}^{v（v） 我 秒}

而是保持目标遥感领域。对于

年_{秒 第页}^{第页 秒}

在超分辨率过程中。

SR网络的架构如所示图5.

内容一致性、感知损失[58]协议双方：

{x个}_{小时 第页}^{v（v） 我 秒}

和

年_{秒 第页}^{第页 秒}

基于预处理的19层VGG网络用于更好的内容重建。感知损失可定义为：

\begin{matrix} {L（左）}_{内容} = {电子}_{{\hat{年}}_{我 第页}^{第页 秒}} {| ϕ_{VGG公司} (年_{秒 第页}^{第页 秒}) - ϕ_{VGG公司} ({x个}_{小时 第页}^{v（v） 我 秒}) |}_{2}^{2}, \end{matrix}

（8）

哪里

{电子}_{{\hat{年}}_{我 第页}^{第页 秒}}

表示关于随机变量的期望，以及

{\hat{年}}_{我 第页}^{第页 秒}

.

ϕ_{VGG公司}

表示预处理的19层VGG网络产生的高级特征。

3.3.3。DR鉴别器

为了域一致性，我们提出了一种新的VIG DR鉴别器。我们将三个输入输入到DR鉴别器中，包括SR输出

年_{秒 第页}^{第页 秒}

，人力资源可视清洁目标

{x个}_{小时 第页}^{v（v） 我 秒}

和RS域目标

{\hat{z（z）}}_{小时 第页}^{第页 秒}

大小相同。为了避免重建过程中的域偏移，我们添加了一幅未配对的遥感图像（与SR图像的内容不同）作为DR鉴别器的域目标。这里设计三个输入的原因很简单：HR可见目标

{x个}_{小时 第页}^{v（v） 我 秒}

可以帮助DR鉴别器学习内容的有效性，而遥感图像

{\hat{z（z）}}_{小时 第页}^{第页 秒}

帮助它确保域的有效性。因此，DR鉴别器学习SR图像的内容有效性和域有效性之间的权衡。在本文中，由于没有HR遥感图像，我们对

{z（z）}_{我 第页}^{第页 秒}

在CycleGAN中，比例为r。

我们为

{\hat{z（z）}}_{小时 第页}^{第页 秒}

DR鉴别器的权重为

α

，我们也给可见目标喂食

{x个}_{小时 第页}^{v（v） 我 秒}

将鉴别器视为实数，权重为

β

SR网络学习在遥感域中生成纹理丰富的详细SR图像，以愚弄DR鉴别器。我们称其为域规则鉴别器的原因是，在SR重建中，域有效性比内容有效性更重要，更成问题；因此，域应该规则鉴别器中的有效性。因此，我们设置了距离较大的域有效性和内容有效性的权重

α > > β

(

α = 0.9

,

β = 0.1

在本文中）。DR鉴别器的设计如所示图6。体系结构遵循中的鉴别器图3在训练中，我们设置了两个不同权重的DR鉴别器输出。DR鉴别器的训练

天_{天 R（右）}

可以表述为：

\begin{matrix} {L（左）}_{天 三} = & α * {电子}_{{x个}_{小时 第页}^{第页 秒}} | 天_{天 R（右）} ({x个}_{小时 第页}^{第页 秒}) {- 1 |}_{2}^{2} + α * {电子}_{{x个}_{小时 第页}^{第页 秒}} {| 天_{天 R（右）} (年_{秒 第页}^{第页 秒}) |}_{2}^{2} + \\ β * {电子}_{{x个}_{小时 第页}^{v（v） 我 秒}} | 天_{天 R（右）} ({x个}_{小时 第页}^{v（v） 我 秒}) {- 1 |}_{2}^{2} + β * {电子}_{{x个}_{小时 第页}^{v（v） 我 秒}} {| 天_{天 R（右）} (年_{秒 第页}^{第页 秒}) |}_{2}^{2}, \end{matrix}

(9)

哪里

{电子}_{{x个}_{小时 第页}^{第页 秒}}

和

{电子}_{{x个}_{小时 第页}^{v（v） 我 秒}}

表示对随机变量的期望

{x个}_{小时 第页}^{第页 秒}

和

{x个}_{小时 第页}^{v（v） 我 秒}

分别是。

α

和

β

表示DR鉴别器中域有效性和内容有效性的权重。

3.4. 遥感影像引导分公司培训

在RIG中，我们在VIG中训练SR网络以指导遥感图像。由于HR遥感图像不可用，为了了解遥感图像的内在关系，受ZSSR启发[33]，我们使用LR遥感图像

{x个}_{我 第页}^{第页 秒}

而且它较小

{x个}_{我 第页 我 o个 w个}^{第页 秒}

在VIG中培训相同的SR网络。我们首先利用双三次算子降采样

{x个}_{我 第页}^{第页 秒}

我们将SR网络的输出定义为

年_{我 第页}^{第页 秒}

然后，在监督训练中，利用该配对和目标对SR网络进行训练。我们将培训中的L1损失定义为：

\begin{matrix} {L（左）}_{第页 秒} = {电子}_{{x个}_{我 第页 我 o个 w个}^{第页 秒}} {| 年_{我 第页}^{第页 秒} - {x个}_{我 第页}^{第页 秒} |}_{1}, \end{matrix}

(10)

哪里

{电子}_{{x个}_{我 第页 我 o个 w个}^{第页 秒}}

表示对随机变量的期望

{x个}_{我 第页 我 o个 w个}^{第页 秒}

.

3.5. 总培训

在本节中，我们说明了UVRSR的训练细节。如前几节所述，在VIG中，我们首先训练CycleGAN进行域转移。CycleGAN有三个损失：周期损失、遥感领域的对抗性损失和周期内容一致性的对抗性丢失。周期损失计算周期可见图像之间的L1损失

年_{c（c） 年 c（c） 我 e（电子）}^{v（v） 我 秒}

和LR可见图像

{x个}_{我 第页}^{v（v） 我 秒}

:

\begin{matrix} {L（左）}_{周期} = {电子}_{{x个}_{我 第页}^{v（v） 我 秒}} {| {x个}_{我 第页}^{v（v） 我 秒} - 年_{v（v） 我 秒}^{c（c） 年 c（c） 我 e（电子）} |}_{1} \end{matrix}

(11)

与方程式相关的遥感领域的对抗性损失(6)是：

\begin{matrix} {L（左）}_{甘 1} = {电子}_{{\hat{x个}}_{我 第页}^{v（v） 我 秒}} {| 天_{第页 秒} ({G公司}_{第页 秒} ({\hat{x个}}_{我 第页}^{v（v） 我 秒})) - 1 |}_{2}^{2} \end{matrix}

(12)

而可视域的对抗性损失与方程式有关(7)是：

\begin{matrix} {L（左）}_{GAN公司 2} = & {电子}_{{\hat{年}}_{我 第页}^{第页 秒}} {| 天_{第页 秒} ({G公司}_{v（v） 我 秒} ({\hat{年}}_{我 第页}^{第页 秒}) - 1) |}_{2}^{2} \end{matrix}

(13)

因此，训练CycleGAN的总损失为：

\begin{matrix} {L（左）}_{CycleGAN公司} = α_{1} * {L（左）}_{周期} + β_{1} * {L（左）}_{GAN公司 1} + γ_{1} * {L（左）}_{GAN公司 2}, \end{matrix}

(14)

哪里

α_{1}

,

β_{1}

和

γ_{1}

是的重量

{L（左）}_{周期}

,

{L（左）}_{GAN公司 1}

和

{L（左）}_{GAN公司 2}

分别是。

输入输出后对SR网络进行训练

{\hat{年}}_{我 第页}^{第页 秒}

CycleGAN的。方程式(8)计算内容一致性的培训损失。对于域一致性，与方程式相关(9)，DR鉴别器的GAN损耗可以表示为：

\begin{matrix} {L（左）}_{领域} = {电子}_{年_{秒 第页}^{第页 秒}} {| 天_{天 R（右）} (年_{秒 第页}^{第页 秒} - 1) |}_{2}^{2}, \end{matrix}

（15）

哪里

{电子}_{年_{秒 第页}^{第页 秒}}

表示对随机变量的期望

年_{秒 第页}^{第页 秒}

.

SR网络的总损耗计算如下：

\begin{matrix} {L（左）}_{锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶} = α_{2} * {L（左）}_{内容} + β_{2} * {L（左）}_{领域}, \end{matrix}

(16)

哪里

α_{2}

和

β_{2}

是的重量

{L（左）}_{内容}

和

{L（左）}_{领域}

分别是。

VIG的总损失为：

\begin{matrix} {L（左）}_{VIG公司} = ζ 1 * {L（左）}_{锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶} + ζ 2 * {L（左）}_{CycleGAN公司}, \end{matrix}

(17)

哪里

ζ_{1}

和

ζ_{2}

是的重量

{L（左）}_{锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶}

和

{L（左）}_{CycleGAN公司}

分别是。

我们用配对的

{x个}_{我 第页}^{第页 秒}

而且它较小

{x个}_{我 第页 我 o个 w个}^{第页 秒}

RIG损失等于

{L（左）}_{第页 秒}

在方程式中(8). 最后，我们一起训练和优化这两个可学习的分支。我们UVRSR的总培训损失为：

\begin{matrix} {L（左）}_{总计} = η 1 * {L（左）}_{VIG公司} + η 2 * {L（左）}_{操纵}, \end{matrix}

(18)

哪里

η_{1}

和

η_{2}

是的重量

{L（左）}_{VIG公司}

和

{L（左）}_{钻机}

分别是。

4.实验与分析

在本节中，我们首先描述本文中使用的数据集和质量评估指标，然后说明UVRSR的详细实现以及与最新方法的比较。

4.1. 数据集集合

作为我们提出的UVRSR的设置，我们使用两种类型的数据集来训练我们的模型：HR可见清洁图像数据集和LR遥感图像数据集。对于HR可见光清洁图像数据集，我们使用了DIV2K数据集，而对于遥感图像数据集来说，我们选择了两个经典的遥感图像数据集中：UC Merced[60]和NWPU-RESSIC45[61]。每个数据集的详细信息如下。

4.1.1. DIV2K型

有足够的HR可见干净图像数据集用于图像处理任务，例如DIV2K[19]，设置5[20]，城市[21]和B100[22]。在所有这些数据集中，DIV2K是最常用的超分辨率任务。DIV2K首次用于2017年NTIRE单图像超分辨率挑战赛。它包含800张高清HR训练图像、100张HR测试图像和100张HR-验证图像。这1000幅HR图像的分辨率约为

2 k个 \times 1 k个

像素。DIV2K中的内容包含丰富的自然场景，包括动物、人类、建筑物和植物；查看中的第一行图7它可以为我们的UVRSR培训提供丰富的内容和足够的细节。

4.1.2. 加州大学默塞德分校

UCMerced数据集是遥感数据处理中最流行的数据集之一。UCMerced数据集共包含2100张地球表面图像；请参阅中的第二行图7它由21种低光土地利用图像组成，包括农业区（AGI）、飞机（APL）、棒球场（BD）、海滩（BE）、建筑（BU）、沙巴拉（CP）、密集居民区（DR）、森林（FO）、高速公路（FW）、高尔夫球场（GC）、港口（HA）、十字路口（is）、中型居民区（MR）、移动总部公园（MHP）、，立交桥（OP）、停车场（PL）、河流（RI）、跑道（RW）、稀疏住宅区（SR）、储罐（ST）和网球场（TC）。每个类别有100幅分辨率为的图像

256 \times 256

像素，RGB颜色空间中的空间分辨率为每像素0.3米。特别是，这些图像最初是从美国地质调查局（USGS）国家地图下载的航空正射影像中提取的。

4.1.3. NWPU-RESISC45型

NWPU-RESISC45数据集是一个大型遥感数据集，具有许多场景类、每个类的图像和图像总数。NSPU-RESISC45数据集共包含31500张地球表面图像；查看中的最后一行图7该数据库由西北工业大学（NWPU）创建。它由45种场景类组成，包括飞机（APL）、机场（AP）、棒球钻石（BD）、篮球（BB）、球场（CO）、海滩（BE）、桥梁（BR）、沙巴拉（CP）、教堂（CH）、圆形农田（CF）、云（CL）、商业区（CA）、密集居住区（DR）、沙漠（DE）、森林（FO）、高速公路（FW）、高尔夫球场（GO），球场（CR）、地面田径场（GTF）、港口（HB）、工业区（IA）、十字路口（IS）、岛屿（IL）、湖泊（LA）、草地（ME）、中型住宅区（MR）、移动家园公园（MHP）、山脉（MT）、立交桥（OP）、宫殿（PA）、停车场（PL）、铁路（RW）、火车站（RS）、矩形农田（RF）、河流（RI），环形交叉口（RD）、跑道（RU）、海冰（SI）、船舶（SH）、雪山（SB）、稀疏居民区（SR）、体育场（SD）、储罐（ST）、网球场（TC）、露台（TR）、热电站（TPS）和湿地（WL）。每个类有700个图像，大小为

256 \times 256

RGB颜色空间中的像素。对于大多数场景类，空间分辨率从每像素30米到0.2米不等。

4.2. 质量评估指标

由于本文中的未配对训练实施，在测试中，没有HR目标遥感图像来测量SR图像的质量。因此，使用基于参考的图像质量评估（IQA）度量PSNR，如下所示[37]，我们将UC Merced和NWPU-RESISC45数据集中的测试图像作为目标，并使用降级方法（本文中简称为双三次降采样算子）生成相应的LR输入图像。PSNR是“峰值信噪比”的缩写，是图像评价的客观标准。当MSE接近零时，PSNR值接近无穷大；PSNR值越高，图像质量越高。它可以计算为：

峰值信噪比 = 10 我 o个 克_{10} \frac{{(2^{n个} - 1)}^{2}}{MSE公司},

(19)

哪里n个是图像比特宽度，MSE是均方误差，定义为：

MSE公司 = \frac{\sum_{j个 = 1}^{N个} (\sum_{我 = 1}^{M（M）} {({\hat{Y（Y）}}_{我, j个} - {X（X）}_{我, j个})}^{2})}{M（M） N个},

(20)

哪里

{X（X）}_{我, j个}

是真实的图像，并且

{\hat{Y（Y）}}_{我, j个}

是重建图像。

M（M） N个

是的大小

{\hat{Y（Y）}}_{我, j个}

和

{X（X）}_{我, j个}

.

此外，为了进行更全面的比较，如在真实可见图像SR中，我们还使用了两个基于非参考的IQA度量来测量重建图像的质量：NIQE[62]和感知指数（PI）。NIQE和PI可以在没有地面真实性的情况下直接评估遥感图像的质量，这在应用上更具实用性。这两个指标的度量值越低，图像质量越高。

NIQE基于构建“质量感知”特征，并将其拟合到多变量高斯（MVG）模型。质量感知特征来自常规自然场景统计（NSS）模型。重建图像的质量表示为质量感知的NSS特征模型和MVG与从重建图像中提取的特征之间的距离。其定义为：

天 (ν_{1}, ν_{2}, ρ_{1}, ρ_{2}) = \sqrt{({(ν_{1} - ν_{2})}^{T型} {(\frac{ρ_{1} + ρ_{2}}{2})}^{- 1} (ν_{1} - ν_{2}))},

(21)

哪里

ν_{1}

,

ν_{2}

和

ρ_{1}

,

ρ_{2}

是自然MVG模型和重建图像MVG模型的平均向量和协方差矩阵。

PI是目前应用于图像质量评估的一种流行的感知度量方法。PI的定义由马的分数计算[63]和NIQE如下：

P（P） 我 = \frac{1}{2} ((10 - M（M） 一^{'} 秒 秒 c（c） o个 第页 e（电子）) + NIQE公司),

(22)

4.3. 实施详细信息

在模型的训练中，我们采用Adam优化器

β_{1} = 0.5

和

β_{2} = 0.999

。初始学习率为

10^{- 4}

每60个时代就会衰退一次。具体来说，在训练中，我们首先训练CycleGAN的重量

α_{1} = 10

,

β_{1} = 三

和

γ_{1} = 1

十个时代之后；然后，我们训练CycleGAN和SR网络以及权重

α_{1} = 5

,

β_{1} = 1

和

γ_{1} = 1

。CycleGAN的重量为

α_{2} = 5

，确实如此

β_{2} = 1

用于VIG中的SR网络。最后，我们将VIG中总损失的权重设置为

ζ_{1} = 1

和

ζ_{2} = 1

。我们用等式中的损失训练SR网络(18)一起，重量是

η_{1} = 1

,

η_{2} = 三

.

对于

4 \times

（4次）训练设置，我们在DIV2K中裁剪HR可见清晰图像，以获得

256 \times 256

像素，并形成8个图像的小批量。我们将HR目标图像的样本减少到

64 \times 64

像素成为VIG中的LR可见输入。我们裁剪了UC Merced和NWPU-RESISC45训练数据集中的LR遥感图像

64 \times 64

像素到CycleGAN和VIG中的DR鉴别器。在RIG中，我们还裁剪了

64 \times 64

像素并将其降采样到

16 \times 16

像素作为较低版本的对应项。在本文中，我们还对

2 \times

（2次/2次）和

8 \times

（8次）。因此，在培训中

256 \times 256

像素英寸

4 \times

设置保持不变，但

64 \times 64

像素已全部更改为

128 \times 128

像素和

32 \times 32

像素，对应于的比例因子

2 \times

和

8 \times

此外，

16 \times 16

像素更改为

32 \times 32

像素和

8 \times 8

像素，对应于的比例因子

2 \times

和

8 \times

我们还通过旋转和水平翻转来增强数据。在训练中，我们将两个遥感数据集的图像分为训练图像和测试图像。具体来说，在UC Merced数据集中，10个类别中数字0-39的图像用于训练，数字40-69用于测试；对于NWPU-RESISC45数据集，使用10个类别中数字1-40的图像进行训练，使用数字41-70进行测试。我们选择的类别将在下一小节中演示。

4.4. 与最新方法的比较

为了验证我们提出的方法的有效性，我们比较了固定尺度下的UVRSR训练(

2 \times

,

4 \times

,

8 \times

)三种最先进的（SoTA）非配对SR方法：CinCGAN[31]、ZSSR[33]和Bulat等人的方法[26]。我们还将UVRSR与两种遥感图像方法进行了比较：Haut等人的方法[38]和EEGAN[37]UC Merced数据集和NWPU-RESISC45测试集。如所示表1，我们使用UC Merced数据集测试集和NWPU-RESISC45数据集测试集中相同的10类图像进行测试，包括飞机（APL）、建筑物（BU）、海滩（BE）、高速公路（FR）、港口（HA）、中型住宅区（MR）、立交桥（OP）、河流（RI）、储罐（ST）和网球场（TC）。然后，我们将两个数据集中来自同一类的图像组合在一起。我们计算了每种方法的基于参考的指数PSNR和非基于参考的指数NIQE和PI，标度为

2 \times

,

4 \times

和

8 \times

我们还计算了每个指数的平均数。关于方法，Haut[38]和ZSSR[33]是基于失真（CNN）的方法，而CinCGAN[31]，布拉特方法[26]、EEGAN[37]和UVRSR（我们的方法）是基于感知（基于GAN）的方法。根据ESRGAN中的演示[15]基于失真的方法在PSNR（失真损失）方面总是比基于感知的方法表现更好，而基于感知的方式在感知损失（PI，NIQE）方面表现更好。在表1UVRSR在PI和NIQE指标方面取得了最好的性能，这表明重建图像往往比其他方法更逼真，尤其是在大的因子

4 \times

和

8 \times

在峰值信噪比方面，UVRSR优于所有基于感知的方法，与性能最好的基于畸变的方法不相上下。我们还观察到，在大范围内

8 \times

，我们提出的UVRSR显示了最佳的PSNR结果，尽管它是一种基于感知的方法。此外，我们在图8,图9和图10具有的规模

2 \times

,

4 \times

和

8 \times

。视觉示例清楚地表明，我们的UVRSR具有更多纹理，并且始终比其他方法更清晰。

5.讨论

在本节中，我们将进一步讨论拟议的USRVR的影响。

5.1. 两个可学习分支的效果

如前几节所示，UVRSR由两个可学习分支组成：VIG和RIG。在VIG中，SR网络由HR可见图像引导。它们可以为重建提供足够的高频信息。在RIG中，探索了SR网络的遥感图像的内部关系。在本小节中，我们评估了每个分支对最终重建的影响。在表2，我们展示了当UVRSR被训练和测试时，可学习分支的结果

2 \times

,

4 \times

和

8 \times

从表中可以看出，最终选择的UVRSR达到了最佳性能，这证明了建议的UVRSR列车RIG和VIG的最佳选择。此外，我们还从中发现了一个有趣的结论表2也就是说，RIG在PSNR指标上的表现优于VIG，而VIG的PI结果优于RIG。这表明VIG可以提供比RIG更真实的细节，RIG可以提供比VIG更多的结构信息。

5.2. DR鉴别器的作用

为了在重建过程中保持遥感域的一致性，在VIG中提出了DR鉴别器。如所示第3节DR鉴别器的输入是SR输出（SR）、HR可见清洁目标（VT）和RS域目标（RT）。在这里，我们分析了使用DR鉴别器的重要性。在表3SR+VT+RT组合是提出的DR鉴别器，SR+VT组合是鉴别器的传统设置，SR+RT是鉴别符的另一种设计。我们使用/不使用DR鉴别器训练和测试UVRSR

2 \times

,

4 \times

和

8 \times

比例因子。如所示表3，使用DR鉴别器训练的UVRSR（具有所有SR+VT+RT输入）产生最佳精度。我们还提供了一个视觉比较图11这清楚地表明，使用DR鉴别器（SR+VT+RT）得到的结果比其他方法得到的结果更详细、更真实。此外，尽管SR+VT的结果比SR+RT的结果具有更多的纹理，但它也更接近可见域。另一方面，该观察结果表明，在传统的鉴别器设置（SR+VT）下，会发生域偏移。SR+RT和DR鉴别器（SR+V+RT）的视觉结果保持遥感域。在HR可见目标的帮助下，DR鉴别器的结果比SR+RT更清晰。

6.结论

在本文中，我们提出了一种新的跨域超分辨率方法，称为UVRSR，该方法允许对未配对的HR可见光图像和LR遥感图像进行训练。它增强了HR可见图像的能力，以帮助重建遥感图像。这是第一个应用可见图像辅助遥感领域SR的工作，也是第一个在没有HR/LR训练对的情况下执行跨领域SR。它结合了HR可见图像和遥感图像的优点，或者换句话说，结合了可见真实细节和遥感结构信息的优点。在UVRSR中，为了在重建过程中学习更详细的图像而不发生域偏移，我们提出了一种新的双分支训练策略和域规则鉴别器。包括可见光图像引导分支（VIG）和遥感图像引导分支的双分支训练对SR网络具有不同的功能。VIG旨在从HR可见目标中探索足够的高频信息，而RIG旨在学习遥感领域的内部关系。提出的DR鉴别器进一步帮助SR网络生成更详细的遥感重建，同时保持域一致性。我们证明，UVRSR实现了最先进的性能，包括非配对和遥感SR方法。对UC Merced和NWPU-RESISC45数据集的大量实验表明，我们的UVRSR在

2 \times

,

4 \times

和

8 \times

。未来，我们将在其他领域SR场景中纳入此未配对培训策略。

作者贡献

概念化，Z.Z.和Y.T。；方法论，Z.Z。；软件，Z.Z。；验证，Z.Z.、Y.X.和J.L。；形式分析。；调查，Y.X.和J.L。；资源，Y.T。；数据管理，Z.Z.和J.L。；书面原稿编制，Z.Z。；写作与编辑，Y.T。；可视化，Z.Z。；监督，Y.T。；所有作者均已阅读并同意手稿的出版版本。

基金

本研究得到了2020YFC0833102国家重点研发计划的资助。

数据可用性声明

本研究中使用的数据集可向相应作者索取。代码将在https://github.com/Andyzhang59（2022年2月21日访问）。

利益冲突

作者声明没有利益冲突。

缩写

本文使用了以下缩写：

人力资源	高分辨率
左后	低分辨率
锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶锶	超分辨率
紫外线杀菌剂	无监督可视图像引导
	遥感图像超分辨率网络
VIG公司	可见图像引导分支
操纵	遥感图像引导分支
RS系列	遥感
视觉	可见
峰值信噪比	峰值信噪比
IQA（质量保证）	图像质量评估
投资回报率	感兴趣的地区
圆周率	感知指数
MVG公司	多变量高斯
NSS公司	自然场景统计
及物动词	可见清洁目标
RT公司	遥感领域目标
DR鉴别器	域规则鉴别器

工具书类

Thies，B。；Bendix，J.《基于卫星的天气和气候遥感：近期成就和未来展望》。美托洛尔。申请。 2011,8, 262–295. [谷歌学者][交叉参考]
He，N。；方，L。；李，S。；A广场。；Plaza，J.使用多层叠加协方差池进行遥感场景分类。IEEE传输。地质科学。远程传感器。 2018,56, 6899–6910. [谷歌学者][交叉参考]
方，L。；刘，G。；李，S。；加米西，P。；Benediktsson，J.A.利用挤压多频网络进行高光谱图像分类。IEEE传输。地质科学。远程传感器。 2018,57, 1291–1301. [谷歌学者][交叉参考]
孙，H。；太阳，X。；Wang，H。；李，Y。；Li，X.使用空间稀疏编码bagof-words模型在高分辨率遥感图像中自动检测目标。IEEE传输。地质科学。远程传感器。 2011,9, 109–113. [谷歌学者][交叉参考]
徐，D。；Wu，Y.利用DenseNet改进YOLO-V3，用于多尺度遥感目标检测。传感器 2020,20, 4276. [谷歌学者][交叉参考]
邹，Z。；Shi，Z.随机存取存储器：高分辨率航空遥感图像中目标检测的新范式。IEEE传输。图像处理。 2017,27, 1100–1111. [谷歌学者][交叉参考]
Dong，C。；罗伊，C.C。；He，K。；Tang，X.使用深度卷积网络的图像超分辨率。IEEE传输。模式分析。机器。智力。 2015,38, 295–307. [谷歌学者][交叉参考][绿色版本]
Tai，Y。；杨，J。；Liu，X.通过深度递归残差网络实现图像超分辨率。2017年IEEE/CVF计算机视觉和模式识别会议论文集，美国夏威夷州火奴鲁鲁，2017年7月21日至26日；第3147–3155页。[谷歌学者]
Kim，J。；Lee，J.K。；Lee，K.M.图像超分辨率的深度递归卷积网络。2016年6月26日至7月1日在美国内华达州拉斯维加斯举行的2016 IEEE计算机视觉和模式识别会议（CVPR）会议记录；第1637-1645页。[谷歌学者]
Lim，B。；儿子S。；Kim，H。；不，S。；Mu Lee，K.增强的深度残差网络用于单图像超分辨率。2017年7月21日至26日在美国夏威夷州火奴鲁鲁举行的2017 IEEE/CVF计算机视觉和模式识别研讨会会议记录；第136-144页。[谷歌学者]
Zhang，Y。；田，Y。；孔，Y。；钟，B。；Fu，Y.图像超分辨率的剩余稠密网络。2018年6月18日至22日在美国犹他州盐湖城举行的2018 IEEE/CVF计算机视觉和模式识别（CVPR）会议记录；第2472-2481页。[谷歌学者]
Zhang，Y。；李凯。；李凯。；Wang，L。；钟，B。；Fu，Y.使用非常深的剩余通道注意网络的图像超分辨率。2018年9月8日至14日在德国慕尼黑举行的欧洲计算机视觉会议（ECCV）会议记录；第286-301页。[谷歌学者]
梅，Y。；范，Y。；周，Y。；Huang，L.等人。；黄，T.S。；Shi，H.图像超分辨率与跨尺度非局部关注和穷尽自样本挖掘。2020年IEEE/CVF计算机视觉和模式识别（CVPR）会议记录，美国华盛顿州西雅图，2020年6月14日至19日；第5690-5699页。[谷歌学者]
莱迪格，C。；Theis，L。；Huszár，F。；卡巴列罗，J。；坎宁安，A。；Acosta，A。；艾特肯，A。；特贾尼，A。；托茨，J。；王，Z。；等人，《使用生成对抗网络的真实照片单图像超分辨率》，2017年IEEE计算机视觉和模式识别会议论文集，美国夏威夷州火奴鲁鲁，2017年7月21日至26日；第4681–4690页。[谷歌学者]
王，X。；Yu，K。；Wu，S。；顾J。；刘，Y。；Dong，C.Esrgan：增强超分辨率生成对抗网络。2018年9月8日至14日，德国慕尼黑，欧洲计算机视觉研讨会会议记录。[谷歌学者]
王，X。；谢林。；Dong，C。；Shan，Y.Real-esrgan：用纯合成数据训练真实世界的盲超分辨率。2021年6月19日至25日在美国田纳西州纳什维尔举行的2021年IEEE/CVF计算机视觉和模式识别会议记录；第1905–1914页。[谷歌学者]
马，C。；Rao，Y。；Cheng，Y。；陈，C。；卢，J。；Zhou，J.梯度制导保结构超分辨率。2020年IEEE/CVF计算机视觉和模式识别（CVPR）会议记录，美国华盛顿州西雅图，2020年6月14日至19日；第7769–7778页。[谷歌学者]
徐，M。；王，Z。；朱，J。；贾，X。；Jia，S.遥感图像超分辨率多关注生成对抗网络。arXiv公司 2021，arXiv:2107.06536。[谷歌学者]
Agustsson，E。；Timofte，R.Ntire 2017年单图像超分辨率挑战：数据集和研究。2017年7月21日至26日在美国夏威夷州火奴鲁鲁举行的2017 IEEE/CVF计算机视觉和模式识别研讨会会议记录；第126–135页。[谷歌学者]
贝维拉夸，M。；A.鲁米。；吉列莫特，C。；Alberi-Morel，M.L.基于非负邻域嵌入的低复杂度单幅图像超分辨率。2012年9月3日至7日，英国萨里，英国机器视觉会议记录。[谷歌学者]
黄J.B。；辛格，A。；Ahuja，N.从变换后的自拍相机获得的单图像超分辨率。2015年IEEE/CVF计算机视觉和模式识别会议记录，美国马萨诸塞州波士顿，2015年6月7-12日；第5197–5206页。[谷歌学者]
马丁·D·。；Fowlkes，C。；塔尔·D。；Malik，J.人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。2001年7月7日至14日，加拿大不列颠哥伦比亚省温哥华，2001年IEEE国际计算机视觉会议（ICCV）会议记录；第416–423页。[谷歌学者]
曲，Y。；齐，H。；Kwan，C.高光谱图像超分辨率的无监督稀疏dirichlet-net。2018年6月18日至22日在美国犹他州盐湖城举行的2018 IEEE/CVF计算机视觉和模式识别（CVPR）会议记录；第2511-2520页。[谷歌学者]
魏毅。；顾，S。；李，Y。；蒂莫夫特，R。；Jin，L。；Song，H.通过域-位置感知训练实现无监督的真实世界图像超分辨率。2021年6月19日至25日在美国田纳西州纳什维尔举行的2021年IEEE/CVF计算机视觉和模式识别会议记录；第13385–13394页。[谷歌学者]
Zhang，Y。；刘，S。；Dong，C。；张，X。；Yuan，Y.用于无监督图像超分辨率的多周期循环生成对抗网络。IEEE传输。图像处理。 2019,29, 1101–1112. [谷歌学者][交叉参考]
布拉特，A。；杨，J。；为了学习图像超分辨率，首先使用gan学习如何进行图像退化。2018年9月8日至14日在德国慕尼黑举行的欧洲计算机视觉会议（ECCV）会议记录；第185-200页。[谷歌学者]
纪，X。；曹毅。；Tai，Y。；王，C。；李，J。；Huang，F.通过核估计和噪声注入的真实世界超分辨率。2020年IEEE/CVF计算机视觉和模式识别研讨会会议记录，美国华盛顿州西雅图，2020年6月14日至19日；第466–467页。[谷歌学者]
Wei，P。；谢，Z。；卢，H。；詹，Z。；Ye，Q。；左，W。；Lin，L.组件分割和征服现实世界图像的超分辨率。《欧洲计算机视觉会议论文集》，虚拟版，2020年8月23日至28日；第101-117页。[谷歌学者]
布拉特，A。；Tzimiropoulos，G.Super-fan：使用gans以任意姿势对真实世界中的低分辨率人脸进行集成面部地标定位和超分辨率处理。2018年6月18日至22日在美国犹他州盐湖城举行的2018 IEEE/CVF计算机视觉和模式识别（CVPR）会议记录；第109-117页。[谷歌学者]
卢格迈尔，A。；Danelljan，M。；Timofte，R.现实世界超分辨率的无监督学习。2019年IEEE/CVF国际计算机视觉研讨会会议记录，2019年10月20日至26日，韩国首尔；第3408–3416页。[谷歌学者]
袁，Y。；刘，S。；张杰。；Zhang，Y。；Dong，C。；Lin，L.。使用循环中循环生成对抗网络的无监督图像超分辨率。2018年IEEE/CVF计算机视觉和模式识别研讨会会议记录，美国犹他州盐湖城，2018年6月18日至22日；第701-710页。[谷歌学者]
朱，J.Y。；帕克，T。；Isola，P。；Efros，A.A.使用循环一致的对抗网络进行无准备的图像到图像转换。2017年IEEE国际计算机视觉会议（ICCV）会议记录，意大利威尼斯，2017年10月22日至29日；第2223-2222页。[谷歌学者]
Shocher，A。；科恩，N。；Irani，M.使用深度内部学习实现“零快照”超分辨率。2018年6月18日至22日在美国犹他州盐湖城举行的2018 IEEE/CVF计算机视觉和模式识别（CVPR）会议记录；第3118-3126页。[谷歌学者]
Lei，S。；施，Z。；Zou，Z。通过本地-全球联合网络的遥感图像超分辨率。IEEE地质科学。遥感快报。 2017,14, 1243–1247. [谷歌学者][交叉参考]
邵，Z。；Wang，L。；王，Z。；Deng，J.使用稀疏表示和耦合稀疏自动编码器的遥感图像超分辨率。IEEE J.选择。热门应用程序。地球目标遥感。 2019,12, 2663–2674. [谷歌学者][交叉参考]
Lei，S。；Shi，Z。；邹，Z。遥感图像超分辨率对抗训练耦合。IEEE传输。地质科学。远程传感器。 2019,58, 3633–3643. [谷歌学者][交叉参考]
蒋，K。；王，Z。；Yi，P。；王，G。；卢·T。；Jiang，J.Edge增强的GAN用于遥感图像超分辨率。IEEE传输。地质科学。远程传感器。 2019,57, 5799–5812. [谷歌学者][交叉参考]
Haut，J.M。；Fernandez-Beltran，R。；保莱蒂，M.E。；J.广场。；Plaza，A.使用深度剩余通道关注的遥感图像超分辨率。IEEE传输。地质科学。远程传感器。 2019,57, 9277–9289. [谷歌学者][交叉参考]
Haut，J.M。；Fernandez-Beltran，R。；保莱蒂，M.E。；新泽西州广场。；A广场。；Pla，F.无监督遥感单幅图像超分辨率的新深度生成网络。IEEE传输。地质科学。远程传感器。 2018,56, 6792–6810. [谷歌学者][交叉参考]
Wang，J。；邵，Z。；卢·T。；黄，X。；张，R。；Wang，Y.通过偏移图像先验的无监督遥感超分辨率。2021年7月5日至9日，中国深圳，IEEE多媒体与博览会（ICME）国际会议记录；第1-6页。[谷歌学者]
Tsai，R.多帧图像恢复与配准。高级计算。视觉。图像处理。 1984,1, 317–339. [谷歌学者]
陶，H。；唐，X。；刘杰。；田，J.基于小波变换和插值的超分辨率遥感图像处理算法。2002年10月23日至27日，中国杭州，《遥感图像处理和模式识别学报》；第259-263页。[谷歌学者]
王，S。；卓，L。；Li，X.使用高分辨率全色图像实现光谱图像超分辨率。2011年10月9日至11日，中国成都，IEEE计算机科学和信息技术国际会议（ICCSIT 2010）论文集；第220-224页。[谷歌学者]
李，F。；弗雷泽，D。；Jia，X.用于超分辨率遥感图像的改进IBP。地质师。信息科学。 2006,12, 106–111. [谷歌学者][交叉参考]
袁，Q。；Yan，L。；李，J。；Zhang，L.基于区域空间自适应总变分模型的遥感图像超分辨率。2014年IEEE地球科学与遥感研讨会（IGARSS）会议记录，加拿大魁北克省魁北克市，2014年7月13日至18日；第3073–3076页。[谷歌学者]
X·冯。；张，W。；苏，X。；Xu，Z.小波变换域优化生成网络用于光学遥感图像去噪和超分辨率重建。远程传感器。 2021,13, 1858. [谷歌学者][交叉参考]
刘，B。；赵，L。；李，J。；赵，H。；刘伟。；李，Y。；王，Y。；陈，H。；Cao，W.Saliency引导的遥感图像超分辨率。远程传感器。 2021,13, 5144. [谷歌学者][交叉参考]
Kim，J。；Lee，J.K。；Lee，K.M.使用深度卷积网络实现精确的图像超分辨率。2016年6月26日至7月1日在美国内华达州拉斯维加斯举行的2016 IEEE计算机视觉和模式识别会议（CVPR）会议记录；第1646-1654页。[谷歌学者]
He，K。；张，X。；任，S。；Sun，J.图像识别的深度残差学习。2016年6月26日至7月1日在美国内华达州拉斯维加斯举行的2016 IEEE计算机视觉和模式识别会议（CVPR）会议记录；第770-778页。[谷歌学者]
黄，G。；刘，Z。；Van Der Maaten，L。；Weinberger，K.Q.密集连接卷积网络。2017年IEEE计算机视觉和模式识别会议记录，2017年7月21日至26日，美国夏威夷州火奴鲁鲁；第4700–4708页。[谷歌学者]
王，Y。；赵，L。；刘，L。；胡，H。；Tao，W.URNet：轻型图像超分辨率的U形残差网络。远程传感器。 2021,13, 3848. [谷歌学者][交叉参考]
姜杰。；马，X。；陈，C。；卢·T。；王，Z。；Ma，J.通过局部正则锚定邻域回归和非局部方法实现单图像超分辨率。IEEE传输。多模式。 2016,19, 15–26. [谷歌学者][交叉参考]
梅，Y。；范，Y。；Zhou，Y.非局部稀疏关注的图像超分辨率。2021年6月19日至25日在美国田纳西州纳什维尔举行的2021年IEEE/CVF计算机视觉和模式识别会议记录；第3517–3526页。[谷歌学者]
李，B。；郭，Y。；顾S。；刘建中。；周J.T。；彭，X。你只看自己：未经监督和训练的单幅图像去噪神经网络。国际期刊计算。视觉。 2021,129, 1754–1767. [谷歌学者][交叉参考]
朱，H。；彭，X。；周J.T。；Yang，S。；Chanderasekh，V。；李，L。；Lim，J.H.Singe用未配对信息去除图像中的雨水：一个可差分的编程视角。2019年6月27日至2月1日，美国夏威夷州火奴鲁鲁希尔顿夏威夷村，AAAI人工智能会议记录；第9332–9339页。[谷歌学者]
卢，B。；陈J.C。；Chellappa，R.通过解纠缠表示的无监督领域特异性去模糊。2018年6月18日至22日在美国犹他州盐湖城举行的2018 IEEE/CVF计算机视觉和模式识别（CVPR）会议记录；第10225–10234页。[谷歌学者]
Hermosilla，P。；Ritschel，T。；Ropinski，T.完全去噪：三维点云清理的无监督学习。2019年IEEE/CVF国际计算机视觉会议（ICCV）会议记录，2019年10月20日至26日，韩国首尔；第52-60页。[谷歌学者]
约翰逊，J。；Alahi，A。；Fei-Fei，L.实时风格传输和超分辨率的感知损失。2016年10月11日至14日，荷兰阿姆斯特丹，欧洲计算机视觉会议（ECCV）会议记录；第694-711页。[谷歌学者]
刘，Z.S。；Siu，W.C。；Wang，L.W。；李，C.T。；Cani，M.P.通过生成式变分自动编码器实现无监督真实图像超分辨率。2020年IEEE/CVF计算机视觉和模式识别研讨会会议记录，美国华盛顿州西雅图，2020年6月14日至19日；第442-443页。[谷歌学者]
Yang，Y。；Newsam，S.Bagof-visual-words和土地利用分类的空间扩展。2010年11月2日至5日，美国加利福尼亚州圣何塞，第18届SIGSPATIAL国际地理信息系统进展会议记录；第270-279页。[谷歌学者]
Cheng，G。；Han，J。；Lu，X.遥感图像场景分类：基准和最新技术。程序。电气与电子工程师协会 2017,105, 1865–1883. [谷歌学者][交叉参考][绿色版本]
米塔尔，A。；Soundararajan，R。；Bovik，A.C.制作“完全盲”图像质量分析仪。IEEE信号处理。莱特。 2012,20, 209–212. [谷歌学者][交叉参考]
马，C。；Yang，C.Y。；杨，X。；Yang，M.H.学习单图像超分辨率的无参考质量度量。计算。视觉。图像理解。 2017,158, 1–16. [谷歌学者][交叉参考][绿色版本]

图1。提出的UVRSR的体系结构。提出的网络由两个可学习的训练分支组成：VIG和RIG。VIG通过HR可见光图像在重建过程中学习细节纹理和高频信息。在RIG中，通过LR遥感图像学习遥感图像的内部关系。

图1。所提出的UVRSR的架构。所提出的网络由两个可学习的训练分支组成：VIG和RIG。VIG通过HR可见光图像在重建过程中学习细节纹理和高频信息。在RIG中，通过LR遥感图像学习遥感图像的内部关系。

图2。VIG中CycleGAN的架构。

图3。本文中发电机和鉴别器的结构。

图4。真实世界可见域/可见清洁域和遥感域/可见洁净域的不同领域差距。

图5。SR网络的体系结构。

图6。所提出的DR鉴别器的体系结构。

图6。提出的DR鉴别器的结构。

图7。 论文中的数据集。第一行描述了DIV2K数据集中的图像。第二行显示来自UC Merced数据集的图像，最后一行显示来自NWPU-RESISC45数据集的图片。

图8。两个尺度因子为的遥感数据集的可视化比较

2 \times

有关UC Merced数据集的结果，请参见上图，有关NWPU-RESISC45数据集，请参见下图。两种情况下的LR输入和SR输出均为

200 \times 200

像素和

400 \times 400

。我们裁剪SR图像中的ROI以进行更好的比较。我们还计算了每个ROI的NIQE和PI，它们越低表示质量越好。我们可以很容易地观察到，UVRSR产生了所有可比较的方法。

图8。两个尺度因子为的遥感数据集的可视化比较

2 \times

有关UC Merced数据集的结果，请参见上图，有关NWPU-RESISC45数据集，请参见下图。两种情况下的LR输入和SR输出均为

200 \times 200

像素和

400 \times 400

。我们裁剪SR图像中的ROI以进行更好的比较。我们还计算了每个ROI的NIQE和PI，越低表示质量越好。我们可以很容易地观察到，UVRSR产生了所有可比较的方法。

图9。两个尺度因子为的遥感数据集的可视化比较

4 \times

有关UC Merced数据集的结果，请参见上图，有关NWPU-RESISC45数据集的结论，请参见下图。两种情况下的LR输入和SR输出均为

100 \times 100

像素和

400 \times 400

。我们在SR图像中裁剪ROI以进行更好的比较。我们还计算了每个ROI的NIQE和PI，对于这些ROI，较低的值表示更好的质量。我们也可以很容易地观察到，UVRSR在所有方法中占据首位。

图9。两个尺度因子为的遥感数据集的可视化比较

4 \times

有关UC Merced数据集的结果，请参见上图，有关NWPU-RESISC45数据集的结论，请参见下图。两种情况下的LR输入和SR输出均为

100 \times 100

像素和

400 \times 400

。我们在SR图像中裁剪ROI以进行更好的比较。我们还计算了每个ROI的NIQE和PI，对于这些值，越低表示质量越好。我们也可以很容易地观察到，UVRSR在所有方法中占据首位。

图10。两个尺度因子为的遥感数据集的可视化比较

8 \times

UC Merced数据集的结果见上图，NWPU-RESISC45数据集见下图。两种情况下的LR输入和SR输出均为

80 \times 80

像素和

640 \times 640

。我们在SR图像中裁剪ROI以进行更好的比较。我们还计算了每个ROI的NIQE和PI，这些ROI越低表示质量越好。我们可以得出结论，在所有方法中，UVRSR产生了性能。

图10。两个尺度因子为的遥感数据集的可视化比较

8 \times

UC Merced数据集的结果见上图，NWPU-RESISC45数据集见下图。两种情况下的LR输入和SR输出均为

80 \times 80

像素和

640 \times 640

为了更好地进行比较，我们在SR图像中裁剪ROI。我们还计算了每个ROI的NIQE和PI，这些ROI越低表示质量越好。我们可以得出结论，在所有方法中，UVRSR产生了性能。

图11。与不同鉴别器设置进行视觉比较。结果在UC Merced数据集上进行训练和测试，规模为

4 \times

.

图11。与不同鉴别器设置进行视觉比较。结果在UC Merced数据集上进行训练和测试，规模为

4 \times

.

表1。在UC Merced数据集和NWPU-RESISC45测试集上与最新方法进行定量比较。突出显示最佳结果（PSNR/NIQE/PI）。

类别/方法	双立方	上半身[38]	伊根[37]	ZSSR公司[33]	布拉特[26]	CinCGAN公司[31]	UVRSR（我们的）
$2 \times$ 比例因子
APL公司	29.12/5.77/5.64	31.78/4.22/4.16	30.94/2.29/2.14	31.36/4.89/4.82	29.40/4.71/4.53	30.98/2.29/2.24	31.16/2.05/2
比利时	28.92/5.71/5.64	31.72/4.14/4.08	30.84/2.25/2.11	31.26/4.82/4.99	29.16/4.79/4.85	30.86/225/2.19年	31.20/2.12/2.07
不	28.80/5.85/5.70	31.47/4.34/4.27	30.57/2.40/2.27	31.12/4.86/4.70	29.30/4.76/4.62	30.62/2.47/2.43	30.88/2.22/2.16
FW公司	28.39/6.05/5.89	31.25/4.48/4.36	30.45/2.51/2.56	30.87/5.08/4.82	28.62/4.95/5.15	30.39/2.54/2.63	30.53/2.38/2.42
哈	28.75/5.84/5.79	31.52/4.26/4.19	30.62/2.38/2.49	31.19/5.12/4.74	28.67/4.82/4.99	30.44/2.41/2.47	30.79/2.22/2.29
先生	29.59/5.42/5.37	32.29/3.73/3.57	31.43/1.86/1.73	31.83/4.43/4.49	29.94/4.25/4.06	2014年2月31日	31.52/1.65/1.58
操作	29.32/5.60/5.49	32.02/4.20/4.01	31.33/1.99/1.91	31.73/4.75/4.68	29.56/4.60/4.49	31.31/2.17/2.06	31.62/1.97/2.05
RI公司	29.47/5.51/5.43	32.07/3.87/3.85	31.40/1.94/1.89	31.76/4.35/4.27	29.81/4.43/4.29	31.20/2.15/2.01	31.37/1.84/1.76
标准时间	29.42/5.57/5.42	32.02/4.02/4.06	31.33/2.07/2.01	31.64/4.62/4.77	29.74/4.52/4.36	31.27/2.10/2.15	31.28/1.87/1.94
总费用	29.18/5.46/5.52	31.82/4.15/4.23	31.04/2.15/1.99	31.39/4.78/4.65	29.32/4.82/4.61	30.96/2.32/2.11	2012年3月31日/2.02/1.89
平均值	29.10/5.68/5.59	31.90/4.13/4.08	30.99/2.18/2.11	31.42/4.77/4.69	29.35/4.67/4.60	30.93/2.26/2.23	31.16/2.03/2.02
$4 \times$ 比例因数
APL公司	23.82/6.43/6.57	28.38/4.53/4.49	25.24/2.39/2.42	25.76/5.13/4.97	23.77/6.77/6.62	24.96/2.62/2.58	25.20/2.31/2.33
比利时	24.12/6.38/6.52	28.53/4.62/4.42	25.14/2.45/2.36	25.81/4.93/5.09	23.85/6.65/6.54	25.17/2.56/2.49	25.34/2.41/2.34
不	23.26/7.09/7.26	27.86/4.85/4.93	24.32/2.66/2.79	24.79/5.42/5.29	22.43/7.12/6.95	24.21/2.75/2.74	24.37条/2.54/2.58
FW公司	23.32/6.72/6.68	28.09/4.77/4.81	24.54/2.67/2.72	24.96/5.32/5.14	22.25/7.23/7.08	24.36/2.86/2.75	24.76/2.52/2.48
哈	23.79/6.50/6.52	28.22/4.56/4.35	24.86/2.59/2.68	25.43/5.34/5.26	23.54/6.89/6.73	24.82/2.55/2.65	24.90/2.39/2.37
先生	24.86/5.93/6.07	28.92/4.26/4.17	25.52/2.15/2.02	26.35/4.52/4.55	23.89/6.32/6.37	25.31/2.26/2.24	25.78/1.96/2.08
操作	24.25/6.45/6.38	28.68/4.39/4.33	25.16/2.36/2.42	25.88/4.92/4.84	23.54/6.80/6.68	25.06/2.42/2.39	25.29/2.29/2.26
RI公司	24.81/6.03/6.11	28.85/4.35/4.30	25.49/2.23/2.26	26.47/4.63/4.68	24.07/6.35/6.22	25.42/2.31/2.40	25.62/2.06/2.14
标准时间	24.43/6.29/6.35	28.62/4.49/4.42	25.22/2.31/2.22	26.06/4.85/4.89	23.77/6.59/6.80	25.29/2.43/2.31	25.39/2.29/2.23
热带气旋	24.19/6.46/6.39	28.42/4.44/4.37	25.27/2.38/2.49	25.56/4.93/4.84	23.67/6.75/6.68	25.26/2.35/2.29	25.32/2.24/2.28
平均值	24.06/6.43/6.49	28.46/4.53/4.46	25.08/2.42/2.44	25.71/5.00/4.96	23.48/6.75/6.67	24.99/2.51/2.49	25.20/2.30/2.31
$8 \times$ 比例因数
APL公司	17.46/7.92/7.95	20.66/5.88/5.91	19.59/5.24/5.15	16.95/8.25/8.30	16.85/8.56/8.52	19.32/5.36/5.18	20.85/3.82/3.73
比利时	17.62/7.80/7.72	20.77/5.84/5.96	19.71/5.06/4.87	17.18/8.08/8.15	16.92/8.42/8.36	19.62/5.39/5.45	21.26/3.65/3.28
不	16.70/8.39/8.21	19.68/6.54/6.26	18.52/5.75/5.61	16.33/8.48/8.56	16.24/8.92/8.71	18.75/5.68/5.59	20.15/4.52/4.35
FW公司	16.84-8.23/8.06	19.92/6.34/6.22	18.83/5.53/5.42	16.53/8.12/8.09	16.04/8.79/8.85	18.92/5.62/5.51	19.89/4.65/4.55
哈	17.22/8.10/7.92	20.47/5.93/6.05	19.27/5.40/5.21	16.82/8.34/8.46	16.41/8.63/8.69	19.25/5.42/5.44	20.26/4.05/3.86
先生	18.56/7.24/7.16	21.51/5.32/5.40	20.73/4.85/4.62	18.71/7.42/7.34	19.25/6.87/6.92	20.82/4.58/4.53	21.49/3.49/3.36
操作	17.92/7.62/7.56	21.04/5.75/5.68	20.22/5.03/4.88	17.79/7.81/7.77	17.64/7.86/7.75	20.17/5.11/4.87	21.14/3.62/3.65
RI公司	18.53/7.36/7.25	21.34/5.44/5.56	20.39/4.97/4.85	18.35/7.52/7.43	18.82/7.16/6.92	20.47/4.89/4.79	21.50/2.81/2.94
标准时间	18.24/7.44/7.42	21.06/5.68/5.49	20.25/4.92/4.76	18.02/7.66/7.54	18.31/7.58/7.46	20.19/5.12/4.82	21.25/3.57/3.40
总费用	17.64/7.85/7.79	20.88/5.84/5.90	19.73/5.06/4.88	17.02/8.18/8.38	16.95/8.42/8.36	20.08/5.04/4.93	21.06/3.67/3.54
平均值	17.67/7.80/7.70	20.73/5.86/5.84	19.72/5.18/5.03	17.37/7.99/8.02	17.39/8.12/8.05	19.79/5.22/5.11	20.88/3.79/3.67

表2。可学习分支的分析。突出显示最佳性能。

表2。分析可学习的分支。突出显示最佳性能。

分支机构	$2 \times$	$4 \times$	$8 \times$
VIG+钻机	30.79/2.22/2.29	24.90/2.39/2.37	20.26/4.05/3.86
VIG公司	30.66/2.28/2.35	24.76/2.44/2.41	20.12/4.11/3.93
操纵	30.72/2.34/2.43	24.80/2.52/2.48	20.14/4.19/3.98

表3。DR鉴别器分析。突出显示最佳性能。

表3。DR鉴别器分析。突出显示了最佳性能。

鉴别器的输入	$2 \times$	$4 \times$	$8 \times$
SR+VT+RT	31.16/2.05/2	25.20/2.31/2.33	20.85/3.82/3.73
SR+VT	30.75/2.10/2.07	24.52/2.39/2.38	20.28/4.03/3.92
SR+RT	31.08/2.19/2.13	24.92/2.46/2.49	20.66/4.18/4.11

出版商备注：MDPI对公布的地图和机构关联中的管辖权主张保持中立。

分享和引用

MDPI和ACS样式

张，Z。；田，Y。；李，J。；徐，Y。可见光引导的无监督遥感图像超分辨率。远程传感器。 2022,14, 1513.https://doi.org/10.3390/rs14061513

AMA风格

Zhang Z，Tian Y，Li J，Xu Y。可见光引导的无监督遥感图像超分辨率。遥感. 2022; 14(6):1513.https://doi.org/10.3390/rs14061513

芝加哥/图拉宾风格

张子丽、闫天、李建祥和徐一平。2022.“可见图像引导的无监督遥感图像超分辨率”遥感14，第6期：1513。https://doi.org/10.3390/rs14061513

请注意，从2016年第一期开始，该杂志使用文章编号而不是页码。请参阅更多详细信息在这里.

文章菜单

可见光引导的无监督遥感图像超分辨率

摘要

1.简介

2.相关工作

2.1. 遥感超分辨率

2.2. 深度学习中的超分辨率框架

2.3. 超分辨率无准备培训

3.方法

3.1. 总体架构

3.2. 配方

3.3、。可视图像引导分行培训

3.3.1. CycleGAN公司

3.3.2. SR网络

3.3.3。DR鉴别器

3.4. 遥感影像引导分公司培训

3.5. 总培训

4.实验与分析

4.1. 数据集集合

4.1.1. DIV2K型

4.1.2. 加州大学默塞德分校

4.1.3. NWPU-RESISC45型

4.2. 质量评估指标

4.3. 实施详细信息

4.4. 与最新方法的比较

5.讨论

5.1. 两个可学习分支的效果

5.2. DR鉴别器的作用

6.结论

作者贡献

基金

数据可用性声明

利益冲突

缩写

工具书类

分享和引用

文章指标

文章访问统计

更多信息

指导方针

MDPI计划

遵循MDPI