期刊上的下一篇文章
沙尘气溶胶模型对中国VIIRS气溶胶光学厚度（AOD）产品的影响
下一篇特刊文章
一种用于高光谱图像分类的两阶段深域自适应方法
期刊上的上一篇文章
OIC-MCE：基于多分类器集成和迭代分类的有限样本实用土地覆盖制图方法
特刊上一篇文章
基于双分支双注意机制网络的高光谱图像分类
 
 
搜索用于文章:
标题/关键字
作者/附属机构/电子邮件
日记账
文章类型
 
 
高级搜索
 
章节
特别发行
体积
问题
编号
第页
 
期刊销售
遥感
第12卷
第6版
10.3390/rs12060993
遥感损失
提交到此日志 本期刊的评论 提出特殊问题
► 文章菜单

文章菜单

分享 分享 公告 帮助 format_quote格式 引用 问题_答案 在SciProfiles中讨论 竖起拇指（_U）
...
背书 短信
...
注释
第一页（_P）
设置
订购文章重印
字体类型：
宋体 佐治亚州 宋体，Verdana
字体大小：
澳大利亚 澳大利亚 澳大利亚
行距：
列宽：
背景：
第条

基于谱矩阵分解和空间稀疏性约束的多光谱图像联合空间谱分辨率增强

通过
陈毅
1,2,3,
赵永强
1,2,*,
乔纳森·张伟珍
三和
Seong G.Kong（承公）
4
1
西北工业大学研究开发院，中国深圳518057
2
西北工业大学自动化学院，西安710072
三
比利时布鲁塞尔Vrije Universiteit Brussel电子与信息学系，1050
4
韩国首尔世宗大学计算机工程系05006
*
信件应寄给的作者。
远程传感器。 2020,12(6), 993;https://doi.org/10.3390/rs12060993
收到的提交文件：2020年1月16日/修订日期：2020年2月14日/接受日期：2020年3月10日/发布日期：2020年3月19日
（本文属于特刊利用高光谱图像进行深度学习和特征挖掘)
浏览地物
版本注释

摘要

:
本文提出了一种联合空间光谱分辨率增强技术，以同时提高多光谱图像在空间域和光谱域的分辨率。从输入的多光谱图像重建的高光谱图像（HSI）以更高的空间分辨率表示同一场景，与输入的多谱图像相比，具有更多波长宽度更窄的光谱带。许多现有的改进技术侧重于空间或光谱分辨率增强，这可能会导致光谱失真和空间不一致。该方案引入虚拟中间变量来建立光谱观测模型和空间观测模型。这些模型交替求解光谱字典和丰度，以重建所需的高分辨率HSI。最初的光谱字典是从不同景观中捕获的先前HSI中训练出来的。从全色图像及其稀疏系数训练的空间字典提供高空间分辨率信息。稀疏系数被用作约束条件，以获得高空间分辨率丰度。在AVIRIS/Landsat 7模拟数据集和真实Hyperion/ALI数据集上进行的实验表明，该方法优于最先进的空间和光谱分辨率增强方法。该方法对于现有的空间和光谱分辨率增强方法的组合也很有效。

1.简介

高光谱成像已证明其在各种地球观测应用中的有用性，例如景观分类[1]，目标检测[2]和环境监测[三]. 高光谱传感器收集可见到红外波长范围内的相邻光谱带。高光谱图像（HSI）中丰富的光谱特征有助于识别和分类不同的材料和景观[4]. 在高光谱成像中，需要权衡空间分辨率和光谱分辨率。星载高光谱图像的空间分辨率始终低于多光谱图像和全色图像。应扩大瞬时视场（IFoV），以在窄频谱带宽下实现可接受的信噪比（SNR）[5]. 例如，Sentinel 2 MSI的最大空间分辨率为10米，而Hyperion HSI的空间分辨率只有30米。HSI的低空间分辨率总是导致混合像素，并降低后续应用程序的性能，而MSI或PAN图像的低光谱分辨率通常限制了光谱理解和分析。尽管地球观测遥感数据变得越来越可用，相应的应用也引起了广泛的兴趣，但在获取同时具有高空间分辨率和高光谱分辨率的图像方面仍存在挑战[6]. 因此，许多研究集中于从低分辨率（LR）输入恢复高质量的合成图像，包括空间分辨率改进方法[7,8,9,10,11,12,13,14,15,16,17,18,19]和光谱分辨率增强技术[20,21,22,23,24,25,26,27].

1.1. HSI空间分辨率的提高

在过去的几十年里，已经提出了几种基于MSI和PAN图像融合的空间改进方法。高光谱泛锐化通过将LR HSI与覆盖从可见光到近红外光谱范围的高分辨率（HR）pan图像融合来提高HSI的空间分辨率[7]. 除了经典的高光谱泛增强方法，如成分替换（CS）方法[8]，多分辨率分析（MRA）方法[9]，和基于模型的优化方法[10,11]深度学习，特别是卷积神经网络（CNN），在泛锐化任务中得到了广泛的应用。在[12]设计了一个残差CNN模型来描述LR/HR MSI对与PAN图像之间的映射。Yuan等人[13]提出了一种多尺度多深度CNN（MSDCN）用于泛锐化，其中多尺度特征提取用于重构HR MSI。
HSI融合是提高空间分辨率的另一种流行方法。HR HSI是通过将LR HSI与HR MSI融合来恢复的，其中假设HSI和MSI是针对相同的景观同时捕获的。基于变换域的典型融合方法，包括二维和三维小波变换[14]通常会导致严重的光谱失真。使用随机混合模型提出统计方法[15]. 另一种基于光谱分解的有效融合方法使用LR-HSI的端元/光谱字典和HR-MSI的丰度恢复HR-HSI[16]. 例如，Yokoya等人[17]提出了一种基于无监督谱分解的耦合非负矩阵分解（CNMF）方法，其中MS图像和HSI使用非负矩阵因子分解交替进行分解。在[18]提出了一种利用字典学习和稀疏编码的非参数贝叶斯模型来实现HR高光谱结果。Dong等人设计了一种非负结构稀疏表示（NSSR）方法[19]. 重构的HR-HSI是通过估计非负谱字典及其稀疏系数来表示的。然而，这些融合方法仅限于与输入图像相同的空间覆盖，因此只能获得与输入LR HSI相同空间覆盖的HR HSI。

1.2. 光谱分辨率增强技术

尽管空间分辨率改进技术有多种方法，但只有少数方法专注于光谱超分辨率。光谱分辨率增强从MSI或RGB图像重建HSI，其中恢复的HSI和输入的MSI/RGB图像具有相同的空间分辨率和覆盖范围[20]. 现有的光谱分辨率增强算法分为硬件方法和重建方法。硬件方法通过活动光从RGB/MSI实现HSI[21]，可调滤波器[22]和不同RGB相机提供的可变光谱响应[23]. 由于需要修改光学仪器或增加额外的硬件设备，这种方法可能不适合遥感任务。为了提高光谱分辨率，提出了几种光谱重建方法。例如，光谱分辨率增强方法（SREM）[24]通过估计光谱响应矩阵恢复具有宽条带的HSI。Arad等人[25]提出了一种基于稀疏表示的光谱分辨率增强算法，通过K-均值奇异值分解（K-SVD）从先验HSI中学习光谱字典，并从输入RGB图像中恢复HSI。该方法的性能在[26]通过使用浅层稀疏表示框架进行开发[27]引入卷积神经网络学习RGB图像与HSI之间的端到端光谱映射，实验证明，该方法能够获得更好的光谱分辨率改善效果。上述大多数光谱分辨率改进方法仅从RGB图像中恢复HSI，仅覆盖可见光或部分近红外光谱区域。我们以前的工作[20]提出了一种在400nm至2500nm的全光谱范围内的光谱超分辨率方法。分别引入光谱改进策略和空间保持策略，通过先验MSI/HSI对估计光谱响应关系，从HS先验中学习光谱字典，并利用空间约束确保一致性。
尽管许多应用需要具有相对较短时间间隔的高分辨率HSI，但现有的星载HSI只能在低空间和时间分辨率以及低重访频率下使用。PAN图像具有高空间分辨率，MSI具有高时间分辨率和重访频率[20]. 因此，我们可以很容易地在不同时间或不同地形上获取高空间分辨率PAN图像或高时间分辨率MSI，这对星载HS传感器来说是一个挑战。大多数使用多光谱或全色传感器拍摄的场景没有相应的HSI。本文提出了一种基于PAN图像和先验HSI的联合空间光谱分辨率增强方法。重建的HSI与PAN图像具有相同的空间分辨率，与先前的HSI具有相同的光谱分辨率。该方法不仅提高了输入图像的空间和光谱分辨率，而且在不同时间或不同场景上创建了新的HSI，为对地观测提供了新的机会。
现有技术旨在通过同时提高空间分辨率和光谱分辨率来提高空间分辨率或光谱分辨率，而不是HR HSI。如果在空间域或光谱域中逐步执行分辨率增强，则从上一步转移的任何缺陷和失真都将给消除当前步骤中的伪影带来困难。因此，其后续处理任务的性能将降低。此外，将空间和光谱增强技术统一到一个框架中以同时提高空间和光谱分辨率将是一项挑战。为了恢复高空间分辨率和200多个波段的HSI，需要使用具有少量谱带的低空间分辨率MSI，这显然是一个高度不适定的逆向问题。该方法利用PAN图像的空间特征和先前HSI的光谱特征来减少伪影和失真。用于统一空间和光谱改进的组合光谱分解确保了后续应用的准确光谱特性。
该方案基于输入低分辨率MSI中的高空间谱相关性和期望的高质量HSI，从输入低空间分辨率MSI恢复高空间分辨率HSI。所需HSI中的每个像素可以由从光谱字典中提取的几个纯光谱特征的线性组合来表示[28]. 假设输入LR MSI中的像素与所需高质量HSI中的HR像素高度相关[29].图1显示了本文提出的联合空间-光谱分辨率增强算法，以同时提高空间和光谱分辨率。在建立光谱观测模型和空间观测模型的基础上，将光谱和空间改进结合为一个统一的框架。在这项工作中，输入的LR MSI和期望的HR HSI分别表示为LSpaLSpe和HSpaHSpe。为了更全面地描述空间和光谱观测模型，设计了两个虚拟中间变量。这两个虚拟中间变量分别表示为HSpaLSpe和LSpaHSpe。HSpaLSpe表示高空间分辨率但低光谱分辨率MSI，LSpaHSpe表示低空间分辨率但高光谱分辨率HSI。HSpaLSpe具有与所需HR HSI相同的空间分辨率，被视为输入LR MSI的空间改善结果。而LSpaHSpe具有与所需HSI相同的光谱分辨率，被视为输入MSI的光谱增强结果。期望的HSI通过光谱字典中光谱特征的线性组合进行分解，其中丰度描述每个光谱特征的分数[28]. 我们假设高光谱分辨率字典是从LSpaHSpe HSI提取的，而高空间分辨率丰度是从HSpaLSpe MSI提取的。因此，可以通过虚拟中间变量LSpaHSpe建立光谱观测模型，该模型描述了输入MSI和所需HSI之间的光谱关系方案。使用HSpaLSpe建立空间观测模型，以描述输入MSI和期望HSI之间的关系。LSpaHSpe和HSpaLSpe在这项工作中只是虚拟的中间变量，不需要求解。
在光谱观测模型中，可以从LSpaHSpe中提取所需HSI中的光谱特征。初始光谱字典是通过调整之前的HSI获得的，使用与所需HSI相同的传感器捕获，并覆盖输入图像的不同景观。频谱字典从LSpaHSpe HSI获取。在空间观测模型中，从与所需HSI具有相同空间分辨率的HR PAN图像中学习空间字典。训练好的空间字典由期望的HSI和HSpaLSpe MSI共享，同时利用它们的稀疏系数之间的关系作为空间约束，以获得高空间分辨率丰度。稀疏系数和丰度使用反馈方案求解[11]以获得更准确的结果。本文将光谱和空间观测模型统一为一个联合框架，交替求解光谱字典和丰度。谱字典使用丰度进行更新，而丰度在前一次迭代中由谱字典求解。这两个步骤可以相互约束，最终实现联合空间谱增强，而无需求解虚拟中间变量。
该算法的贡献总结如下：
  • 同时提高空间和光谱分辨率，将空间和光谱增强步骤统一在一个框架中，将高分辨率光谱特征和空间信息作为交替求解过程中的相互约束。据我们所知，这是第一次尝试。
  • 为联合空间和光谱增强问题设计了光谱和空间观测模型。在光谱和空间观测模型中引入虚拟中间变量LSpaHSpe和HSpaLSpe，以发现输入LR MSI和所需HR HSI之间的光谱/空间关系。交替求解高光谱分辨率字典和相应的高空间分辨率丰度，以恢复高空间和光谱分辨率HSI。LSpaHSpe和HSpaLSpe只是虚拟中间变量，不需要在所提出的方法中求解它们。
  • 将提出的联合空间光谱增强算法应用于实际遥感数据，如目标场景的ALI/Hyperion（30 m，9个波段/30 m，242个波段），使用ALI（10 m）的PAN图像提供高空间分辨率特征，而使用之前的Hyperion HSI（30 m、242个频带）在不同的场景上训练具有高光谱分辨率特征的光谱字典。因此，目标场景的高空间和光谱分辨率Hyperion数据（10 m，242个波段）是从输入的LR ALI数据（30 m，9个波段）获得的。
本文的其余部分组织如下。在第2节分别介绍了空间观测模型和光谱观测模型。提出的联合空间光谱分辨率增强方法如下所示第3节.英寸第4节，我们给出了在模拟数据集和实际数据集上的实验结果。分析和讨论如所示第4节最后得出结论第5节.

2.空间观测模型和光谱观测模型

本节介绍了空间和光谱观测模型以及两个虚拟中间变量LSpaHSpe HSI和HSpaLSpe MSI，以交替求解高分辨率光谱字典和高空间分辨率丰度，从而恢复所需的HR HSI。

2.1. 空间观测模型

本文假设虚拟变量HSpaLSpe与期望的HSI具有相同的空间分辨率，并且与输入MSI具有同样的光谱分辨率。HSpaLSpe只是一个中间变量，不需要求解。PAN图像包含丰富的高分辨率空间细节和结构[30]，用于通过稀疏表示框架训练过于完整的空间字典[31]. 在图2，虚拟变量HSpaLSpe具有与所需HSI相同的空间分辨率。假设HSpaLSpe和所需的HSI共享相同的空间字典。HSpaLSpe和所需HSI之间存在光谱退化映射。HSpaLSpe的稀疏系数与所需HSI之间的关系遵循光谱退化映射[5]. 交互式反馈框架[11]也被用于空间观测模型中，以同时处理空间处理和光谱解混。

2.2. 光谱观测模型

期望的HSI由光谱字典中的几个光谱特征组成[32]. 在图3，虚拟变量LSpaHSpe与所需HSI具有相同的光谱分辨率，与输入MSI具有同样的空间分辨率。与HSpaLSpe一样，LSpaHSpe也被视为中间变量，因此不能在建议的过程中求解。当覆盖与输入图像相同场景的高光谱分辨率图像不可用时，使用具有不同景观的先验HSI来估计初始光谱字典。使用的先前HSI具有与LSpaHSpe相同的空间分辨率，并且与所需HSI由相同的传感器捕获。由于相同的光谱分辨率，LSpaHSpe和所需的HSI共享相同的高分辨率光谱字典，并且它们之间存在空间映射方案。图3表明其丰度的映射方案应与两幅图像之间的映射方案一致。

3.提出的联合空间谱增强算法

提出的联合空间光谱增强方法将空间和光谱观测模型结合到一个统一的框架中，交替求解光谱字典和丰度，从而获得高空间分辨率和高光谱分辨率的图像。HSI和MSI表示为2-D矩阵，其中每列表示一个光谱带的图像。输入低空间和光谱分辨率MSI表示为 Y（Y） ∈ R（右） 米 × 我 ，而 Z轴 ∈ R（右） 米 × L（左） 表示所需的HSI。 X（X） ˜ ∈ R（右） 米 × L（左） 和 X（X） ∈ R（右） 米 × 我 分别表示LSpaHSpe和HSpaLSpe。 米 和 米 分别是高空间图像和低空间图像的像素数。 L（左） 和 我 用表示光谱带的数量 我 < L（左） LSpaHSpe HSI表示为 X（X） ˜ ，被视为所需HR HSI的空间退化版本 Z轴 .输入MSI Y（Y） 被视为LSpaHSpe的光谱降解版本。 X（X） ˜ 和 Y（Y） 可以表述为：
X（X） ˜ = T型 Z轴 + μ 1 ,
Y（Y） = X（X） ˜ 米 + μ 2
哪里 T型 ∈ R（右） 米 × 米 表示空间退化矩阵，其中包括所需HSI之间的模糊和空间下采样因子 Z轴 和LSpaHSpe HSI X（X） ˜ . 米 ∈ R（右） L（左） × 我 是输入MSI之间的频谱响应变换矩阵 Y（Y） 和LSpaHSpe HSI X（X） ˜ 一般来说， T型 和 米 根据传感器参数作为先验知识。对于真实数据， T型 可以使用高斯点扩散函数和 米 可以使用交叉校准获取[33]. μ 1 和 μ 2 表示建模误差和噪声。另一个虚拟中间变量HSpaLSpe映像 X（X） 并输入MSI Y（Y） 可被视为所需HSI的光谱降级版本 Z轴 HSpaLSpe的空间退化版本：
X（X） = Z轴 米 + ν 1
Y（Y） = T型 X（X） + ν 2
哪里 ν 1 和 ν 2 是建模错误。

3.1. 建立光谱观测模型求解光谱字典

光谱观测模型是为了获得高光谱分辨率的字典。所需HSI中每个像素的光谱 Z轴 可以用光谱特征的线性组合表示，其公式为[32]:
z（z） 我 = 一 我 D类 秒 第页 e（电子） + n个 我 ,
哪里 z（z） 我 是像素的光谱 我 在里面 Z轴 . D类 秒 第页 e（电子） ∈ R（右） K（K） × L（左） 光谱字典是否包含K（K）纯光谱特征， 一 我 表示假定稀疏的分数丰度， n个 我 是建模错误。因为所有图像都是以二维形式使用的[34]，方程（5）可以重写为紧凑的矩阵形式：
Z轴 = A类 D类 秒 第页 e（电子） + n个 ,
哪里 A类 表示高空间分辨率分数丰度，以及 n个 是建模错误。
由于以下事实 Z轴 与LSpaHSpe图像具有相同的光谱分辨率 X（X） ˜ ，它们的潜在光谱特征应该相同。将（6）替换为（1），光谱观测模型可以表示为
X（X） ˜ ≈ T型 A类 D类 秒 第页 e（电子） = A类 ˜ D类 秒 第页 e（电子） ,
因此，谱字典训练可以通过以下稀疏非负矩阵分解问题来解决[19]:
{ D类 秒 第页 e（电子） , A类 ˜ } = 参数 最小值 { 1 2 | | X（X） ˜ − A类 ˜ D类 秒 第页 e（电子） | | F类 2 + λ | | A类 ˜ | | 1 } 秒 . t吨 .     一 ˜ 我 ≥ 0 , d日 k个 ≥ 0 ,
哪里 A类 ˜ = [ 一 ˜ 1 , 一 ˜ 2 , … , 一 ˜ 米 ] T型 是描述丰度的系数矩阵 X（X） ˜ ，在 我 1 规范。Frobenius范数 | | • | | F类 描述数据保真度和 λ 是一个正参数，平衡了稀疏性和数据保真度之间的平衡。两者都有 一 ˜ 我 和字典中的原子 D类 秒 第页 e（电子） 被正则化为非负字典，并且中提到的非负字典学习算法[19]用于实现高分辨率光谱字典 D类 秒 第页 e（电子） 所需图像的 Z轴 .

3.2. 求解丰度的空间观测模型的建立

空间观测模型旨在估算高空间分辨率的丰度。虚拟中间变量HSpaLSpe映像 X（X） 在此步骤中使用。假设 z（z） = { z（z） 1 , z（z） 2 , … , z（z） L（左） } 是的二维补丁矩阵 Z轴 ，其中 z（z） j ( 1 ≤ j ≤ L（左） ) 代表每个波段的HS补丁。 z（z） j 可以通过一个过完备的空间字典表示为原子的线性组合，基于稀疏表示表示为[35]:
z（z） j = 参数 最小值 { | | z（z） j − D类 秒 第页 一 α j | | F类 2 + λ 1 | | α j | | 1 } ,
哪里 D类 秒 第页 一 是使用K-means SVD（K-SVD）算法由高空间分辨率PAN图像训练的空间字典[36]. α j 是稀疏系数向量。当一个补丁的稀疏公式可以推广到补丁矩阵时，
z（z） = 参数 最小值 { | | z（z） − D类 秒 第页 一 α z（z） | | F类 2 + λ 1 | | α z（z） | | 1 } ,
哪里 α z（z） = { α 1 , α 2 , … , α L（左） } 是稀疏系数矩阵。 λ 1 是稀疏项的参数。
HSpaLSpe图像 X（X） 具有与相同的空间分辨率 Z轴 ，所以补丁矩阵 x个 = { x个 1 , x个 2 , … , x个 我 } 可以表示为：
x个 = 参数 最小值 { | | x个 − D类 秒 第页 一 α x个 | | F类 2 + λ 2 | | α x个 | | 1 } ,
哪里 α x个 = { α 1 , α 2 , … , α 我 } 是的稀疏系数矩阵 x个 . λ 2 具有与相同的功能 λ 1 将（3）替换为（10）和（11） α z（z） 和 α x个 可以获得：
α x个 ≈ α z（z） 米 ,
输入图像 Y（Y） 是的空间退化版本 X（X） 、补丁矩阵 年 = { 年 1 , 年 2 , … , 年 我 } ，覆盖与面片矩阵相同的场景 x个 ，通过涉及（4）中提出的空间退化关系，在（13）中制定：
年 = 参数 最小值 { | | 年 − T型 D类 秒 第页 一 α x个 | | F类 2 + λ 2 | | α x个 | | 1 } ,
尽管HSpaLSpe图像 X（X） 在这项工作中不可用，相应的稀疏系数矩阵 α x个 可以通过输入图像获取 Y（Y） 使用空间降级方案 Y（Y） 和 X（X） .稀疏系数矩阵 α z（z） 可通过（12）获得。在第3.1节，所需图像 Z轴 也可以在光谱域中用几个光谱特征表示，这些特征由相应的分数丰度加权。的空间表达 Z轴 应该近似于它的光谱表达式[11]:
R（右） − 1 D类 秒 第页 一 α z（z） ≈ A类 D类 秒 第页 e（电子） ,
哪里 R（右） 表示用于从中提取重叠面片矩阵的提取运算符 Z轴 。稀疏系数矩阵用作空间约束，以实现高空间分辨率丰度 A类 所需HSI的 Z轴 ，其中 α x个 和 A类 迭代求解，以获得更准确的结果，同时减少失真。

3.3. 联合空间谱增强算法

该方法恢复了高分辨率HSI Z轴 从低空间分辨率和低光谱分辨率输入MSI Y（Y） 从而联合提高空间和光谱分辨率。LSpaHSpe图像 X（X） ˜ 和HSpaLSpe图像 X（X） 引入虚拟变量，分别描述低空间分辨率高光谱分辨率图像（HSI）和高空间分辨率低光谱分辨率图像。 X（X） ˜ 用于建立光谱观测模型 X（X） 用于描述空间观测模型，其中高分辨率光谱字典 D类 秒 第页 e（电子） 和高空间分辨率丰度 A类 交替估计以实现所需的HSI Z轴 具有较高的空间和光谱分辨率，失真较小。
如中所述第3.1节，高光谱分辨率字典 D类 秒 第页 e（电子） 可以使用解决 X（X） ˜ 通过非负字典学习算法，其中 X（X） ˜ 假设覆盖与输入MSI和所需HSI相同的景观。然而， X（X） ˜ 是一个在实际情况下不可用的虚拟变量。为了获得高光谱分辨率字典，使用覆盖不同景观的先前HSI来训练初始光谱字典 D类 秒 第页 e（电子） , 0 在第一次迭代中。假设这些之前的HSI具有与输入MSI相同的空间分辨率，以及与所需HSI相同的光谱分辨率。因此，可以训练初始频谱字典：
{ D类 秒 第页 e（电子） , 0 , B类 } = 参数 最小值 { 1 2 | | H（H） − B类 D类 秒 第页 e（电子） , 0 | | F类 2 + λ | | B类 | | 1 } 秒 . t吨 .     b条 我 ≥ 0 , d日 k个 ≥ 0
哪里 H（H） 代表之前的HSI， B类 = [ b条 1 , b条 2 , … , b条 米 ] T型 是稀少的丰度，以及 λ 是一个正参数。
在第3.2节，HSpaLSpe图像 X（X） 用于建立空间观测模型以估计高空间分辨率丰度 A类 ，其中空间稀疏信息 Z轴 用作约束，以获得更准确的结果，同时减少失真。稀疏系数矩阵 α z（z） 属于 Z轴 通过组合（12）和（13）获得。
{ α x个 , α z（z） } = 参数 最小值 { | | 年 − T型 D类 秒 第页 一 α x个 | | F类 2 + λ 2 | | α x个 | | 1 + β | | α x个 − α z（z） 米 | | F类 2 } ,
哪里年是输入MSI中的补丁矩阵 Y（Y） , D类 秒 第页 一 空间字典是由高空间分辨率PAN图像训练的吗( Z轴 应具有与PAN图像相同的空间分辨率）。 α x个 和 α z（z） 是的稀疏系数矩阵 X（X） 和 Z轴 分别是。参数 λ 2 平衡稀疏性和表示误差以及 β 控制 α x个 和 α z（z） .补丁矩阵 年 直接从中提取 Y（Y） ，并且假设它是准确的。因此，它有助于获得所需图像更准确的空间稀疏信息。
的光谱表示和空间表示 Z轴 应该是近似值。求解的稀疏系数矩阵 α z（z） 利用空间约束获得高分辨率丰度 A类 同时提高了 α z（z） 和 A类 在我们之前的工作中已经提出了这个想法[11]. 目标函数 A类 使用（14）编写：
{ α z（z） , A类 } = 参数 最小值 { | | A类 D类 秒 第页 e（电子） − R（右） − 1 D类 秒 第页 一 α z（z） | | F类 2 + η | | A类 | | 1 + ε | | α z（z） | | 1 } ,
哪里 R（右） − 1 表示补丁矩阵提取因子。 η 是丰度稀疏的重量 ε 是空间稀疏性的参数。
在本文中，谱字典 D类 秒 第页 e（电子） 和丰富性 A类 交替求解。使用（14）-（15） D类 秒 第页 e（电子） 定义为（第一次迭代除外）：
{ D类 秒 第页 e（电子） , A类 } = 参数 最小值 { | | A类 D类 秒 第页 e（电子） − R（右） − 1 D类 秒 第页 一 α z（z） | | F类 2 + μ | | A类 | | 1 } ,
哪里 μ 是丰度稀疏的重量。

3.4. 解算器

有四个目标函数需要求解，包括初始谱字典的求解 D类 秒 第页 e（电子） , 0 在（15）中，空间稀疏信息的求解 α z（z） in（16），高空间分辨率丰度的解 A类 in（17）与高分辨率谱字典的求解 D类 秒 第页 e（电子） 在（18）中。这些多变量目标函数是凸的，唯一的解可以通过变量分裂和交替优化来求解[37].

3.4.1. 初始谱字典的求解 D类 秒 第页 e（电子） , 0

初始谱字典的目标函数 D类 秒 第页 e（电子） , 0 可以使用中提出的非负字典学习算法求解in（15）[19]，其中每个字典原子都通过一个封闭的解决方案进行更新。因此，（15）中的优化问题分为两个子问题：
(1)
求解 B类 关于固定 D类 秒 第页 e（电子） , 0
B类 = 参数 最小值 { 1 2 | | H（H） − B类 D类 秒 第页 e（电子） , 0 | | F类 2 + λ | | B类 | | 1 } 秒 . t吨 .     b条 我 ≥ 0 ,
方程（19）由ADMM求解[38]对于快速收敛速度[39].
(2)
更新 D类 秒 第页 e（电子） , 0 关于固定的 B类
D类 秒 第页 e（电子） , 0 = 参数 最小值 1 2 | | H（H） − B类 D类 秒 第页 e（电子） , 0 | | F类 2 秒 . t吨 .     d日 k个 ≥ 0 ,
方程（20）通过块坐标下降求解，块坐标下降在每次迭代中使用非负约束更新一个原子[40].

3.4.2. 空间稀疏信息的解决方案 α z（z）

空间稀疏信息的目标函数 α z（z） 在（16）中可以分为以下两个子问题：
(1)
求解空间稀疏系数矩阵 α x个
α x个 = 参数 最小值 { | | 年 − T型 D类 秒 第页 一 α x个 | | F类 2 + λ 2 | | α x个 | | 1 } ,
这是一个稀疏编码问题，可以通过交替学习来解决 D类 秒 第页 一 使用K-SVD从高空间分辨率PAN图像[36]和估算 α x个 使用OMP[41].
(2)
求解空间稀疏系数矩阵 α z（z） 关于固定 α x个
α z（z） = 参数 最小值 | | α x个 − α z（z） 米 | | F类 2 ,
（22）中的优化函数可以通过最小二乘法直接求解[42].

3.4.3. 高空间分辨率丰度的求解 A类

高空间分辨率丰度的目标函数 A类 在（17）中，分为以下两个子问题。
(1)
求解 A类 关于固定 α z（z）
A类 = 参数 最小值 { | | A类 D类 秒 第页 e（电子） − R（右） − 1 D类 秒 第页 一 α z（z） | | F类 2 + η | | A类 | | 1 } ,
(2)
求解 α z（z） 关于固定 A类
α z（z） = 参数 最小值 { | | A类 D类 秒 第页 e（电子） − R（右） − 1 D类 秒 第页 一 α z（z） | | F类 2 + ε | | α z（z） | | 1 } ,
这两个问题都是稀疏编码优化问题。方程（23）通过ADMM求解，方程（24）通过OMP求解。

3.4.4. 高分辨率光谱字典的解决方案 D类 秒 第页 e（电子）

高分辨率光谱字典的目标函数 D类 秒 第页 e（电子） 在（18）中分为以下两个子问题。
(1)
更新 D类 秒 第页 e（电子） 关于固定 A类
D类 秒 第页 e（电子） = 参数 最小值 | | A类 D类 秒 第页 e（电子） − R（右） − 1 D类 秒 第页 一 α z（z） | | F类 2 ,
方程（25）可以通过块坐标下降求解[40]，类似于（20）的解。
(2)
求解 A类 关于固定 D类 秒 第页 e（电子）
A类 = 参数 最小值 { | | A类 D类 秒 第页 e（电子） − R（右） − 1 D类 秒 第页 一 α z（z） | | F类 2 + μ | | A类 | | 1 } ,
与（19）的解类似，这个问题的解是使用ADMM得到的[38].
提出的联合空间谱分辨率增强算法通过交替获取谱字典来实现 D类 秒 第页 e（电子） 和丰富性 A类 ，分别在（19）和（20）中表述。当平均平方误差（MSE）介于 Z轴 ( 我 + 1 ) 和 Z轴 ( 我 ) 低于阈值 δ = 0.0001 .
算法1：联合空间光谱分辨率增强算法(J-SpeSpaRE公司)
输入：左后MSI Y（Y） ，之前的HSI H（H） ，空间字典 D类 秒 第页 一 由HR PAN图像预先训练。
初始化：迭代时间i=1。
步骤1：训练初始频谱字典 D类 秒 第页 e（电子） , 0 式（15）。
{ D类 秒 第页 e（电子） , 0 , B类 } = 参数 最小值 { 1 2 | | H（H） − B类 D类 秒 第页 e（电子） , 0 | | F类 2 + λ | | B类 | | 1 } 秒 . t吨 .     b条 我 ≥ 0 , d日 k个 ≥ 0
第二步：求解稀疏系数矩阵 α z（z） 式（16）。
{ α x个 , α z（z） } = 参数 最小值 { | | 年 − T型 D类 秒 第页 一 α x个 | | F类 2 + λ 2 | | α x个 | | 1 + β | | α x个 − α z（z） 米 | | F类 2 }
开始
第三步：解决高空间分辨率丰度问题 A类 ( 我 ) 式（17）。
{ α z（z） , A类 ( 我 ) } = 参数 最小值 { | | A类 ( 我 ) D类 秒 第页 e（电子） , 我 − R（右） − 1 D类 秒 第页 一 α z（z） | | F类 2 + η | | A类 ( 我 ) | | 1 + ε | | α z（z） | | 1 }
第4步：求解高分辨率光谱字典 D类 秒 第页 e（电子） , 我 式（18）。
{ D类 秒 第页 e（电子） , 我 , A类 ( 我 ) } = 参数 最小值 { | | A类 ( 我 ) D类 秒 第页 e（电子） , 我 − R（右） − 1 D类 秒 第页 一 α z（z） | | F类 2 + μ | | A类 ( 我 ) | | 1 }
第五步：恢复HR HSI Z轴 ( 我 ) = A类 ) 我 ) D类 秒 第页 e（电子） , 我 .
第6步： i=i+1。
终点
返回 Z轴 = Z轴 ( 我 + 1 ) 什么时候 米 S公司 E类 ( Z轴 ( 我 + 1 ) − Z轴 ( 我 ) ) < 0.0001
输出：小时-小时 Z轴 .

4.实验结果

在模拟和实际数据集上进行了实验，以验证所提出的联合空间谱分辨率增强算法（表示为J-SpeSpaRE）的有效性。不存在同时提高空间和光谱分辨率的算法。将该方法分别与现有的空间分辨率增强方法和光谱分辨率增强方法进行了比较。我们提出的方法的输入是一个低空间和光谱分辨率的MSI，所有比较方法的输入应该相同，以便进行公平比较。利用几种PAN锐化方法来比较空间分辨率增强的性能。我们提出的方法J-SpeSpaRE的结果是具有高空间和光谱分辨率的HSI，在空间增强的比较中应该在光谱上降级。光谱分辨率增强方法用于比较光谱性能。与光谱增强方法相比，我们提出的方法的结果应该在空间上退化。本文中，用于比较的空间分辨率增强算法（PAN增强算法）包括GSA方法[43]，Industion方法[44]、和SparseFI方法[35]. 阿拉德方法[25]和SREM方法[24]用于比较光谱分辨率增强的性能。
该方法的输入是LR MSI、HR PAN图像和LR先验HSI，输出的HR HSI具有与输入PAN图像相同的空间分辨率和与HSI先验图像相同的光谱分辨率。由于重建的HSI覆盖与输入MSI相同的场景，因此没有像素偏移和不匹配的像素。PAN图像提供高空间分辨率信息。事实上，PAN图像不需要覆盖同一场景，也不需要在输入MSI中进行良好注册。PAN图像中包含大量的结构基元（如物体边缘、线段和其他基本特征），这些基元在相似类型的场景中具有质量相似性[11]. 利用HSI先验图像训练初始谱字典。因此，该方法与低分辨率图像和高分辨率图像之间的图像配准无关。
用于评估比较方法性能的评估包括峰值信噪比（PSNR）、结构相似性（SSIM）、特征相似性（FSIM），相关系数（CC）、根均方误差（RMSE）、谱角映射器（SAM）和像素偏差（PD）。PSNR，信号的最大功率和残差功率之间的比率，评估每个频带的空间质量[16]. 较高的PSNR值表示重建效果更好。SSIM通过使用不同的窗口测量每个频带中空间结构的相似性。它是通过亮度、对比度和结构的比较来组合的[45,46]. SSIM的值介于0和1之间。FSIM用完整的参考图像显示每个波段的空间相似性。它通过联合利用相位一致性和梯度幅度来工作[46]. FSIM的值也在0和1之间变化。CC显示了恢复的HR HSI和地面实况之间的光谱相似性[35]. CC值的范围为-1到1。RMSE用于通过测量恢复的HR HSI和地面真实值之间的均方根误差来评估重建精度[47]. RMSE值越小，重建性能越好。SAM通过计算地面实况和恢复光谱之间夹角的绝对值来评估光谱畸变[16]. 它的范围从0到1，值越低接近0，表示光谱失真越小。对于PD，首先将恢复的图像空间降级为原始图像的分辨率，然后在每个像素的基础上从原始图像中减去。然后，使用像素数计算每个像素的平均偏差[48]. 如果PD为0，则最小值显示差异较小。

4.1. 模拟数据集实验

将两个数据集用于模拟实验，分别与空间分辨率增强方法和光谱分辨率增强方法进行性能比较。两个模拟数据集印度松树和铜矿由AVIRIS传感器获取。空间分辨率为20 m，共有224个光谱带，覆盖范围从400 nm到2500 nm。印度松树数据集是在美国印第安纳州西北部采集的。铜矿数据集是在内华达州的铜矿区获得的。在两者中提取256×256的子场景印度松树和铜矿数据集。剔除了具有严重噪声和水汽吸收的谱带，保留了162个谱带。
上述数据被视为具有高光谱和空间分辨率的地面真实HR HSI。输入LR MSI分别由空间下采样和频谱下采样生成。空间下采样采用高斯滤波器和空间下采样因子[49]. 对于印度松树数据集和铜矿数据集，使用给定的Landsat TM和AVIRIS之间的光谱响应函数实现光谱下采样。模拟的MSI由对应于Landsat TM1-5和7波段的均匀光谱响应函数生成，分别覆盖450-520、520-600、630-690、760-900、1550-1750和2080-2350 nm的波长[17]. 空间字典由可见光波段上地面真实波段模拟的HR PAN图像训练。PAN图像和地面实况HSI的空间分辨率相同。频谱字典是从LR先验HSI中学习的，LR先验HSI是通过对具有与地面实况HSI相同频谱配置的不同AVIRIS HSI进行空间下采样而生成的。在实验中印度松树，之前的HSI是莫菲特场HSI和铜矿HSI。While期间印度松树和莫菲特场在实验中被视为之前的HSI铜矿数据集。
我们提出的方法的输入是一个低空间和光谱分辨率的MSI，它应该与所有比较方法相同，以便进行公平的比较。利用几种PAN锐化方法来比较空间分辨率增强的性能。我们提出的方法J-SpeSpaRE的结果是具有高空间和光谱分辨率的HSI，在空间增强的比较中应降低光谱分辨率。
空间评估比较印度松树数据集和铜矿数据集分别显示在表1和表2。最佳评估以粗体字母列出。使用泛锐化方法GSA、Industion和SparseFI比较空间分辨率增强的性能。发件人表1到表2MPSNR、MFSIM和MSSIM表示所有光谱带的平均值，而SAM表示所有像素的平均结果。可以从以下位置找到表1和表2我们提出的J-SpeSpaRE方法比其他比较方法获得了更好的空间性能。GSA是一种成分替代方法，Industion是一种多分辨率分析方法，这两种方法都是传统的平移增强技术。由于PAN图像训练的高空间分辨率字典，SparseFI的空间增强效果优于GSA和Industion。然而，SparseFI中忽略了光谱相关性和约束，导致了比我们提出的方法更多的光谱失真。提出的J-SpeSpaRE方法可以同时提高空间分辨率和光谱分辨率。对PAN图像进行训练，通过稀疏表示生成具有高空间分辨率纹理和结构的空间字典，这有助于获得高空间分辨率丰度。另一方面，通过使用在前一次迭代中训练的谱字典，在每次迭代中更新丰度。光谱字典和丰度交替求解，以确保更准确的空间信息和更少的光谱失真。除评估评估外，每种方法在印度松树数据集和铜矿数据集也表示为图4和图5，其中重建结果显示为红色、绿色和蓝色条带。我们发现所有比较的方法都可以恢复高空间分辨率的MSI。然而，Industion方法和SparseFI方法存在空间失真，而GSA方法会导致严重的光谱失真和模糊图4e和图5e、 与其他方法相比，我们提出的方法具有更好的视觉性能和更少的失真。
光谱超分辨率方法用于评估光谱分辨率增强的有效性。为了公平比较，我们提出的方法J-SpeSpaRE的结果应该在空间上退化。两者的光谱评估印度松树数据集和辉铜矿数据集列在表3和表4分别是。最好的评估结果用粗体字母书写。比较的光谱分辨率增强方法包括Arad和SREM。在表3和表4与比较方法相比，我们提出的方法获得了更好或更具竞争力的结果。图6和图7显示的视觉比较印度松树数据集和铜矿数据集，其中显示了550nm、750nm和1500nm波段的光谱增强结果。Arad的方法是基于稀疏表示框架设计的，其中使用高光谱先验知识训练高分辨率光谱字典。Arad的方法忽略了空间约束，因此存在严重的空间和光谱失真。在SREM方法中估计了输入MSI和所需HSI之间的变换矩阵，其中由于逐像素处理而不使用空间相关性。与Arad方法和SREM方法相比，本文提出的J-SpeSpaRE方法具有更好的比较结果。设计了空间观测模型和光谱观测模型，以替代方法获取高光谱分辨率字典和高空间分辨率丰度。这两个步骤相互约束，从而减少光谱畸变，并保持空间特征。

4.2. 联合空间和光谱增强框架的有效性

本文在一个统一的框架中实现了光谱和空间增强，其中迭代求解光谱字典和丰度，以从低空间和低光谱分辨率的输入MSI获得高分辨率HSI。
为了验证所提出的联合空间和频谱增强框架的有效性，PSNR和RMSE的空间评估值，以及SAM在每次迭代中的频谱评估值在图8，其中评估印度松树数据集和铜矿数据集分别由蓝色实心曲线和黑色虚线表示。发件人图8，重建性能在第一次和第二次迭代时显著提高，然后在迭代时非常缓慢地提高。本文中，4和5是印度松树数据集和铜矿数据集。因此，每次迭代中不断提高的性能表明了所提出的联合空间和频谱增强框架的优越性。

4.3. 真实数据集实验

利用EO-1卫星捕获的ALI/Hyperion真实数据集对该方法进行了性能评估。EO-1卫星同时搭载高光谱Hyperion传感器和多光谱ALI传感器，其中Hyperion传感器捕获242个高光谱波段，ALI传感器捕获一个PAN波段和九个多光谱波段[50]. Hyperion图像的光谱分辨率为10 nm。ALI图像和Hyperion图像的空间分辨率均为30m。PAN图像的空间分辨力为10m。可以直接获取PAN图像（10m）和MSI（30m。选定的Hyperion/ALI图像于2002年6月在法国巴黎市拍摄。图9a显示PAN图像，ALI和Hyperion图像的RGB组成如所示图9b、 c.用于训练初始光谱字典的先前高光谱数据是在德国柏林和中国西安采集的Hyperion高光谱数据。首先进行大气校正和配准。ENVI 5.3中的快速线性大气分析用于大气校正[24]. 利用多项式算法，通过选择50对以上的连接点，将Hyperion图像注册到ALI图像。
本节将结合最先进的空间分辨率增强方法和光谱分辨率增强方法，与我们提出的J-SpeSpaRE方法进行比较。图10显示了建议方法和所有组合方法的RGB组成。输入是空间分辨率为30m的ALI MSI，依次执行空间分辨率增强方法（Industion或SparseFI）和光谱分辨率增强方法，它用于与我们提出的J-SpeSpaRE方法的重建结果进行比较。空间分辨率增强方法和光谱分辨率增强方法有四种组合，分别表示为Industion+Arad、Industion+SREM、SparseFI+Arad和SparseFI+SREM。真实情况下无法获得高分辨率的高光谱地面实况，因此只能使用ALI和Hyperion图像的重叠区域来评估所有比较方法的重建性能。以下是550 nm、900 nm和1600 nm波段的子场景比较图11.
从视觉比较来看，我们提出的联合空间和光谱增强方法比其他组合方法取得了更好的效果。我们的方法存在更清晰的边界和更少的颜色失真，这证明了在空间域和光谱域同时改进的有效性。在比较的组合方法中，伪影和误差通过顺序方法从空间增强转换为光谱增强。由于Industion方法的缺点，Industion+Arad方法和Industion+SREM方法存在空间模糊和失真问题。SREM方法利用了潜在的光谱材料，因此在SparseFI+SREM组合方法中，光谱失真较小。我们提出的方法获得了比其他比较方法更好的总体结果，利用了光谱观测模型和空间观测模型，并将它们统一到一个联合框架中，迭代求解光谱字典和丰度。光谱和光谱分辨率同时得到提高，误差和失真更小。

4.4. 真实数据集上的谱分解

将谱分解应用于实际数据集的恢复HR-HSI，以评估该方法的性能。端成员表示每个景观的光谱反射率，丰度证明每个端成员的比例。VCA公司[51]用作端元提取算法和SUnSAL[28]用于丰度估计。中的子场景图11分别用在光谱解混中提出的方法与现有的方法进行比较。假彩色合成如所示图12其中选择了五种景观（森林、草坪、住宅、沙地和农田）来评估光谱特征的准确性。最后给出了原始LR Hyperion Paris HSI的光谱分解结果，以验证所提出的联合空间和光谱分辨率增强方法的有效性。
图13显示了所有比较方法（Industion+Arad、Industion+SREM、SparseFI+Arad和SparseFI+SREM）的五个选定端元的反射率以及所提出的方法。每个端元的丰度图也列在图14.英寸图13与其他组合方法相比，我们提出的方法具有更好的端元提取性能。我们提出的方法的光谱反射率与原始HSI的差异最小。与逐步应用空间增强和光谱增强相比，同时提高空间和光谱分辨率可以提取更准确的光谱端点。图14显示了我们方法所获得的空间信息的优越性，其中高空间分辨率丰度图比其他组合方法具有更清晰的结构、锐利的边缘和空间细节。通过联合增强空间和光谱分辨率，可以获得可靠的光谱特征和高分辨率空间特征，以验证该方法的准确性和有效性。

5.结论

本文提出了一种基于谱分解和空间稀疏性的联合空间谱分辨率增强算法，以从输入LR MSI实现HR HSI。光谱和空间观测模型被公式化以描述输入MSI和期望HSI之间的光谱和空间关系方案。引入虚拟中间变量LSpaHSpe和HSpaLSpe，对光谱和空间观测模型进行更全面的描述，分别用于求解高光谱分辨率字典和高空间分辨率丰度。谱字典可以通过调整先验LSpaHSpe HSI来训练，丰度可以通过使用稀疏系数作为空间约束来获得。将空间观测模型和光谱观测模型统一为一个联合框架，交替求解光谱字典和丰度。这两个步骤可以相互约束，最终在不求解虚拟中间变量的情况下实现联合空间谱增强。提出的联合空间-光谱增强框架克服了空间改进和光谱增强步骤顺序实现的缺点，以获得更准确的重建结果和低失真。

作者贡献

概念化、方法论和写作初稿准备，C.Y。；写作-审查和编辑，J.C.-W.C.，Y.-q.Z.和S.G.K.所有作者均已阅读并同意手稿的出版版本

基金

本研究部分得到了国家自然科学基金61771391号和61371152号资助，部分得到了深圳市科学技术与创新委员会JCYJ20170815162956949号和韩国国家研究基金JCYJ201-80306146740号资助（2016R1D1A1B01008522），部分由中国留学基金委员会为联合博士生提供201706290150资助。

利益冲突

作者声明没有利益冲突。

工具书类

  1. 杨，J。；赵勇强。；Chan，J.C.W.学习并传输用于高光谱分类的深度联合光谱空间特征。IEEE传输。地质科学。远程传感器。 2017,55, 4729–4742. [谷歌学者] [交叉参考]
  2. Zhang，Y。；杜，B。；张，L。；Liu，T.联合稀疏表示和多任务学习用于高光谱目标检测。IEEE传输。地质科学。远程传感器。 2017,55, 894–906. [谷歌学者] [交叉参考]
  3. Lorente，D。；北卡罗来纳州阿莱克索斯。；Gómez-Sanchis，J。；库贝罗，S。；加西亚·纳瓦雷特，O.L。；Blasco，J.高光谱成像在水果和蔬菜质量评估中的最新进展和应用。食品生物工艺技术。 2012,5, 1121–1142. [谷歌学者] [交叉参考]
  4. 横屋，N。；陈，J.C.W。；Segl，K.使用模拟EnMAP和Sentinel-2图像进行矿物制图的分辨率增强高光谱数据潜力。远程传感器。 2016,8, 172. [谷歌学者] [交叉参考] [绿色版本]
  5. Yi，C。；赵勇强。；Chan，J.C.W.基于空间和光谱相关融合的高光谱图像超分辨率。IEEE传输。地质科学。远程传感器。 2018,56, 4165–4177. [谷歌学者] [交叉参考]
  6. 杨，J。；赵勇强。；陈，J.C.W。；Xiao，L.用于高光谱图像超分辨率的多尺度小波3D-CNN。远程传感器。 2019,11, 1557. [谷歌学者] [交叉参考] [绿色版本]
  7. Loncan，L。；De Almeida，L.B.公司。；Bioucas-Dias，J.M。；布利奥特，X。；查努索，J。；北多比根。；Fabre，S。；Liao，W。；利奇亚迪，G.A。；西蒙斯，M。；等。高光谱泛锐化：综述。IEEE地质科学。远程传感器磁。 2015,三, 27–46. [谷歌学者] [交叉参考] [绿色版本]
  8. Dalla Mura，M。；Vivone，G。；Restaino，R。；Addesso，P。；Chanussot，J.高光谱泛锐化的全球和本地Gram-Schmidt方法。2015年7月26日至31日，意大利米兰，IEEE国际地球科学和遥感研讨会论文集；第37-40页。[谷歌学者]
  9. 利奇亚迪，G.A。；M.M.Khan。；查努索，J。；Montanvert，A。；康达特，L。；Jutten，C.使用多分辨率分析和非线性PCA波段缩减融合高光谱和全色图像。EURASIP J.高级信号处理。 2012,1, 207. [谷歌学者] [交叉参考]
  10. Yang，S。；张凯。；Wang，M.学习带空间谱偏移的泛锐化低阶分解。IEEE传输。神经网络。学习。系统。 2017,20, 3647–3657. [谷歌学者]
  11. Yi，C。；赵勇强。；杨，J。；陈，J.C.W。；Kong，S.G.联合高光谱超分辨率和分解与交互式反馈。IEEE传输。地质科学。远程传感器。 2017,55, 3823–3834. [谷歌学者] [交叉参考]
  12. 魏毅。；袁，Q。；沈，H。；Zhang，L.通过学习深度残差网络提高多光谱图像泛细化的准确性。IEEE地质科学。遥感快报。 2017,14, 1795–1799. [谷歌学者] [交叉参考] [绿色版本]
  13. 袁，Q。；魏毅。；X孟。；沈，H。；Zhang，L.一种用于遥感图像泛锐化的多尺度多深度卷积神经网络。IEEE J.选择。顶部。申请。地球目标遥感。 2018,11, 978–989. [谷歌学者] [交叉参考] [绿色版本]
  14. Chan，R.H。；Chan，T.F。；沈，L。；Shen，Z.用于高分辨率图像重建的小波算法。SIAM科学杂志。计算。 2003,24, 1408–1432. [谷歌学者] [交叉参考]
  15. M.T.艾斯曼。；Hardie，R.C.使用具有任意响应函数的高分辨率多光谱图像增强高光谱分辨率。IEEE传输。地质科学。远程传感器。 2005,43, 455–465. [谷歌学者] [交叉参考]
  16. 横屋，N。；Grohnfeldt，C。；Chanussot，J.高光谱和多光谱数据融合：近期文献的比较综述。IEEE地质科学。远程传感器磁。 2017,5, 29–56. [谷歌学者] [交叉参考]
  17. 横屋，N。；Yairi，T。；Iwasaki，A.用于高光谱和多光谱数据融合的耦合非负矩阵分解分解。IEEE传输。地质科学。远程传感器。 2012,50, 528–537. [谷歌学者] [交叉参考]
  18. 北阿赫塔。；沙法特，F。；Mian，A.高光谱图像超分辨率的贝叶斯稀疏表示。2015年IEEE计算机视觉和模式识别会议（CVPR）论文集，美国马萨诸塞州波士顿，2015年6月7-12日；第3631-3640页。[谷歌学者]
  19. Dong，W。；Fu，F。；Shi，G。；曹，X。；吴杰。；李·G。；Li，X.基于非负结构稀疏表示的高光谱图像超分辨率。IEEE传输。图像处理。 2016,25, 2337–2352. [谷歌学者] [交叉参考]
  20. Yi，C。；赵勇强。；Chan，J.C.-W.基于光谱改进策略和空间保留策略的多光谱图像光谱超分辨率。IEEE传输。地质科学。远程传感器。 2019,57, 9010–9024. [谷歌学者] [交叉参考]
  21. Chi，C。；Yoo，H.等人。；Ben-Ezra，M.优化宽带照明的多光谱成像。国际期刊计算。视觉。 2010,86, 140. [谷歌学者] [交叉参考]
  22. Gat，N.使用可调谐滤波器的成像光谱学：综述。程序。SPIE公司 2000,4056, 50–64. [谷歌学者]
  23. 哦，S.W。；布朗，M.S。；Pollefeys，M。；Kim，S.J.使用日常数码相机进行高光谱成像。2016年6月27日至30日在美国内华达州拉斯维加斯举行的2016 IEEE计算机视觉和模式识别会议（CVPR）会议记录；第2461-2469页。[谷歌学者]
  24. 太阳，X。；张，L。；Yang，H。；Wu，T。；岑，Y。；Guo，Y.提高遥感多光谱图像的光谱分辨率。IEEE J.选择。顶部。申请。地球目标遥感。 2015,8, 2198–2211. [谷歌学者] [交叉参考]
  25. Arad，B。；Ben-Shahar，O.从自然RGB图像中稀疏恢复高光谱信号。在2016年计算机愿景-ECCV; 施普林格：瑞士查姆，2016年；第19-34页。[谷歌学者]
  26. 吴杰。；伊施巴赫，J。；Timofte，R.为从RGB图像进行浅层学习光谱重建辩护。2017年10月22日至29日，在意大利威尼斯举行的2017年IEEE国际计算机视觉研讨会（ICCVW）会议记录中；第471-479页。[谷歌学者]
  27. 加利亚尼，S。；拉纳拉斯，C。；Marmanis，D。；巴尔扎维亚斯，E。；辛德勒，K.学习了光谱超分辨。arXiv公司 2017，arXiv:1703.09470。在线可用：https://arxiv.org/abs/1703.09470（2017年3月28日访问）。
  28. Bioucas-Dias，J.M。；A广场。；北多比根。；Parent，M。；杜琪。；Gader，P。；Chanussot，J.高光谱分解概述：基于几何、统计和稀疏回归的方法。IEEE J.选择。顶部。申请。地球目标遥感。 2012,5, 354–379. [谷歌学者] [交叉参考] [绿色版本]
  29. 查克拉巴蒂，A。；Zickler，T.真实高光谱图像的统计。2011年IEEE视觉模式识别（CVPR）会议记录，2011年6月20日至25日，美国罗得岛州普罗维登斯；第193–200页。[谷歌学者]
  30. 朱，X.X。；Bamler，R.稀疏图像融合算法及其在泛锐化中的应用。IEEE传输。地质科学。远程传感器。 2013,51, 2827–2836. [谷歌学者] [交叉参考]
  31. 薛，J。；Zhao，Y。；Liao，W。；Chan，J.C.W.非局部张量稀疏表示和低阶正则化用于高光谱图像压缩传感重建。远程传感器。 2019,11, 193. [谷歌学者] [交叉参考] [绿色版本]
  32. 北卡罗来纳州凯沙瓦。；芥末，J.F.光谱分解。IEEE信号处理。美格。 2002,19, 44–57. [谷歌学者] [交叉参考]
  33. 北阿赫塔。；沙法特，F。；Mian，A.用于高光谱图像超分辨率的稀疏空间光谱表示。在计算机视觉; 施普林格：瑞士查姆，2014年；第63-78页。[谷歌学者]
  34. 赵永清。；Yang，J.基于稀疏表示和低阶约束的高光谱图像去噪。IEEE传输。地质科学。远程传感器。 2014,53, 296–308. [谷歌学者] [交叉参考]
  35. 朱，X.X。；Grohnfeldt，C。；Bamler，R.利用关节稀疏性进行泛锐化：J-SparseFI算法。IEEE传输。地质科学。远程传感器。 2016,54, 2664–2681. [谷歌学者] [交叉参考] [绿色版本]
  36. 亚哈龙，M。；Elad，M。；Bruckstein，A.K-SVD：为稀疏表示设计过完备字典的算法。IEEE传输。信号处理。 2006,54, 4311–4322. [谷歌学者] [交叉参考]
  37. M.V.阿方索。；Bioucas-Dias，J.M。；Figueiredo，M.A.T.成像逆问题约束优化公式的增广拉格朗日方法。IEEE传输。图像处理。 2011,20, 681–695. [谷歌学者] [交叉参考] [公共医学] [绿色版本]
  38. 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.通过交替方向乘数法进行分布式优化和统计学习。已找到。趋势马赫数。学习。 2011,三, 1–122. [谷歌学者] [交叉参考]
  39. Daubechies，I。；Defrise，M。；De Mol，C.具有稀疏约束的线性反问题的迭代阈值算法。Commun公司。纯应用程序。数学。 2004,57, 1413–1457. [谷歌学者] [交叉参考] [绿色版本]
  40. 弗里德曼，J。；哈斯蒂，T。；Höfling，H。；Tibshirani，R.路径坐标优化。附录申请。统计师。 2007,1, 302–332. [谷歌学者] [交叉参考] [绿色版本]
  41. Donoho，D.L.对于大多数大型欠定方程组，最小1-范数近解近似于最稀疏的近解。Commun公司。纯应用程序。数学。 2006,59, 907–934. [谷歌学者] [交叉参考]
  42. Golub，G.H。；Van Loan，成本加运费。矩阵计算; 约翰·霍普金斯大学出版社：美国马里兰州巴尔的摩，1983年。[谷歌学者]
  43. Aiazzi，B。；巴伦蒂，S。；Selva，M.通过MS的多元回归改进成分替代面板$+$平移数据。IEEE传输。地质科学。远程传感器。 2007,45, 3230–3239. [谷歌学者] [交叉参考]
  44. M.M.Khan。；查努索，J。；康达特，L。；Montanvert，A.Industion：使用感应缩放技术融合多光谱和全色图像。IEEE地质科学。遥感快报。 2008,5, 98–102. [谷歌学者] [交叉参考] [绿色版本]
  45. 薛，J。；Zhao，Y。；Liao，W。；Chan，J.C.W.用于高光谱图像去噪的非局部低秩正则张量分解。IEEE传输。地理位置。远程传感器。 2019,57, 5174–5189. [谷歌学者] [交叉参考]
  46. 王，Z。；博维克，A.C。；谢赫，H.R。；Simoncelli，E.P.图像质量评估：从错误可见性到结构相似性。IEEE传输。图像处理。 2004,13, 600–612. [谷歌学者] [交叉参考] [绿色版本]
  47. 拉纳拉斯，C。；Baltsavias，大肠杆菌。；Schindler，K.K.具有光谱解混约束的超光谱超分辨率。远程传感器。 2017,9, 1196. [谷歌学者] [交叉参考] [绿色版本]
  48. Wald，L.数据融合。在定义和建筑——不同空间分辨率图像的融合; 巴黎矿业大学：巴黎，法国，2002年。[谷歌学者]
  49. 张，L。；魏伟（Wei，W.）。；Bai，C。；高，Y。；Zhang，Y.利用聚类流形结构实现高光谱图像超分辨率。IEEE传输。图像处理。 2018,27, 5969–5982. [谷歌学者] [交叉参考]
  50. 福克曼，文学硕士。；皮尔曼，J。；Liao，L.B。；Jarecke，P.J.EO-1/hyperion高光谱成像仪的设计、开发、表征和校准。程序。SPIE公司 2001,4151, 40–51. [谷歌学者]
  51. 马，W.K。；Bioucas-Dias，J.M。；Chan，T.H。；Gillis，N。；Gader，P。；新泽西州广场。；Chi，C.Y.高光谱分解的信号处理观点。IEEE信号处理。美格。 2014,31, 67–81. [谷歌学者] [交叉参考] [绿色版本]
远程调校12 00993 g001 550
图1。建议方法的框架。
图1。建议方法的框架。
远程调校12 00993 g001
远程定位12 00993 g002 550
图2。一种空间观测模型。
图2。空间观测模型。
远程定位12 00993 g002
远程定位12 00993 g003 550
图3。光谱观测模型。
图3。光谱观测模型。
远程调校12 00993 g003
远程定位12 00993 g004 550
图4。印度松树数据集的空间分辨率增强比较，从上到下是与下采样因子2和4的比较。(一)参考HRI，空间分辨率增强结果(b条)GSA方法(c（c）)工业方法(d日)SparseFI方法和(e（电子）)建议的J-SpeSpaRE方法（光谱退化后）。
图4。印度松树数据集的空间分辨率增强比较，从上到下是与下采样因子2和4的比较。(一)参考HRI，空间分辨率增强结果(b条)GSA方法(c（c）)工业方法(d日)SparseFI方法和(e（电子）)建议的J-SpeSpaRE方法（光谱退化后）。
远程调校12 00993 g004
远程定位12 00993 g005 550
图5。Cuprite数据集上的空间分辨率增强比较，从上到下是与下采样因子2和4的比较。(一)参考HRI，空间分辨率增强结果(b条)GSA方法(c（c）)工业方法(d日)SparseFI方法和(e（电子）)提出的J-SpeSpaRE方法（光谱退化后）。
图5。Cuprite数据集上的空间分辨率增强比较，从上到下是与下采样因子2和4的比较。(一)参考HRI，的空间分辨率增强结果(b条)GSA方法(c（c）)工业方法(d日)SparseFI方法和(e（电子）)建议的J-SpeSpaRE方法（光谱退化后）。
远程定位12 00993 g005
远程定位12 00993 g006 550
图6。光谱分辨率增强对比印度松树数据集从上到下是550nm、750nm和1500nm波段的比较。(一)参考HRI，光谱分辨率增强结果(b条)Arad方法(c（c）)光谱分辨率增强方法（SREM）(d日)建议的J-SpeSpaRE方法（空间退化后）。
图6。光谱分辨率增强对比印度松树数据集，从上到下是550nm、750nm和1500nm波段的比较。(一)参考HRI，光谱分辨率增强结果(b条)Arad方法(c（c）)光谱分辨率增强方法（SREM）(d日)建议的J-SpeSpaRE方法（空间退化后）。
远程定位12 00993 g006
远程定位12 00993 g007 550
图7。上的光谱分辨率增强比较铜矿数据集从上到下表示波段550nm、750nm和1500nm。(一)参考HRI，光谱分辨率增强结果(b条)Arad方法(c（c）)SREM方法(d日)建议的J-SpeSpaRE方法（空间退化后）。
图7。光谱分辨率增强对比铜矿数据集从上到下表示波段550nm、750nm和1500nm。(一)参考HRI，光谱分辨率增强结果(b条)Arad方法(c（c）)SREM方法(d日)建议的J-SpeSpaRE方法（空间退化后）。
远程定位12 00993 g007
远程调校12 00993 g008a 550远程调校12 00993 g008b 550
图8。两者上每次迭代的评估值印度松树数据集和铜矿数据集(一)峰值信噪比（PSNR）(b条)均方根误差（RMSE），以及(c（c）)光谱角度映射器（SAM）。
图8。每次迭代对两者的评估值印度松树数据集和铜矿数据集(一)峰值信噪比（PSNR）(b条)均方根误差（RMSE），以及(c（c）)光谱角度映射器（SAM）。
遥感12 00993 g008a远程设置12 00993 g008b
远程定位12 00993 g009 550
图9。ALI PAN图像(一)，ALI MSI的RGB组成(b条)和Hyperion HSI飞越巴黎(c（c）).
图9。ALI PAN图像(一)，ALI MSI的RGB组成(b条)和Hyperion HSI飞越巴黎(c（c）).
远程定位12 00993 g009
远程定位12 00993 g010 550
图10。RGB组成(一)Industion+Arad方法(b条)Indusion+SREM方法(c（c）)SparseFI+Arad方法(d日)SparseFI+SREM方法(e（电子）)建议的J-SpeSpaRE方法。
图10。RGB组成(一)Industion+Arad方法(b条)工业+SREM方法(c（c）)SparseFI+Arad方法(d日)SparseFI+SREM方法(e（电子）)建议的J-SpeSpaRE方法。
远程定位12 00993 g010
远程定位12 00993 g011 550
图11。550nm、900nm和1600nm波段（从左到右）真实数据集中的子场景比较(一)Industion+Arad方法(b条)工业+SREM方法(c（c）)SparseFI+Arad方法(d日)SparseFI+SREM方法(e（电子）)我们提出的J-SpeSpaRE方法。
图11。550nm、900nm和1600nm波段（从左到右）真实数据集中的子场景比较(一)Industion+Arad方法(b条)工业+SREM方法(c（c）)SparseFI+Arad方法(d日)SparseFI+SREM方法(e（电子）)我们提出的J-SpeSpaRE方法。
远程调整12 00993 g011
远程定位12 00993 g012 550
图12。Hyperion子场景和五个选定景观的假彩色合成。
图12。Hyperion子场景和五个选定景观的假彩色合成。
远程定位12 00993 g012
远程定位12 00993 g013 550
图13。真实数据集中五个选定端构件反射率的比较(一)木材(b条)草坪(c（c）)住所(d日)沙地，以及(e（电子）)耕地。
图13。实际数据集中五个选定端元反射率的比较(一)木材(b条)草坪(c（c）)住所(d日)沙地，以及(e（电子）)耕地。
远程定位12 00993 g013
远程定位12 00993 g014 550
图14。比较实际数据集中五个选定端元的丰度图(一)原始HSI(b条)工业+阿拉德(c（c）)工业+SREM(d日)SparseFI+Arad(e（电子）)备用FI+SREM，以及(（f）)我们的方法。
图14。比较实际数据集中五个选定端元的丰度图(一)原始HSI(b条)工业+阿拉德(c（c）)工业+SREM(d日)SparseFI+Arad(e（电子）)备用FI+SREM，以及(（f）)我们的方法。
远程定位12 00993 g014
表
表1。我们提出的方法和泛锐化方法的空间评估印度松树数据集。
表1。我们提出的方法和泛锐化方法的空间评估印度松树数据集。
GSA公司印度备用FIJ-SpeSpaRE（光谱退化后）
MPSNR公司37.03038.23438.73539.097
MSSIM公司0.6930.7290.7380.756
MFSIM卡0.7970.8230.8440.899
山姆0.1600.1510.1470.120
PD公司7.8746.3505.1924.318
表
表2。我们提出的方法和泛锐化方法的空间评估铜矿数据集。
表2。对我们提出的方法和平移锐化方法的空间评估铜矿数据集。
GSA公司工业备用FISpeSpaRE（光谱退化后）
MPSNR公司41.06542.37143.01243.855
MSSIM公司0.6990.7280.7400.759
MFSIM卡0.7540.7970.8310.884
山姆0.1600.1420.1390.114
PD公司8.3476.4685.7034.911
表
表3。我们提出的方法的光谱评估和光谱分辨率增强方法印度松树数据集。
表3。我们提出的方法的光谱评估和光谱分辨率增强方法印度松树数据集。
阿拉德SREM公司J-SpeSpaRE（空间退化后）
RMSE公司4.8724.5484.230
山姆0.2300.2110.209
MPSNR公司33.68234.17734.802
科科斯群岛0.9300.9670.970
表
表4。我们提出的方法的光谱评估和光谱分辨率增强方法铜矿数据集。
表4。我们提出的方法的光谱评估和光谱分辨率增强方法铜矿数据集。
阿拉德SREM公司J-SpeSpaRE（空间退化后）
RMSE公司4.53724.10203.5989
山姆0.2450.2160.191
MPSNR公司35.93637.29437.997
科科斯群岛0.9550.9710.932

分享和引用

MDPI和ACS样式

Yi，C。；赵，Y.-q。；Chan，J.C.-W。；S.G.港。基于谱矩阵分解和空间稀疏性约束的多光谱图像联合空间谱分辨率增强。远程传感器。 2020,12, 993.https://doi.org/10.3390/rs12060993

AMA风格

Yi C、Zhao Y-q、Chan JC-W、Kong SG。基于谱矩阵分解和空间稀疏性约束的多光谱图像联合空间谱分辨率增强。遥感. 2020; 12(6):993.https://doi.org/10.3390/rs12060993

芝加哥/图拉宾风格

Yi、Chen、Yong-qiang Zhao、Jonathan Cheung-Wai Chan和Seong G.Kong。2020年，“利用光谱矩阵分解和空间稀疏性约束联合增强多光谱图像的空间光谱分辨率”遥感12，编号6:993。https://doi.org/10.3390/rs12060993

请注意，从2016年第一期开始，该杂志使用文章编号而不是页码。请参阅更多详细信息在这里.

文章度量标准

返回页首顶部