高光谱图像的多层图谱分析

摘要

高光谱成像在环境科学、天气和地理/空间探索等领域具有广泛的应用和影响。固有的光谱-空间结构和不同频带的潜在多级特征使多层图成为高光谱图像（HSI）的直观模型。为了研究HSI的基本特征并利用图形信号处理（GSP）工具，本文提出了基于多层图形信号处理的高光谱图像多层图形谱分析（M-GSP）。更具体地说，我们提出了HSI的多层图（MLG）模型和张量表示。通过探索多层图谱空间，我们为HSI应用开发了基于MLG的方法，包括无监督分割和监督分类。我们的实验结果证明了M-GSP在HSI处理和光谱-空间信息提取方面的优势。

1介绍

1.1背景和意义

高光谱成像是一种对给定地理区域不同波长的图像进行分析的技术[1,2,三]. 利用丰富的光谱-空间信息，高光谱图像（HSI）在城市制图、环境管理、作物分析和食品安全检测等领域有着广泛的应用[4,5,6]. 在用于这些应用的各种高光谱成像分析中，基于图形的方法最近因其揭示HSI潜在空间结构的能力而引起了大量关注。将像素建模为节点，将其内部交互建模为边，可以构建图形模型来捕获高光谱图像的几何信息。高级工具，如图形信号处理（GSP）[7]和图卷积网络（GCN）[8]，然后可以应用于HSI处理任务，包括编码[9]，分类[10]和重建[11].

尽管在高光谱成像分析方面取得了成功，但大多数基于图形的方法主要关注空间几何，并考虑多光谱带的相同图形连接，如图所示1b.然而，这种单层图模型未能探索每个频带的不同频谱特征。例如，图1a表明，不同的光谱带可能显示不同的像素体积分布，这可能意味着不同的空间结构。HSI的高维性及其不同频带的异构底层结构不适合于传统的单层图。需要探索更广义的几何模型来有效地表示HSI。

图1

HSI的图形模型示例：一印度松树中的3波段图像堆栈，其中选择6个像素/超像素作为节点示例；b条三带HSI的单层图模型(一)基于特征相似性；c（c）具有3层的多层图模型示例

为了捕捉像素之间复杂的光谱-空间相互作用，最近一种称为多层网络（也称为多层图）的高维图引起了人们的关注[12]. 在多层网络中，节点根据其特征被分组为有意义的簇，称为“层”。不同的层可以具有异构的图形结构并相互交互。多层网络（图）的示例如图所示1c.将每个光谱帧建模为层，多层图（MLG）可以是捕捉光谱-空间相互作用的直观模型。目前，一个主要问题是如何将传统的基于图的分析推广到多层图，并有效地处理高维多层结构。为了弥补这一不足，有些作品会用单独的图形表示每一层，而忽略层间相关性[13]. 虽然也可以为光谱框架构建层间连接[9]，光谱（层间）和空间（层内）连接仍然分开处理[14]，其中HSI中的某些联合光谱-空间信息可以忽略。一些工作还考虑了MLG的两步分析。例如，在[15]提出了一种两步变换，其中图傅里叶变换（GFT）首先用于层间连接，然后用于层间相互作用。然而，层间和层内连接仍然在不同的图傅里叶空间中分别处理。由于这些原因，一个尚未解决的挑战是如何以综合的方式为HSI的MLG模型捕获这种异质光谱-空间结构。最近，基于张量的多层图信号处理框架（M-GSP）在[16]分析层间和层内连接。基于张量分解定义MLG谱空间，可以对HSI进行MLG谱分析，通过合并层间和层内连接的信息，可以联合和单独分析HSI中的谱-空间相互作用。

我们的目标是探索HSI处理中的MLG，并为基于M-GSP分析HSI的高维光谱-空间相关性提供指导。在这项工作中，我们重新审视了M-GSP框架，并介绍了基于MLG的光谱分析用于高光谱成像。更具体地说，我们首先介绍了M-GSP中HSI的模型和代数表示。接下来，我们开发了M-GSP光谱分析，以提取用于HSI分析的特征。为了说明MLG在HSI中的作用，我们研究了M-GSP在非监督HSI分割和监督HSI分类的特征提取中的应用，作为基于MLG的HSI分析的指导原则。我们总结了我们在这项工作中的贡献如下：

• 我们引入了一个MLG模型，以及一个用于HSI分析的替代奇异空间。

• 我们提供了在HSI中应用M-GSP的指南，并建议了几个使用新型M-GSP算法的应用示例：

  • 以M-GSP谱聚类为例，提出了一种无监督HSI分割方法。

  • 我们通过联合利用多分辨率信息导出了一种基于MLG的监督HSI分类方法。我们进一步提出了几种新的方案，用于不同分辨率结果的决策融合。

我们使用广泛使用的印度松树数据集、帕维亚大学数据集和萨利纳斯数据集测试我们的算法。我们的实验结果证明了M-GSP在HSI中建模一些光谱-空间结构方面的优势，以及所提出的HSI分割算法的效率。

我们将这份手稿的其余部分整理如下。首先介绍了MLG模型和章节中HSI的M-GSP表示。 2.1，我们研究了Sect中基于M-GSP谱聚类的无监督HSI分割。 2.2接下来，我们在Section中介绍了监督HSI分类的M-GSP框架。 2.3并进一步提出了几种不同分辨率的决策融合方法。章节三详细介绍了所提方法的实验和结果。最后，我们总结了我们在门派的工作。 4.

1.2相关工作

在本节中，我们概述了高光谱图像中的图形信号处理和图形学习。

1.2.1图形信号处理与图形卷积网络

图形信号处理（GSP）因其能够提取信号之间的潜在关系，已成为处理具有复杂结构的大型数据集的一种令人兴奋且有前途的新范式[7,17]. 将数据点及其相互作用建模为一个图，可以根据用于数据分析的图表示的特征空间定义图傅里叶空间[18]包括图像处理[19]，点云重采样[20]和视频压缩[21]. 利用图傅里叶空间中的基本原理，如图傅里叶变换，进一步推广了GSP的框架[22]，抽样理论[23]，图形小波[24]和固定处理[25]. 除了正常图之外，GSP也被考虑用于高维图，例如多层图[16]，超图[26]和单纯复形[27]. 此外，图神经网络（GNN）和图卷积网络（GCN）已成为数据分析的重要工具[8].

1.2.2基于图形的高光谱图像分析

随着信号处理和图形学习的发展，基于图形的工具在HSI分析中引起了极大的关注。在[9]提出了一种基于图小波的HSI编码方法。受图谱变换的启发，基于GSP的方法也被开发用于高光谱场景的压缩[28]. 在图谱空间中探索HSI的谱空间特征，提出了一种基于协作竞争图的特征提取算法[29]. 除了基本的GSP分析之外，图形学习在高光谱成像中也显示出了前景。例如，利用图谱卷积，GCN成为HSI应用中的重要工具，包括HSI分类和重建[10,11,30,31,32]. 除了GCN，还引入了一种半监督的高光谱降维方法[33]通过在可学习图上传播标签。在[34]提出了一种新的半监督交叉模态学习框架，用于可学习流形的HSI分析。HSI的其他基于图形的学习框架包括X-ModalNet[35]和深混杂[36]. 感兴趣的读者可以参考最近的一项调查[37]进一步探索。

2方法

在本节中，我们介绍了M-GSP框架内高光谱图像的模型和表示。然后，我们将介绍基于M-GSP的HSI无监督分割和监督分类方法。

为了避免因“网络”在交流和深度学习中的不同含义而造成混淆，在本书的剩余部分中，我们将使用“多层图”这一不太模糊的术语，而不是“多层网络”。

2.1高光谱图像的模型和表示

我们首先介绍HSI的MLG模型和表示。

2.1.1HSI的超像素分割

在进行M-GSP分析之前，我们首先介绍了HSI的超像素分割。在传统的基于图形的HSI分析中，图像像素充当节点，并计算其成对距离以形成图形[38]. 然而，由于有大量像素，对基于像素的HSI实现基于图形的完整分析变得效率低下，有时甚至不可能。实际上，由于小区域内的像素可能共享相似的特征，将相邻像素分组为超级像素可能是一种更实用的图形构建方法。

一般来说，一种适用于HSI分类的超像素分割算法应该具有较低的计算复杂度和准确的目标边界检测[39]. HSI中的一类超像素分割使用亮度、颜色和纹理线索等图像特征来估计线段边界的位置。在[40]采用超等高线图（UCM）方法对高光谱体进行超像素估计。在[41]，将频带平滑度与一般特征结合起来进行像素分组。基于图形的分割方法在超像素分割中也很常见[42]. 在[43]对于超像素组，使用基于特征的归一化切割解（NCuts）。然而，这种基于特征的方法往往需要耗时的图形构建和矩阵分解。

为了更有效地进行超像素分割，我们在本文中的工作考虑了熵率超像素分割（ERS）。与其他超像素构建算法相比，ERS非常有效，因为它只需2.5秒就可以分割大小的图像\（481\乘以321\），同时在标准指标（如细分不足错误）方面实现卓越性能[44]. 在ERS中[44]，数据集建模为图形\（{\mathcal{G}}=\{\matchal{V}}，{\mathcal{E}}\}\），其中像素作为节点\（｛\mathcal｛V｝｝\）它们成对的相似性用边表示\（{\mathcal{E}}\）接下来是一个子图\（{\mathcal{A}}=\{{\mathcal{V}}，{\matchal{L}}\}\）通过选择边的子集形成\（{\mathcal{L}}\subseteq{\mathcal{E}}\），因此\（{\mathcal{A}}\）由较少的连接组件组成。为了获得这样的子图，问题可以表述为

$$\mathcal{L}^{*}=\arg_{\mathcal{L}}\max\；{\text{Tr}}\left\{H\left（\mathcal{L}\right）+\alpha T\left$$

(1)

$$\开始{aligned}&s.t.\四{\mathcal{L}}\subseteq{\mathcal{E}}，结束{aligned}$$

(2)

其中熵率项\（H（{\mathcal{L}}）\）支持更紧的簇和正则项\（T（{\mathcal{L}}）\）惩罚较大的集群大小。平衡参数由下式给出\（α=βKε）哪里\（ε=0.5）,K（K）是超级像素的数量，并且\（测试版）是基于最大熵率增加计算的。感兴趣的读者可以参考[39,44]有关设计的更多详细信息\（H（｛\mathcal｛L｝｝）\）和\（T（{\mathcal{L}}）\）以及ERS算法的其他详细信息。基于等式的目标函数(1)，可以实现贪婪算法来解决该问题。

图2

基于MLG的无监督HSI分割方案

ERS可以将像素分割为M-GSP的超像素，复杂度低，效率高。从构建的超像素中，我们平均每个超像素中所有像素的位置和特征，作为MLG构建的新位置和特征。注意，我们的目标是提供在HSI中应用M-GSP的指南，并表明即使使用简单的方法，M-GSP也可以实现稳健的性能。本文采用ERS超像素构建和基于平均值的特征聚合。我们计划在未来的工作中考虑其他先进的超像素构建方法和特征生成方法。

2.1.2HSI数据集的多层图构造

使用超像素表示的HSI，我们现在开始构建多层图，如图所示2.HSI\（{\mathbf{X}}\在{\mathbb{R}}^{K\次N}\中），包含K（K）光谱框架和N个超像素，可以用多层图建模M（M）图层和N个每个层中的节点。具体来说，MLG由以下属性组成

• 层：为了构建MLG，我们基于谱带定义层。由于不同的光谱帧可能具有相似的特征，我们首先将频带划分为M（M）集群，即。，\（{\mathbf{X}}_i\在{\mathbb{R}}中^{{K} _ i\乘以N}\）,\（i=1，\cdots，M\）和\（总和{i=1}^{M} K_（i）=K\）接下来，每个簇充当多层图中的一层。各种聚类方法可以生成特征\（{\mathbf{X}}_i\）用于图层我例如，可以根据波长范围划分光谱带。为了更有效地捕获不同频带之间的相关性k个-意味着将聚类应用于频带划分。

• 节点：如图所示2，多层图可视为嵌入N个超像素\（\{x_1，x_2，\cdots，x_N\}\）进入之内M（M）层\（\{l_1，\cdots，l_M\}\）然后，我们可以用M（M）图层和N个每个层中的节点。我们使用划分的属性来表征每个超级像素，即。，\（{\mathbf{X}}_{\alpha，j}\在{\mathbb{R}}^{K_i}\中）对于超级像素j个的嵌入节点在层中\（\字母\）.

• 层间连接：对于层间连接，每个嵌入节点都连接到其他层中的对应节点，即相同超像素（多路复用结构）的所有嵌入节点都完全连接[12]). 表示超像素之间边缘的权重j个层中的嵌入节点\（测试版）和超像素我层中的嵌入节点\（\字母\）作为\（A_{\αi\βj}\）层间连接件的重量可计算为

  $$\begin{aligned}A_{\alpha i\beta j}=\left\{\begin{aligned}1，&\quad\alpha \ne\beta，i=j；\\0，&\quad{\text{otherwise}，\end{aligned}\right。\结束｛对齐｝$$

  (3)

  其中每个术语表示链接存在。还可以将权重分配给\（A_{\αi\βi}\）基于特征相似性。注意，这里我们引入加权复合结构作为层间连接的示例。我们的M-GSP框架适用于各种层间结构。读者可以根据特定的数据集和学习任务构建图表。

• 层内连接：对于层内连接，我们计算超像素嵌入节点之间的权重我和j个在层中\（\阿尔法\）基于如下的局部高斯距离：

  $$\begin{aligned}A_{\alpha i\alpha-j}=\left\{\begin{aligned}e^{-\frac{|{\mathbf{X}}_{\alpha，i}-{\mathbf{X{}}{\ alpha，j}|^2_2}{\sigma^2}，&\quad\text{dis}_1 p，\\&\quad\text{dis}_2（p（\alpha，i），p（\alpha，j））<q；\\0，&\quad\text{否则。}\end{aligned}\right。\结束｛对齐｝$$

  (4)

  哪里\（\西格玛\）,第页和q个是设计参数和\（p（α，i））是超级像素的位置我在层中\（\字母\）.

在传统的高斯距离之外，我们的层内连接考虑了两个条件来确定链接的存在：（1）两个节点之间的特征应该相似；（2）两个相连的超像素应位于HSI的局部化区域。第一个条件确保连接节点的相似性，而第二个条件强调HSI中的几何接近性。对于参数的初始设置，我们定义\（\text{dis}_1=||{mathbf{X}}_{\alpha，i}-{mathbf{X}{{\alfa，j}||2\），并定义\（\text{dis}_2\）作为两个超像素各自质心之间的欧氏距离。在设计参数方面，我们设置第页作为所有成对相似性的平均值并调整参数q个,\（\西格玛\）基于特定数据集。有关实际应用中参数选择的详细信息，请参阅第节。 3.2.

2.1.3M-GSP中HSI的代数表示

按照上述过程，我们可以很容易地将HSI构建为MLGM（M）图层和N个每个层中的节点。在M-GSP中[16]，这样的多层图结构可以直观地用四阶张量表示\（{\mathbf{A}}\在{\mathbb{R}}^{M\次N\次M\次N}\中）定义为

$$\begin{aligned}{\mathbf{A}}=（A_{\alpha-i\beta-j}）\quad 1\le\alpha，\beta\le-M，1\le-i，j\le-N，\end{aligned}$$

(5)

其中每个条目计算为等式(三)和(4). 类似于正规图，拉普拉斯张量\（\mathbf｛L=D-A｝\ in｛\mathbb｛R｝｝^｛M\times N\times M\times N｝\）可以定义为MLG的替代表示，其中\（{\mathbf{D}}\）是以节点度数作为对角项的度数张量[16].

讨论在我们研究HSI的M-GSP谱表示之前，我们讨论了张量表示的解释及其与前面提到的“嵌入”过程的关系。2.1.2.给定一组超像素\（{\mathcal{X}}=\{X_1，X_2，\cdots，X_N\}\），可以构造一个向量\（{\mathbf{z}}_i\在{\mathbb{R}}^{N}\中）描述每个超级像素的基本结构特征我其次，两个超像素之间的相互作用可以用二阶张量表示\（{\mathbf{A}}_X=\sum_{i，j=1}^Na{ij}{\mathbf{z}}_i\circ{\mathpf{z{}_j\in{mathbb{R}}^{N\次N}\），其中\（a{ij}\）量化超像素之间的关系我和j个类似地，给定一组聚集带（层）\（{\mathcal{L}}=\{L_1，L_2，\cdots，L_M\}\），一个向量\（{\mathbf{z}}_{\alpha}\在{\mathbb{R}}^{M}\中）可以捕获层的结构属性\（\字母\），两层之间的连接可以表示为\（{\mathbf{A}}_L=\sum_{\alpha，\beta=1}^Mb_{\alpha\beta}{\mathbf{z}}_\alpha\circ{\mat血红蛋白{z}{_\beta\ in{\mat乙肝{R}}^{M\ times M}\）根据这种方法，层中超像素嵌入节点之间的连通性可以用四阶张量表示，以描述超像素和层的特征，即：。，

$$\begin{aligned}{\mathbf{A}}=\sum_{\alpha，\beta=1}^{M}\sum_{i，j=1}^N w_{\alpha-i\beta-j}{\mathbf{z}}_\alpha\circ{\mathbf{z{}_i\circ{mathbf}z}}}_i N}，\结束{对齐}$$

(6)

哪里\（\circ\）是张量的外积[45],\（w{\αi\βj}\）是超级像素之间的连接权重我层中的嵌入节点\（\字母\）和超级像素j个的嵌入节点在层中\（β）更具体地说，如果我们选择向量\（{\mathbf{z}}_i=[0，\cdots，0,1,0，\cdot，0]^\mathrm{T}\）其中唯一的非零元素是我第个元素（等于1）对于层和超像素，四阶张量成为多层网络的邻接张量。感兴趣的读者可以参考[12,16]有关邻接张量和拉普拉斯张量的更多详细信息。

2.1.4M-GSP中HSI的谱表示

我们现在介绍M-GSP中HSI的光谱表示。在M-GSP中，出于不同目的引入了多个MLG谱。由于MLG奇异空间在分析有序特征时更稳健，因此我们在本工作中侧重于奇异分析。其他MLG谱分析的更多细节，例如M-GSP特征传感器分析，可以在[16]. 用邻接张量\（{\mathbf{A}}\在{\mathbb{R}}^{M\次N\次M\次N}\中），可以通过高阶奇异值分解（HOSVD）进行分解[46]作为

$$\begin{aligned}{\mathbf{A}}={\mathbf{S}}\times_1{\mathpf{U}}^{（1）}\times _2{\mat血红蛋白{U}{（2）}\times_3{\ mathbf}U}}^{$$

(7)

哪里\（\次_n\）是n模积[45]和\（{\mathbf{U}}^{（n）}=[{\mat血红蛋白{U}}^}{（n）}_1\quad{\mathbf{U}{^{是一个整体\（（I_n\乘以I_n）\）矩阵，带\（I_1=I_3=M）和\（I_2=I_4=否）.\（{\mathbf{S}}\）是一个\（（（I_1\次I_2\次I_3\次I_4）\）-其子传感器\（｛\mathbf｛S｝｝_｛i_n｝\）通过冻结n个第个索引到\（\字母\）:

• \（<{mathbf{S}}{i_n=\alpha}，{mathbf{S}{{i_n=\beta}>=0\）哪里\（\α\β\）.

• \（||{\mathbf{S}}_{i_n=1}||\ge||{\tathbf{S}}_}i_n=2}||ge\cdots\ge|{\tabf{S{}_{in=i_n}||\ ge0\）.

弗罗贝纽斯规范\（\sigma_i^{（n）}=||{\mathbf{S}}_{i_n=i}||\）是n个-模态奇异值，对应奇异向量\（{\mathbf{U}}^{（i）}\）由于表示张量在无向MLG中表现出部分对称性，因此存在两种奇异谱模式，即。，\（{\mathbf{U}}^{（1）}={\mathbf{U{}^{（3）}=（{\mathbf{f}}_\alpha）\）表征层的特征和\（{\mathbf{U}}^{（2）}={\mathbf{U{}^{（4）}=（{\mathbf{e}}_i）\）描述节点的特征。翻新\（{\mathbf{U}}^{（1）}={\mathbf{U{}^{（3）}\）作为\（{\mathbf{F}}_s=[{\mathbf{F}}_1\cdots{\mat血红蛋白{F}_M]\在{\mathpb{R}}^{M\次M}\中）和\（{\mathbf{U}}^{（2）}={\mathbf{U{}^{（4）}\）作为\（{\mathbf{E}}_s=[{\mathbf{E}}_1\cdots{\mathpf{E{}_N]\在{\mat血红蛋白{R}}^{N\次N}\中），等式(7)可以写为

$$\开始{aligned}{{mathbf{A}}={mathbf{S}\times_1{mathbf1{F}}_S\times_2{mathbf2{E}}_S\t次_3{mathbf2{F}{_S\times _4{mathbf-{E}{}_S\t对齐}$$

(8)

用奇异张量\（{\mathbf{F}}_s\）和\（{\mathbf{E}}_s\）MLG信号的MLG奇异变换（M-GST）\（{\mathbf{s}}\在{\mathbb{R}}^{M\次N}\中）可以定义为

$$开始{aligned}\check{{mathbf{s}}={mathbf{F}}_s^{mathrm{T}}{mathbf1{s}{{mathbf{E}}_s\in{mathbb{R}}^{M\timesN}。\结束｛对齐｝$$

(9)

假设\（伽玛_i）的是分层奇异值\（σi）s是节点的奇异值。M-GSP光谱滤波器可以设计为

$$\begin｛aligned｝｛\mathbf｛s｝｝'=｛\mathbf｛F｝｝_s\bbegin｛bmatrix｝g（\gamma _1）&｛｝\cdots&｛｝0\\vdots&｛｝\dodots&｛｝\vdots\\0&｛｝\cdots&｛｝g（\gamma _N）\end｛bmatrix｝｛\mathbf｛F｝｝_s^｛\mathrm｛T｝｝｝｛\mathbf s｝｝｛\mathbf E｝｝_s\bbegin｛bmatrix｝F（\sigma _1）&｛&｛｝0\\\vdots&｛｝\ddots&｛｝\vdots\\0&｛｝\cdots&｛｝F（\sigma-N）\end｛bmatrix｝｛\mathbf｛E｝｝_s^｛\mathrm｛T｝｝，\end｛aligned｝$$

(10)

where函数\（g（\cdot）\）和\（f（\cdot）\）由特定任务设计。

在这里，我们主要关注无向多层图的奇异分析的基础。有关其他概念的更多详细信息，如MLG傅里叶变换和M-GSP滤波器设计，请参考感兴趣的读者[16].

2.2基于MLG的无监督HSI分割

在这一部分中，我们提出了一种基于M-GSP谱聚类的无监督分割方法。

谱聚类是一种有效的无监督HSI分割方法[38]. 在谱聚类之前，通过标准图对HSI进行建模，由于其在捕获底层结构方面的强大功能，有可能实现显著改进[47]. 然而，通过单层图表示HSI，可能会忽略各个光谱带的区别。为了捕获HSI中的异质光谱-空间结构，我们建议基于M-GSP光谱聚类对HSI进行分割。

给定一个HSI，我们将多层图构造为Sect。 2.1.2。然后我们计算光谱\（{\mathbf{F}}_s=[{\mathbf{F}}_1\cdots{\mat血红蛋白{F}_M]\在{\mathpb{R}}^{M\次M}\中）和\（{\mathbf{E}}_s=[{\mathbf{E}}_1\cdots{\mathpf{E{}_N]\在{\mat血红蛋白{R}}^{N\次N}\中）根据公式(8). 由于我们的目标是将超像素分割成有意义的簇，所以我们将重点放在超像素光谱上\（{\mathbf{E}}_s\）.安排\（{\mathbf{e}}_i\）按其对应奇异值的降序排列\（σi）即。，

$$\开始{aligned}\sigma_i=||{\mathbf{S}}_{i_2=i}||，\end{aligned}$$

(11)

哪里\（{mathbf{S}}_{i_2=i}\在{mathbb{R}}^{M\次{1}\次{M}\次N}\中）是核心张量的子传感器\（{\mathbf{S}}\）在等式中(7)通过冻结二阶\（i_2=i\），我们选择第一个P（P）奇异向量，根据奇异值之间的最大间隙为HSI保留最关键的信息。基于P（P）选择奇异向量并标记超像素内的每个像素，我们可以获得给定HSI的分割。算法1提供了基于MLG的无监督分割的主要过程。

图3

HSI数据集中超像素奇异值的分布

2.2.1讨论

在我们进一步研究基于MLG的监督HSI分类之前，我们对M-GSP奇异张量进行了简短的概念性讨论。在文献中，奇异值分解（SVD）是一种有效的获取频谱的方法，用于信号分析，如谱聚类和主成分分析。在MLG-GSP中，有序奇异向量可以分别解释为表征帧和超像素特征的子空间。由于HOSVD是稳健和有效的，将信号转换到MLG奇异空间（M-GST）以分析底层结构可能是M-GFT的有用替代方案。关于MLG光谱物理意义的更多讨论，请参见[16]. 为了更好地理解基于MLG的奇异张量的特性，我们用图形说明了奇异值的分布，与图中基于图形的模型相比三如图所示，与基于图形的奇异值相比，基于MLG的奇异值的能量更集中于低频的前几个主要奇异向量。这种能量集中表明，在我们提出的M-GSP框架中，谱聚类的实现更加方便且低退化。

2.3基于MLG的监督HSI分类

在这一部分中，我们介绍了基于M-GSP特征提取的HSI分类。

2.3.1基于MLG的HSI分割的单重解

我们从超像素的单分辨率开始。在基于超像素的分类中，超像素分辨率影响最终的性能：更精细的分辨率可以捕获更多的细节，而粗分辨率可以更有效地捕获全局信息。为了从精细分辨率和粗分辨率中获益，我们在精细分辨率上引入了基于MLG的光谱聚类，将超像素重新组合为粗分辨率（重新组合的超像素数仍应大于类数），并使用重新组合的特征作为分类器输入。更具体地说，我们首先实现了基于MLG的光谱聚类来聚类超像素。然后，我们将同一簇内所有像素的特征与重新组合的特征结合起来。最后，我们利用聚类后的特征更新每个像素的特征，并输入新的特征进行分类。这里，我们应用支持向量机对重组后的特征进行分类。我们的单分辨率HSI分割（MLG-SRC）的概念如图所示4，算法2中描述了主要步骤。

图4

单分辨率分割方案

拟议MLG-SRC的好处包括：

• 针对粗超像素的单一分辨率，MLG-SRC在精细分辨率上执行分析步骤，并能够捕获详细特征。相对于单一分辨率的精细超像素，MLG-SRC大大减少了像素数，增强了分类器特征输入的鲁棒性。过多的超像素可能会使特征不那么明显，并过度分割区域，而过少的超像素可能会导致边界模糊。

• 传统的基于图的超像素分割只捕获单层结构。M-GSP重组可以跨异构多带结构揭示额外的特征信息。

• 在传统的超像素分割中，不同的区域通常被标记为不同的超像素。然而，在MLG-SRC中，来自不同区域的超像素可以分组到同一个簇中。因此，重新组合的特征可能涉及覆盖较大距离的相似像素，并可能生成更多特征。

• MLG-SRC可以很容易地与其他特征提取或选择算法集成。在MLG-SRC生成的特征和特征组上应用PCA和ICA等降维技术可以潜在地提高性能。

图5

基于MLG的监督HSI分类方案

图6

不同初始分辨率下MLG-SRC的准确性

2.3.2基于MLG的HSI分割的多分辨率

1） 多分辨率结构:

虽然基于MLG的光谱聚类可以将小的超像素重新组合为大的超像素，并从MLG-SRC的精细和粗糙分辨率中获益，但超像素的初始分辨率设置仍然会影响最终性能（图5). 如图所示6显示，不同的初始分辨率可能会导致不同的精度水平。实际上很难确定最佳的超像素初始数目。

这里，我们考虑一种多分辨率分类结构（MLG-MRC），如图所示5在这个框架中，我们研究了超像素的几种不同初始分辨率。将MLG-SRC应用于每个初始分辨率，以相同的群数缩减率对超像素进行重组，即：。，$70\%$初始超像素。应用支持向量机对多个重组后的超像素进行分类，在最终分割中融合不同初始分辨率的结果。算法3中描述了该算法。虽然文献中已经考虑了多分辨率结构，但MLG-MRC显示出两个主要区别。首先，我们应用一种新的基于MLG的聚类算法对超像素进行重组，并生成新的特征用于分类。其次，我们基于下面讨论的置信度和图结构提供了几种新的决策融合策略。

2） 决策融合:

多数投票（MV）[48]是一种广泛用于不同分辨率的融合方案。在这种方法中，标签我特定像素的

$$\开始{aligned}l={\arg\max}_i\sum_{j=1}^{C}w_j\cdot\delta（l_j），\end{aligned}$$

(12)

哪里C类是不同分辨率的数量，\（l_j）是像素的分辨率标签j个,\（w_j\）是投票强度，以及\（δ（l_j）=1）如果\（l_j=i）; 否则，\（δ（l_j）=0）注意，基于同等实力的基本多数投票\（w_j={C}^{-1}\）对不同的决议应用相同的力量，而忽略它们的差异。为了改进决策融合，我们引入了几种新的决策融合策略。

• 验证准确性（VA）：设计决策强度的一种直观方法是基于验证准确性。如果某个分辨率的验证精度更大，那么它在测试数据中也可能具有更好的性能。因此，我们可以为分辨率分配更大的权重，从而提高验证精度。这里，我们可以将验证准确度直接应用于加权强度\（w_j\）用于解决问题j个根据公式融合决策(12).

• 决策值（DV）：作为一种替代方法，可以使用每类像素的决策概率作为权重。在多类SVM中，根据决策值确定预测标签\（{\mathbf{p}}\在{\mathbb{R}}^{C}\中），其中C类是类的数量[49]. 如果决策值较大，则表示SVM具有较高的分类置信度。因此，决策值也可以描述分类结果的置信水平。让\（{\mathbf{p}}{ij}\）是像素的判定值我在里面j个第个决议。我们设定了\（l{ij}\）到

  $$\begin{aligned}w{ij}=\max_k{\mathbf{p}}{ij{（k）。\结束｛对齐｝$$

  (13)

  与每个分辨率中所有像素的验证精度相同不同，基于决策值的权重甚至可能会因相同分辨率的像素而异。

• 图表总偏差（TV）：基于图形的度量可以用作权重。对于超像素的稳健设置，信号应平滑，并显示稳定的底层图形结构。为此，我们引入了基于图形的总变化来测量平滑度。给定超像素分割j个HSI的N个超级像素和K（K）光谱帧，我们通过平均所有像素来重新生成每个超像素的特征。然后，我们基于高斯距离构造单层图来度量不同超像素之间的相似性。通过定义拉普拉斯矩阵\（{\mathbf{L}}=\mathbf{D-A}\）哪里\（{\mathbf{D}}\）是度矩阵\（{\mathbf{A}}\）是邻接矩阵，总变差[7]特征信号的\（{\mathbf{s}}_p\in{\mathbb{R}}^{N}\）对于第页第h波段帧结束\（{\mathbf{L}}\）是

  $$\begin{aligned}\text{TV}_p=||{\mathbf{s}}_p-\frac{1}{|\lambda_{max}|}{{\mathbf{L}}{{\ mathbf}}_p||2^2，\end{alinged}$$

  (14)

  哪里\（\lambda_{\max}\）是的最大特征值\（{\mathbf{L}}\）总变化描述了两个步骤之间的传播差异。总变化越小，信号越平滑。使用K（K）总帧数，分辨率的最终平滑度j个定义为\（\text{SM}_j=\frac{1}{K}\sum_p\text{TV}_p\）。由于我们更喜欢平滑信号的更大权重，因此分辨率的最终权重j个定义为

  $$\开始{aligned}w_j=e^{-SM_j}。\结束｛对齐｝$$

  (15)

• 冯·诺依曼熵（VN）：底层图形结构的稳定性也可以指示特定超像素分辨率的置信水平。在量子理论中[50]，纯态导致冯·诺依曼熵为零。如果系统中有更多的混合态，熵就更大。类似地，在我们的HSI分析中，由于我们更喜欢基础图上的稳定系统或纯状态，因此如果Von Neumann熵较小，权重应该更大。在这里，我们引入Von Neumann熵来评估图的稳定性[50]. 与总变差类似，拉普拉斯矩阵\（{\mathbf{L}}\）可以用邻接矩阵定义\（{\mathbf{A}}=（A_{pq}）\）对于j个第个决议。首先，定义\（c={1}/（{总和_{p，q}a_｛pq｝｝）\）并重新缩放拉普拉斯矩阵

  $$\begin{aligned}{\mathbf{L}}_G=c\cdot（\mathbf{D-A}），\end{alinged}$$

  (16)

  我们可以定义j个第个分辨率为

  $$\开始{aligned}w_j=e^{-hj}。\结束｛对齐｝$$

  (17)

  基于冯·诺依曼熵

  $$\开始{aligned}h_j=-{\text{Tr}}[{\mathbf{L}}_G\log_2{mathbf}}_G]。\结束｛对齐｝$$

  (18)

注意，这里我们为决策融合的权重提供了几个可能的替代方案。各种建议的融合策略的性能将在第节中介绍。 三.

三结果和讨论

我们现在在几个著名的数据集中测试所提出的无监督分割和监督HSI分类方法的性能，以证明M-GSP在HSI分析中的有效性。我们还比较测试了各种不同融合决策的性能。

表1不同HSI数据集的统计

3.1数据集

我们基于四个可从网站访问的公共HSI数据集测试了所提方法的性能¹第一个HSI是印度松树最初由AVIRIS传感器在农田上采集的（印度）场景。第二个HSI数据集是帕维亚大学（PaviaU）由ROSIS传感器采集。请注意，PaviaU中的一些样品不包含任何信息，必须在分析之前丢弃。实验中使用的另外两个HSI是萨利纳斯场景（萨利纳斯）和萨利纳斯——场景（SalinasA）数据集，由加利福尼亚州萨利纳斯谷上空的224波段AVIRIS传感器收集，显示出高空间分辨率。对于每个数据集，我们为部分样本提供了groundtrue类。

对于这些HSI，表1提供了生命统计数据，我们还提供了图中几何图形的直观说明7和8注意，图8将未标记的groundtrue样本视为具有相同类标签的背景。感兴趣的读者可以在网站上找到有关HSI数据集的更多信息$^1$.

图7

光谱维上的HSI平均值

图8

类标签的基本事实

3.2无监督HSI分割

在这一部分中，我们首先测试了无监督HSI分割的性能。虽然我们提出的基于MLG的方法适用于各种复杂的聚类方法，但我们发现使用基本的谱聚类方案更容易证明它。在这里，我们主要使用基本方法的比较，例如k个-表示聚类和基于GSP的光谱聚类，以证明M-GSP在处理HSI数据集方面的威力。

为了验证不同方法的性能，我们考虑了两个实验装置。在第一个场景中，我们对所有数据样本进行无监督分割，并评估标记样本的整体可视化结果。在第二阶段，我们处理所有数据样本，但重点是从可视化结果和数值精度两方面检测每个簇的边界（边缘）。

为了公平比较，我们将HSI分为N个在应用相应的聚类算法之前，先进行超像素处理。对于基于GSP的方法，我们构造了图\（{\mathbf{W}}\在{\mathbb{R}}^{N\次N}\中）使用高斯距离

$$W_｛｛ij｝｝＝\left\｛\start｛array｝{*{20} 我}{e^{{-\frac{{|{\mathbf{s}}_{i}-{\mathbf{s{}_j}||_{2}^{2}}{{\sigma^{2{}}}}，}\hfill&{\left\ \hfill\\{0，}\hfill&{\text{otherwise}}\hfill\\end{array}}\right$$

(19)

哪里\（{\mathbf{s}}_i\）表示的特征我第个超像素。阈值\（\套\）设置为超像素之间所有成对距离的统计平均值，以及\（\西格玛\）可根据特定数据集进行调整。对于基于M-GSP的方法，我们使用\（M=10）层，并根据公式计算距离(三)和(4). 参数第页在等式中(4)也被设置为所有成对层内特征距离的统计平均值，并且\（q=100）使用。我们根据奇异值的最大间隙选择关键谱的数量。我们将结果总结如下。

3.2.1HSI分割的可视化

通过设置\（N=500\）对于所有测试的HSI，图9,10,11,12通过与地面真值数据的比较，给出了使用不同算法的三个HSI分段的可视化结果。这些结果表明，一般来说，基于MLG的光谱聚类（M-GSP）比基于单层GSP的光谱聚类以及k个-表示算法。由于评估太多类的细节比较困难，我们可以更多地关注示例萨利纳斯A数据集。特别是图8d显示了六个不同的groundtrue类。然而，两者都是k个-平均值和基于GSP的方法未能检测到图中以橙色标记的第6类。9图中用黄色标记9b.同时，图9c、 M-GSP方法成功地识别了所有六个类，并提供了更接近基本事实的结果。回忆一下，从图三基于MLG的奇异值更加集中，这为谱聚类提供了稳健性的优势。来自“印第安松树”和“帕维亚大学”的结果也显示出同样更强的M-GSP性能。这些结果共同证明了M-GSP在无监督HSI分割中的效率提高。

图9

Salinas A的细分结果

图10

印度松细分结果

图11

Pavia大学的细分结果

图12

Salinas的细分结果

3.2.2边界分割

虽然非监督方法可能会产生与groundtrue不同的有意义的分割，但我们仍然对分割结果与真实标签的距离感兴趣。由于将所有簇与相应的真实标签匹配效率很低，所以我们将重点放在分割的边界上。在边界检测中，我们设置\（N=100\）并将精确度定义为

$$\开始{aligned}{\text{Acc}}=\sum_{i=1}^T1（L_i={\hat{L}}_i）/T，结束{aligned}$$

(20)

哪里T型是HSI中的像素数，\（L_i\）是的边的真正标签吗我第个像素，\（{\hat{L}}_i\）是估计的标签，以及\（1（\cdot）\）表示指示器功能。边界结果如图所示13,14,15。由于我们在聚类过程中考虑未标记样本，因此HSI可以比其相应的基本事实有更多的细节，尤其是对于Pavia大学和印度松树。然而，我们仍然可以得到M-GSP在边界检测中的一些优点。如图所示15显示，M-GSP可以生成更清晰的边缘，明显位于上半部图像上，而GSP和k个-手段似乎过度分割。我们还提供了等式中定义的精度(20)作为表2这些结果表明，M-GSP的性能优于k个-指和GSP。它们证明了MLG模型在HSI分析中的效率。请注意，我们并不认为M-GSP是适用于所有场景的最佳方法。在不需要事后调整每个HSI数据集的各种参数以生成“最佳结果”的情况下，M-GSP依靠一些选择参数的基本准则，为各种HSI数据集中提供了一致、强大和稳定的分割结果。

图13

印度松树的边界

图14

帕维亚大学的边界

图15

萨利纳斯的边界

表2分割边界的准确性

3.3监督HSI分类

接下来，我们在监督HSI分类中测试M-GSP。

3.3.1整体精确度

应用基于M-GSP的谱聚类作为HSI的特征提取，我们将所提出的算法与几种著名的特征提取算法进行了比较，包括NPE[51]，LP-NPE[52]，LDA公司[53]、LFDA[54]、SPCA[39]和MSPCA[39]. 对于提议的MLG-SRC和MLG-MRC，我们将超像素重新分组为$70\%$在基于M-GSP进行特征提取之前，使用原始超像素数。这里，我们根据不同的决策值（融合权重）显示MLG-MRC的结果。不同融合策略的更多分析将在第节中进一步说明。 3.3.2.

表中显示了每个类（TS/C）不同训练样本数下的总准确度三在本实验中，针对不同的HSI调整了多个分辨率的参数。从测试结果来看，所提出的MLG-MRC表现出了优越的整体性能，特别是对于类数较少的场景。

表3不同HSI分割的总体精度

3.3.2不同融合策略分析

现在，我们分析了不同融合策略的性能。自MSPCA以来[39]同时融合了超像素的多分辨率，我们结合MSPCA和MLG-MRC研究了我们提出的融合方法。

我们融合了9项决议的结果，即。，\（N_i\在[25,35,50,70100140200280400]\中），适用于所有比较方法。测试精度如表所示4如图所示，我们提出的权重方法比MSPCA的基本多数投票（VT）有了显著改进。与基于SVM的权重相比，基于图形的权重更适合于MSPCA，因为考虑了附加的几何信息。对于MLG-MRC，所提出的权重显示出轻微的改进，这表明MLG-MRC对不同的决策强度不太敏感。为了更好地理解不同权重的影响，我们还在图中展示了不同数量的超像素的决策强度16。在图中16a、 b，基于图形的权重支持低分辨率来形成基线，并使用高分辨率来插值细节。因此，对于具有更大面积分段组的HSI，如Salinas，基于图形的权重可以产生更好的性能。使用基于SVM的权重，我们发现不同超像素之间没有一致的趋势，并且不同数据集的结果不同。由于基于MLG的方法已经包含了基本的几何结构，因此即使使用基于SVM的权重，它们也会继续显示稳健的结果。

表4不同融合策略的性能

图16

不同数量超像素的决策强度

3.3.3噪声数据集的鲁棒性

我们进一步评估了所提出的方法在噪声环境中的鲁棒性。更具体地说，我们考虑两种类型的噪声模型：（1）像素相关噪声，其中像素噪声方差取决于相应的像素数据值；（2）非像素相关噪声，其中噪声方差由所有像素值的平均值定义。这两个不同的噪声模型描述了两种不同的实际感测噪声。我们还测试了均匀噪声和高斯噪声。根据表中所示的测试性能5，我们发现新提出的基于MLG的方法对各种类型的样本噪声不太敏感。

表5噪声环境下的总精度

3.3.4复杂性

在实践中，M-GSP分析通常包括两部分：1）MLG谱的计算；以及2）使用针对特定任务的计算谱实现算法。在本节中，我们评估了M-GSP分析与传统的基于图形的方法和信号处理方法相比的复杂性。

表6图形构建+频谱计算的运行时间（秒）

• 图形构造和频谱计算：我们将M-GSP的谱计算复杂性与用于多层特征提取的几种典型图模型进行了比较。假设我们有一个HSIM（M）聚集带和N个超级像素。第一步是分别计算层间连接（跨带）和层内连接（空间）的图形谱。对于单层图模型，一种方法（双向GSP[15])就是考虑具有相同图形结构的所有谱带，并且每个超像素具有相同的带间相互作用。请注意，在此模型中，带被视为跨带交互的节点。现在，HSI可以用一个\（M\乘以M\）带间相互作用矩阵\（N次N次）空间连接矩阵。然后分别对这两个矩阵进行特征分解。然而，这种模型假设所有频带的图形结构相同，无法表示不同频带的不同空间连接。为了进行补偿，还可以为每个频带构造单独的图形（单独图形）。如果还考虑与双向GSP相同的跨带连接，则HSI可以用M表示\（N次N次）空间连接矩阵和1\（M\次M\）带间相互作用矩阵。此外，如果对不同的超像素（复杂个体图）考虑不同的交叉带连接，则HSI可以由M（M） \（N次N次）空间连接矩阵和N个 \（M\次M\）用于跨带连接的矩阵。在这里，我们只提供了几个典型模型的比较，剩下的是对未来工作的进一步比较。在M-GSP中，我们允许每个层有不同的层内连接，以及灵活的层间相互作用。无论如何定义交互，HSI总是由一个\（M次N次M次N）张量。交互结构由入口值表示，层/节点的标识由张量中每个入口的索引反映。然后我们使用HOSVD获得所有光谱。为了比较复杂性，我们在帕维亚大学数据集和集合\（M=10）我们在桌面上使用Matlab程序（Intel Xeon CPU@3.50GHz，32 GB RAM）测试模型，其中特征分解是针对单层图实现的，HOSVD是在张量工具箱中实现的²用于M-GSP。不同条件下谱图计算的运行时间N个如表所示6。由于双向GSP忽略了不同层和超像素的不同结构，因此它所需的复杂性最低，但提供的信息较少。它无法表示不同频带的异构图形结构。如果考虑不同的层间和层内连接，M-GSP的复杂性与基于图形的模型相似或略好。此外，我们只需要使用一个张量来表示HSI，这表明M-GSP为不同的HSI和MLG提供了更通用的表示。

• M-GSP算法的实现：由于我们提出的M-GSP处理可以与其他降维方法灵活集成以降低复杂性，我们发现没有必要对各种设置的计算复杂性进行评估。一般来说，原始MLG-MRC具有与MSPCA类似的运行时间。例如，在与Sect相同的多分辨率设置下。 3.3.1在15组SVM参数可调的印度松HSI中，MLG-MRC和MSPCA的运行时间分别为28.21秒和25.37秒。这些和其他测试表明，基于M-GSP和PCA的方法具有类似的计算复杂性。

3.3.5重组比率的影响

为了更好地解释M-GSP重组，我们测量了不同重组率下的性能。我们以SPCA和MPCA为例进行比较，其中\（{\text{TS}}/C=5\）多分辨率方法采用多数表决。我们不会通过M-GSP重新组合SPCA和MPCA的功能。结果如表所示。7从结果来看，当比率高于30%时，我们提出的方法具有更好的性能。当比率太小时，一些分辨率可能具有较少的聚类，从而降低分类的准确性。通常，比率可以设置为60%左右，以实现稳健的性能。

表7不同重组率下的性能

4结论

本文介绍了M-GSP在高光谱成像处理中的应用。为了在高光谱图像（HSI）中捕获不同但高度相关的光谱帧中的异质底层结构，我们建议通过多层图表示HSI。通过分析多层图邻接张量的奇异谱，我们首先开发了一种基于MLG的谱聚类算法，用于无监督HSI分割。利用M-GSP提取的特征，我们提出了两种监督HSI分类算法。我们还考虑了用于多分辨率超像素分析的几种新的决策融合策略。我们的实验结果证明了所提方法的鲁棒性和有效性，成功地展示了M-GSP在HSI分析中的强大功能。

未来方向张量代数和多层图理论的进展为探索M-GSP及其在高光谱成像中的应用提供了更多机会。一个有趣的主题是为HSI高效地构建多层图。在这项工作中，我们提供了一种易于实现的基于高斯距离的多层图构造，以探索M-GSP的威力。更高效的多层图构造可以进一步提高性能。潜在的方法包括基于特征相似性和图形光谱特性的方法[55]. 另一个有希望的方向是在HSI分析中使用M-GSP变换和光谱滤波器。可以为HSI处理引入更多分析工具，如多层图滤波器组和采样理论，包括提取HSI的潜在空间-频率关系。其他有趣的未来方向包括MLG卷积网络的开发以及M-GSP与深度神经网络的集成。