计算机科学>计算机视觉与模式识别
标题: MST++:高效谱重建的多级谱变压器
摘要: 现有的主要光谱重建方法(SR)侧重于设计更深或更广的卷积神经网络(CNN),以学习从RGB图像到其高光谱图像(HSI)的端到端映射。 这些基于CNN的方法实现了令人印象深刻的恢复性能,同时在捕获长程依赖性和自相似性先验方面显示出局限性。 为了解决这个问题,我们提出了一种新的基于变换器的方法,即多级光谱变压器(MST++),用于有效的光谱重建。 特别是,我们使用基于HSI空间稀疏性和频谱自相似性的光谱智能多头自注意(S-MSA)来组成基本单元,即光谱智能注意块(SAB)。 然后,SAB构建单级光谱变压器(SST),利用U形结构提取多分辨率上下文信息。 最后,我们的MST++由几个SST级联,从粗到细逐步提高重建质量。 综合实验表明,我们的MST++显著优于其他最先进的方法。 在NTIRE 2022光谱重建挑战赛中,我们的方法获得了第一名。 代码和预处理模型可在以下网址公开获取: 此https URL .