基于光谱感知稠密卷积网络的高光谱图像分类
1.简介
我们介绍了一种专门为HSI的三维补丁设计的网络架构。 该网络使用扩展卷积来捕获不同斑块尺度的特征,从而在单个层中获得多个尺度。 密集连接将从不同层学习到的三维要素图连接起来,增加了后续层输入的多样性。 一种新的频谱关注机制旨在选择性地强调信息频谱特征,并抑制不太有用的频谱特征。 在特征上应用软权重的频谱关注机制非常适合于以下HSI分类任务,并且效率更高。 据我们所知,这是首次将注意力机制引入HSI分类。 在三个HSI数据集上的实验结果表明,我们提出的新的端到端三维密集卷积网络(MSDN-SA)方法优于最新的方法。
2.相关工作
2.1. CNN中的剩余连接和密集连接
2.2. 注意力机制
3.建议方法
3.1. 具有扩张卷积的稠密卷积网络
3.2. 光谱感知注意机制
3.3. 网络实施详细信息
4.实验结果
4.1. 数据集集合
(1) 印度松树数据集
(2) Pavia大学数据集
(3) 休斯顿大学数据集
4.2. 实验设置
(1) (2) (3) CNN传输[ 23 ]:基于光谱空间特征的双分支结构CNN,使用转移学习策略。 具体而言,用于预处理的印第安松树源数据集为Salinas Valley,由同一传感器AVIRIS采集,而Pavia University进行预处理的源数据集是由同一个传感器ROSIS采集的Pavia Center。 (4) (5)
4.3. 印度松树数据集的结果
4.4. Pavia大学数据集的结果
4.5. 休斯顿大学数据集结果
5.分析与讨论
5.1. 培训样本的效果
5.2. 光谱感知注意机制的作用
5.3. 扩张卷积的影响
6.结论
作者贡献
基金
致谢
利益冲突
工具书类
陈,Y。; 林,Z。; X.赵。; 王,G。; Gu,Y.F.基于深度学习的高光谱数据分类。 IEEE J.选择。 顶部。 申请。 地球目标遥感。 2014 , 7 , 2094–2107. [ 谷歌学者 ] [ 交叉参考 ] Liang,L。; Di,L。; 张,L。; 邓,M。; 秦,Z。; 赵,S。; Lin,H.使用高光谱植被指数和混合反演方法估计作物LAI。 遥感环境。 2015 , 165 , 123–134. [ 谷歌学者 ] [ 交叉参考 ] 横屋,N。; Chan,J。; Segl,K.使用模拟enmap和sentinel-2图像进行矿物制图的分辨率增强高光谱数据潜力。 远程传感器。 2016 , 8 , 172. [ 谷歌学者 ] [ 交叉参考 ] Bioucas-Dias,J.M。; A广场。; Camps-Valls,G。; Schenders,P。; 北卡罗来纳州纳斯拉巴迪。; Chanussot,J.高光谱遥感数据分析和未来挑战。 IEEE地质科学。 远程传感器磁。 2013 , 1 , 6–36. [ 谷歌学者 ] [ 交叉参考 ] Landgrebe,D.A.公司。 多光谱遥感中的信号理论方法 ; 威利:霍博肯,新泽西州,美国,2003年; 第3章。 [ 谷歌学者 ] He,L。; Li,J.等人。; 刘,C。; Li,S.光谱空间高光谱图像分类的最新进展:概述和新指南。 IEEE传输。 地质科学。 远程传感器。 2018 , 56 , 1579–1597. [ 谷歌学者 ] [ 交叉参考 ] 杜琪。; Chang,C.用于高光谱图像分类的基于线性约束距离的判别分析。 模式识别。 2001 , 34 , 361–373. [ 谷歌学者 ] [ 交叉参考 ] Samaniego,L。; 巴多西,A。; Schulz,K.监督使用改进的K-NN技术对遥感图像进行分类。 IEEE传输。 地质科学。 远程传感器。 2008 , 46 , 2112–2125. [ 谷歌学者 ] [ 交叉参考 ] Ediriwickrema,J。; Khorram,S.提高精确度的分层最大似然分类。 IEEE传输。 地质科学。 远程传感器。 1997 , 35 , 810–816. [ 谷歌学者 ] [ 交叉参考 ] Li,J.等人。; Bioucas-Dias,J.M。; Plaza,A.使用带主动学习的多项式logistic回归进行半监督高光谱图像分割。 IEEE传输。 地质科学。 远程传感器。 2010 , 48 , 4085–4098. [ 谷歌学者 ] [ 交叉参考 ] 夏,J。; Bombrun,L.公司。; Berthoumieu,Y。; Germain,C。; Du,P.Spectral–用于高光谱图像分类的空间旋转森林。 IEEE J.选择。 顶部。 申请。 地球目标遥感。 2016 , 10 , 4605–4613. [ 谷歌学者 ] [ 交叉参考 ] Chan,C.W。; Paelinckx,D.使用机载高光谱图像进行生态环境制图的随机森林和基于adaboost树的集合分类和光谱带选择评估。 遥感环境。 2008 , 112 , 2999–3011. [ 谷歌学者 ] [ 交叉参考 ] 钱,Y。; Ye,M。; Zhou,J.基于结构化稀疏logistic回归和三维小波纹理特征的高光谱图像分类。 IEEE传输。 地质科学。 远程传感器。 2013 , 51 , 2276–2291. [ 谷歌学者 ] [ 交叉参考 ] 曹,X。; 徐,L。; 孟,D。; 赵(Q.Zhao)。; Xu,Z.三维离散小波变换与马尔可夫随机场的集成用于高光谱图像分类。 神经计算 2017 , 226 , 90–100. [ 谷歌学者 ] [ 交叉参考 ] 贾,S。; 沈,L。; Li,Q.Gabor基于特征的高光谱图像分类协同表示。 IEEE传输。 地质科学。 远程传感器。 2015 , 53 , 1118–1129. [ 谷歌学者 ] 沈,L。; Jia,S.基于像素的高光谱图像分类的三维gabor小波。 IEEE传输。 地质科学。 远程传感器。 2011 , 49 , 5039–5046. [ 谷歌学者 ] [ 交叉参考 ] Tang,Y.Y。; Lu,Y。; 袁,H。基于三维散射小波变换的高光谱图像分类。 IEEE传输。 地质科学。 远程传感器。 2015 , 53 , 2467–2480. [ 谷歌学者 ] [ 交叉参考 ] 陈,Y。; X.赵。; Jia,X.光谱–基于深度信念网络的高光谱数据空间分类。 IEEE J.选择。 顶部。 申请。 地球目标遥感。 2015 , 8 , 2381–2392. [ 谷歌学者 ] [ 交叉参考 ] 他,K。; 张,X。; 任,S。; Sun,J.图像识别的深度残差学习。 2016年6月27日至30日在美国内华达州拉斯维加斯举行的2016 IEEE计算机视觉和模式识别会议(CVPR)会议记录; 第770-778页。 [ 谷歌学者 ] Lecun,Y。; Y.本吉奥。; Hinton,G.深度学习。 自然 2015 , 521 , 436–444. [ 谷歌学者 ] [ 交叉参考 ] 古德费罗,I。; Y.本吉奥。; 库尔维尔,A。 深度学习 ; 麻省理工学院出版社:美国马萨诸塞州剑桥,2016年。 [ 谷歌学者 ] 彼得森,H。; Gustafsson,D。; Bergstrom,D.使用深度学习的高光谱图像分析——综述。 《2016年第六届图像处理理论、工具和应用国际会议论文集》,2016年12月12日至15日,芬兰奥卢; 第1-6页。 [ 谷歌学者 ] Yang,J.等人。; 赵勇强。; Chan,C.W.学习并传输用于高光谱分类的深度联合光谱-空间特征。 IEEE传输。 地质科学。 远程传感器。 2017 , 55 , 4729–4742. [ 谷歌学者 ] [ 交叉参考 ] 陈,Y。; 姜浩。; 李,C。; 贾,X。; Ghamisi,P.基于卷积神经网络的高光谱图像深层特征提取和分类。 IEEE传输。 地质科学。 远程传感器。 2016 , 54 , 6232–6251. [ 谷歌学者 ] [ 交叉参考 ] 李毅。; 张,H。; Shen,Q.利用三维卷积神经网络对高光谱图像进行光谱空间分类。 远程传感器。 2017 , 9 , 67. [ 谷歌学者 ] [ 交叉参考 ] 高奇。; Lim,S。; Jia,X.利用卷积神经网络和多特征学习进行高光谱图像分类。 远程传感器。 2018 , 10 , 299. [ 谷歌学者 ] [ 交叉参考 ] 杨,X。; 叶,Y。; 李,X。; 刘瑞凯。; Zhang,X.基于深度学习模型的高光谱图像分类。 IEEE传输。 地质科学。 远程传感器。 2018 , 56 , 5408–5423. [ 谷歌学者 ] [ 交叉参考 ] 马,X。; Wang,H。; Geng,J.基于深度自动编码器的高光谱图像光谱空间分类。 IEEE J.选择。 顶部。 申请。 地球目标遥感。 2016 , 9 , 4073–4085. [ 谷歌学者 ] [ 交叉参考 ] 潘,B。; 施,Z。; Xu,X.MugNet:使用有限样本进行高光谱图像分类的深度学习。 ISPRS J.摄影。 远程传感器。 2018 , 145 , 108–119. [ 谷歌学者 ] [ 交叉参考 ] 何,Z。; 刘,H。; Wang,Y。; Hu,J.基于生成对抗网络的半监督学习用于高光谱图像分类。 远程传感器。 2017 , 9 , 1042. [ 谷歌学者 ] [ 交叉参考 ] 钟,Z。; Li,J.等人。; 罗,Z。; Chapman,M.Spectral–高光谱图像分类的空间残差网络:三维深度学习框架。 IEEE传输。 地质科学。 远程传感器。 2018 , 56 , 847–858. [ 谷歌学者 ] [ 交叉参考 ] 黄,G。; 刘,Z。; 劳伦斯,V.D.M。; Weinberger,K.Q.密集连接卷积网络。 2017年7月21日至26日在美国夏威夷州火奴鲁鲁举行的IEEE计算机视觉和模式识别会议记录。 [ 谷歌学者 ] Long,J。; 谢尔哈默,E。; Darrell,T.语义分割的完全卷积网络。 IEEE传输。 模式分析。 机器。 智力。 2014 , 39 , 640–651. [ 谷歌学者 ] Sermanet,P。; Kavukcuoglu,K。; 钦塔拉,S。; Lecun,Y.行人检测与无监督多阶段特征学习。 2013年6月23日至28日,美国俄勒冈州波特兰,IEEE计算机视觉和模式识别会议记录。 [ 谷歌学者 ] 哈里哈兰,B。; 阿贝莱兹,P。; Girshick,R。; Malik,J.Hypercolumns用于对象分割和细粒度定位。 2015年IEEE计算机视觉和模式识别研讨会会议记录,美国马萨诸塞州波士顿,2015年6月7-12日。 [ 谷歌学者 ] 洛夫,S。; Szegedy,C.批处理规范化:通过减少内部协变量转移加快深层网络培训。 2015年7月6日至11日,法国里尔,第32届国际机器学习会议(ICML 2015)会议记录; 第448–456页。 [ 谷歌学者 ] 格洛洛特,X。; Bordes,A。; Bengio,Y.深度稀疏整流神经网络。 美国佛罗里达州劳德代尔堡AISTATS会议记录,2011年4月11日至13日; 第3页。 [ 谷歌学者 ] Lecun,Y。; 博图,L。; Y.本吉奥。; Haffner,P.基于梯度的学习应用于文档识别。 程序。 电气与电子工程师协会 1998 , 86 , 2278–2324. [ 谷歌学者 ] [ 交叉参考 ] [ 绿色版本 ] Mnih,V。; 海斯,N。; 格雷夫斯,A。; Kavukcuoglu,K.视觉注意力的递归模型。 《第27届神经信息处理系统国际会议论文集》,2014年12月8日至13日,美国加利福尼亚州蒙特利尔。 [ 谷歌学者 ] Xu,K。; 巴·J。; 基罗斯,R。; Cho,K。; 科尔维尔,A。; Salakhudinov,R。; 泽梅尔,R。; Bengio,Y.展示、出席并讲述:用视觉注意力生成神经图像字幕。 《机器学习国际会议论文集》,2015年7月6日至11日,法国里尔; 第2048-2057页。 [ 谷歌学者 ] Zhu,Y。; 格罗斯,O。; 伯恩斯坦,M。; Fei-Fei,L.Visual7w:图片中的扎根问题回答。 2015年6月7日至12日在美国马萨诸塞州波士顿举行的计算机视觉和模式识别(CVPR)会议记录; 第4995–5004页。 [ 谷歌学者 ] Yang,Z。; 何,X。; 高杰。; 邓,L。; Smola,A.图像问题回答的堆积注意力网络。《计算机视觉和模式识别会议论文集》,美国内华达州拉斯维加斯,2016年6月27日至30日; 第21-29页。 [ 谷歌学者 ] Nam,H。; Ha,J.W。; Kim,J.用于多模态推理和匹配的双注意网络。 2017年7月21日至26日在美国夏威夷州火奴鲁鲁举行的计算机视觉和模式识别(CVPR)会议记录; 第2156-2164页。 [ 谷歌学者 ] 胡,J。; 沈,L。; Sun,G.挤压和励磁网络。 arXiv公司 2017 ,arXiv:1709.01507。 [ 谷歌学者 ] Fu,J。; 郑浩。; Mei,T.走近看得更好:用于细粒度图像识别的递归注意卷积神经网络。 2017年7月21日至26日在美国夏威夷州火奴鲁鲁举行的IEEE计算机视觉和模式识别会议(CVPR)会议记录; 第4476-4484页。 [ 谷歌学者 ] 李,H。; 熊,P。; An,J。; Wang,L.语义分割金字塔注意网络。 arXiv公司 2018 ,arXiv:1805.10180v2。 [ 谷歌学者 ] Wang,F。; 江,M。; 钱,C。; Yang,S。; 李,C。; 张,H。; 王,X。; Tang,X.图像分类的剩余注意网络。 2017年7月21日至26日,美国夏威夷州火奴鲁鲁IEEE计算机视觉和模式识别会议(CVPR)会议记录。 [ 谷歌学者 ] A.纽厄尔。; Yang,K。; Deng,J.堆叠沙漏网络用于人体姿势估计。 2016年10月8日至16日,荷兰阿姆斯特丹,欧洲计算机视觉会议记录。 [ 谷歌学者 ] Yu,F。; Koltun,V.通过膨胀卷积实现多尺度上下文聚合。 2016年5月2日至4日在波多黎各圣胡安举行的学习代表国际会议记录。 [ 谷歌学者 ] 李,F。; 徐,L。; Siva,P。; Wong,A。; Clausi,D.A.使用增强集成学习和条件随机场对有限标记训练样本进行高光谱图像分类。 IEEE J.选择。 顶部。 申请。 地球目标遥感。 2015 , 8 , 1–12. [ 谷歌学者 ] [ 交叉参考 ] 他,K。; 张,X。; 任,S。; Sun,J.深入研究整流器:在图像网络分类方面超越人类水平的性能。 2015年12月7日至13日,智利圣地亚哥,计算机视觉国际会议记录; 第1026–1034页。 [ 谷歌学者 ] 夏,J。; 横屋,N。; Iwasaki,A.用典型相关森林进行高光谱图像分类。 IEEE传输。 地质科学。 远程传感器。 2017 , 55 , 1–11. [ 谷歌学者 ] [ 交叉参考 ]