基于无人机高光谱图像的松材线虫病早期检测的三维卷积神经网络模型
摘要
1.简介
2.材料和方法
2.1. 研究区域和地面测量
2.2. 机载数据采集和预处理
2.3. PWD感染阶段划分和数据标记
2.4. 模型构造
2.4.1. 三维CNN
2.4.2. 3D-Res-CNN分类模型的构建
(1) 从HI收集数据。 在这里,3D-CNN可以使用未经降维或特征滤波的原始数据,但本研究收集的数据量巨大,包含大量冗余信息。 因此,为了使我们的模型更加快速和轻量级,通过主成分分析(PCA)降低了原始数据的维数,并提取了11个主成分(PC)进行进一步分析。 以目标像素为中心,提取L×L×N大小的空间光谱立方体及其类别信息。 这里,L×L代表空间大小,N代表图像中的带数。 (2) 三维卷积运算后的特征提取。 该模型包括四个卷积层和两个完全连接层。 从上一步获得的空间光谱立方体(L×L×N)被用作模型的输入。 第一卷积层(Conv1)包含32个卷积核,大小为3×3×3,步长为1×1×1,填充为1。 32个输出三维立方体(cubes-Conv1)的大小为(L内核大小+2×填充)/步幅+1。 将32个立方-Conv1输入到第二卷积层(Conv2),得到32个输出三维立方(立方-Conv)。 对输入和立方Conv2的输出进行加法运算,并应用激活函数和池层(k=2×2×2,步长=2×2x2)进行下采样。 因此,这些立方体的长度、宽度和高度减少到原始值的一半; 32个输出三维立方体表示为立方体-Pool1。 经过两轮以上的卷积运算,得到立方Conv4; 对cubes-Pool1和cubes-Conv4执行了添加操作。 应用激活函数和池层后,长度、宽度和高度再次减少到原始值的一半,32个输出立方体表示为立方体-Pool2。 (3) 剩余区块。 剩余结构由两个卷积层组成。 数据被输入到第一卷积层(Conv1R),并使用校正线性单元(ReLU)激活函数。 将Conv1R的输出输入到第二卷积层(Conv2R),并使用ReLU激活函数获得Conv2R的输出。对Conv1R和Conv2R.的输出进行加法运算,然后使用ReLU-激活函数获得整个剩余结构的输出。 (4) 完全连接的层。 对立方体-Pool2的特征进行了展平,并通过应用全连接层,将立方体-Pool2转换为大小为1×128的特征向量。 (5) 逻辑回归。 在完全连接的层之后添加逻辑回归分类器。 Softmax用于多重分类。 在展平输入数据的特征之后,可以将这些特征的概率附加到每个类别的树上。
2.5. 3D-Res CNN与其他模型的比较
2.6. 数据集划分和评估指标
3.结果
4.讨论
4.1. 不同模型的比较及剩余学习的贡献
4.2. PWD的早期监测
4.3. 现有不足和未来展望
5.结论
作者贡献
基金
机构审查委员会声明
知情同意书
数据可用性声明
致谢
利益冲突
工具书类
Mamiya,Y。; Kiyohara,T.描述 褐飞虱 松木中的N.Sp.(线虫纲:Aphelenchoididae)和线虫感染树木的组织病理学。 线虫学 1972 , 18 , 120–124. [ 谷歌学者 ] [ 交叉参考 ] Rodrigues,M.松林线虫国家根除计划。 在 松萎病:全球范围内对森林生态系统的威胁 ; Mota,M.M.,Vieira,P.,编辑。; 施普林格:加藤文美,日本,2008年; 第5-14页。 [ 谷歌学者 ] 罗伯逊,L。; 科巴乔·阿科斯,S。; Escuer,M。; Santiago Merino,R。; Esparrago,G。; 阿贝莱拉,A。; Navas,A.松材线虫的发病率 木纹短柱线虫 斯坦纳和布勒,1934年(尼克尔,1970年),西班牙。 线虫学 2011 , 13 , 755–757. [ 谷歌学者 ] 丰塞卡,L。; 桑托斯,M。; 桑托斯,M。; 柯蒂斯,R。; Abrantes,I.葡萄牙语的形态计量学特征 木虱 具有短尖、趾状或圆尾雌性的分离株。 植物疗法。 梅迪特尔。 2009 , 47 , 223–2334. [ 谷歌学者 ] Ye,J.中国松材线虫病流行现状及其防治技术和对策。 科学。 席尔瓦。 罪。 2019 , 55 , 1–10. [ 谷歌学者 ] Togashi,K。; 荒川,Y.水平传输 木虱 性别之间 松墨天牛 . J.线虫。 2003 , 35 , 7–16. [ 谷歌学者 ] [ 公共医学 ] 小林,F。; Yamane,A。; Ikeda,T.日本松材锯叶甲作为松材线虫病的媒介。 每年。 昆托摩尔牧师。 2003 , 29 , 115–135. [ 谷歌学者 ] [ 交叉参考 ] Mamiya,Y.松材线虫病的病理学 木虱 . 每年。 植物疗法评论。 1983 , 21 , 201–220. [ 谷歌学者 ] [ 交叉参考 ] [ 公共医学 ] Yu,H。; Wu,H。; 张,X。; Wang,L。; 张,X。; Song,Y.关于 落叶松 感染的spp 木虱 在自然环境中。 对于。 害虫。 2019 , 38 , 7–10. [ 谷歌学者 ] 潘,L。; 李毅。; 刘,Z。; 孟,F。; 陈,J。; 张欣。辽宁省凤城市红松松材线虫的分离与鉴定。 对于。 害虫。 2019 , 38 , 1–4. [ 谷歌学者 ] Yu,R。; 任,L。; Luo,Y.使用现场便携式光谱仪和基于无人机的高光谱图像早期检测华北油松松材线虫病。 对于。 生态系统。 2021 , 8 , 44. [ 谷歌学者 ] [ 交叉参考 ] Lin,X.松材线虫病危害及防治措施综述。 华东地区。 管理。 2015 , 29 , 28–30. [ 谷歌学者 ] 艾伦,C.D。; 布雷谢尔斯,D.D。; McDowell,N.G.关于低估全球对人类世更热干旱导致的树木死亡和森林死亡的脆弱性。 生态圈 2015 , 6 , 1–55. [ 谷歌学者 ] [ 交叉参考 ] Wong,C.M。; 丹尼尔斯,L.D.气候、一种引入的病原体和小蠹虫之间的多重交互作用引发了新的森林衰退。 手套。 青稞酒。 生物。 2017 , 23 , 1926–1941. [ 谷歌学者 ] [ 交叉参考 ] [ 公共医学 ] [ 绿色版本 ] Kärvemo,S。; 约翰森,V。; 施罗德,M。; Ranius,T.在大规模爆发期间,树皮甲虫的局部定殖-灭绝动态。 生态圈 2016 , 7 ,e01257。 [ 谷歌学者 ] [ 交叉参考 ] [ 绿色版本 ] Umebayashi,T。; 山田,T。; 福原康夫。; Endo,R。; Kusumoto,D。; Fukuda,K。木材中松材线虫的原位观察。 《欧洲植物病原学杂志》。 2017 , 147 , 463–467. [ 谷歌学者 ] [ 交叉参考 ] Kim,S.-R。; Lee,W.-K。; Lim,C.-H。; Kim,M。; 卡法托斯,M。; 李·S·H。; Lee,S.-S.高光谱分析松材线虫病以确定最佳检测指标。 森林 2018 , 9 , 115. [ 谷歌学者 ] [ 交叉参考 ] [ 绿色版本 ] Iordache,医学博士。; 曼塔斯,V。; 巴尔塔扎尔,E。; Pauly,K。; Lewyckyj,N.一种使用航空光谱图像检测松材线虫病的机器学习方法。 远程传感器。 2020 , 12 , 2280. [ 谷歌学者 ] [ 交叉参考 ] 吴,B。; 梁,A。; 张,H。; Zhu,T。; 邹,Z。; Yang,D。; 唐·W。; 李,J。; Su,J.基于传统无人机的高通量目标检测在深度学习松树枯萎病早期诊断中的应用。 对于。 经济。 管理。 2021 , 486 , 118986. [ 谷歌学者 ] [ 交叉参考 ] Yu,R。; 罗,Y。; 周,Q。; 张,X。; Ren,L.使用深度学习算法和基于无人机的多光谱图像早期检测松材线虫病。 对于。 经济。 管理。 2021 , 497 , 119493. [ 谷歌学者 ] [ 交叉参考 ] 梅耶拉,J。; Keski-Saari,S。; Kivinen,S。; Tanhuanpää,T。; Hurskainen,P。; 库尔伯格,P。; 波科莱恩,L。; 维尼卡,A。; 托米宁,S。; Kumpula,T.公司。; 等。使用三维卷积神经网络从机载高光谱和激光雷达数据中进行树种分类。 遥感环境。 2021 , 256 , 112322. [ 谷歌学者 ] [ 交叉参考 ] 牟,L。; 加米西,P。; 朱晓霞。用于高光谱图像分类的深度递归神经网络。 IEEE传输。 地质科学。 远程传感器。 2017 , 55 , 3639–3655. [ 谷歌学者 ] [ 交叉参考 ] [ 绿色版本 ] LeCun,Y。; Y.本吉奥。; Hinton,G.深度学习。 自然 2015 , 521 , 436–444. [ 谷歌学者 ] [ 交叉参考 ] 张,B。; 赵,L。; Zhang,X.利用航空高光谱图像进行树种分类的三维卷积神经网络模型。 遥感环境。 2020 , 247 , 111938. [ 谷歌学者 ] [ 交叉参考 ] 辛顿,G。; Salakhutdinov,R.用神经网络降低数据的维数。 科学类 2006 , 313 , 504–507. [ 谷歌学者 ] [ 交叉参考 ] [ 公共医学 ] [ 绿色版本 ] 文森特,P。; 拉罗谢尔,H。; 我·拉朱伊。; Y.本吉奥。; Manzagol,P.A。; Bottou,L.堆叠去噪自动编码器:使用局部去噪标准学习深层网络中的有用表示。 J.马赫。 学习。 物件。 2010 , 11 , 3371–3408. [ 谷歌学者 ] 克里日夫斯基,A。; Sutskever,I。; Hinton,G.Imagenet用深度卷积神经网络进行分类。 高级神经信息处理。 系统。 2012 , 25 , 1097–1105. [ 谷歌学者 ] [ 交叉参考 ] Girshick,R。; Donahue,J。; Darrell,T。; Malik,J.Rich用于精确对象检测和语义分割的特征层次。 《IEEE计算机视觉和模式识别会议论文集》,美国俄亥俄州哥伦布,2014年6月23日至28日; 第580-587页。 [ 谷歌学者 ] Simonyan,K。; 用于大规模图像识别的极深卷积网络。 arXiv公司 2014 ,arXiv:1409.1556。 [ 谷歌学者 ] 塞格迪,C。; 刘伟。; 贾毅。; Sermanet,P。; 里德,S。; 安格洛夫,D。; Erhan,D。; Vanhoucke,V。; Rabinovich,A.深入研究卷积。 《IEEE计算机视觉和模式识别会议论文集》,美国马萨诸塞州波士顿,2015年6月7-12日; 第1-9页。 [ 谷歌学者 ] 秦,J。; 王,B。; Wu,Y。; 卢奇。; Zhu,H.使用无人机图像和深度学习算法识别松木线虫病。 远程传感器。 2021 , 13 , 162. [ 谷歌学者 ] [ 交叉参考 ] 陶,H。; 李,C。; 赵,D。; 邓,S。; Jing,W.基于深度学习的无人机图像死松树检测。 Int.J.远程传感器。 2020 , 41 , 8238–8255. [ 谷歌学者 ] [ 交叉参考 ] 陈,Y。; 姜浩。; 李,C。; 贾,X。; Ghamisi,P.基于卷积神经网络的高光谱图像深层特征提取和分类。 IEEE传输。 地质科学。 远程传感器。 2016 , 54 , 6232–6251. [ 谷歌学者 ] [ 交叉参考 ] [ 绿色版本 ] 他,M。; Bo,L。; Chen,H.用于高光谱图像分类的多尺度三维深度卷积神经网络。 2017年IEEE图像处理国际会议(ICIP)会议记录,2017年9月17日至20日,中国北京; 第3904–3908页。 [ 谷歌学者 ] 李毅。; 张,H。; Shen,Q.利用三维卷积神经网络对高光谱图像进行光谱空间分类。 远程传感器。 2017 , 9 , 67. [ 谷歌学者 ] [ 交叉参考 ] [ 绿色版本 ] He,K。; 张,X。; 任,S。; Sun,J.图像识别的深度剩余学习。 2016年6月27日至30日,美国内华达州拉斯维加斯,IEEE计算机视觉和模式识别会议记录; 第770-778页。 [ 谷歌学者 ] He,K。; 张,X。; 任,S。; Sun,J.深度剩余网络中的恒等式映射。 莱克特。 注释计算。 科学。 2016 , 630–645. [ 谷歌学者 ] [ 交叉参考 ] [ 绿色版本 ] 钟,Z。; 李,J。; 罗,Z。; Chapman,M.高光谱图像分类的光谱空间残差网络:三维深度学习框架。 IEEE传输。 地质科学。 远程传感器。 2017 , 56 , 847–858. [ 谷歌学者 ] [ 交叉参考 ] 卢,Z。; 徐,B。; Sun,L。; 詹,T。; Tang,S.用于高光谱图像分类的基于三维通道和空间注意力的多尺度空间-光谱残差网络。 IEEE J.选择。 顶部。 申请。 地球目标遥感。 2020 , 13 , 4311–4324. [ 谷歌学者 ] [ 交叉参考 ] 赵,L。; 张,X。; Wu,Y。; Zhang,B.基于3D-CNN的机载高光谱数据亚热带森林树种分类。 科学。 席尔瓦。 罪。 2020 , 11 , 97–107. [ 谷歌学者 ] 顾J。; Wang,J。; Braasch,H。; 西伯利亚州伯爵梅斯特。; Schroder,T.黑曲霉酸分离物(M型)的形态和分子特征 木虱 (线虫:无刺类)。 Russ.J.线虫。 2011 , 19 , 103–120. [ 谷歌学者 ] Iwahori,H。; Futai,K。接种松材线虫的松树愈伤组织的脂质过氧化和离子渗出。 日本。 J.涅马托尔。 1993 , 23 , 79–89. [ 谷歌学者 ] [ 交叉参考 ] 季S。; 徐伟(Xu,W.)。; 杨,M。; Yu,K.三维卷积神经网络用于人体动作识别。 IEEE传输。 模式分析。 机器。 智力。 2013 , 35 , 221–231. [ 谷歌学者 ] [ 交叉参考 ] [ 绿色版本 ] Tran,D。; Boudev,L。; 弗格斯,R。; 托雷萨尼,L。; Paluri,M.使用3D卷积网络学习时空特征。 2015年12月7日至13日在智利圣地亚哥举行的IEEE计算机视觉国际会议记录; 第4489–4497页。 [ 谷歌学者 ] 辛顿,通用电气公司。; 北斯利瓦斯塔瓦。; Krizhevsky,A。; Sutskever,I。; Salakhutdinov,R.R.通过防止特征检测器的联合自适应来改进神经网络。 计算。 科学。 2012 ,arXiv:1207.0580。 [ 谷歌学者 ] Congalton,R.遥感数据分类准确性评估综述。 遥感环境。 1991 , 37 , 35–46. [ 谷歌学者 ] [ 交叉参考 ] 郝,Z。; 李毅。; 姜瑜。高光谱图像分类深度学习:现状和前景。 自动驾驶。 罪。 2018 , 44 , 961–977. [ 谷歌学者 ] Yu,R。; 罗,Y。; 周,Q。; 张,X。; Wu,D。; Ren,L.使用基于无人机的高光谱图像和激光雷达数据在树级检测松材线虫病的机器学习算法。 国际J申请。 地球。 对象。 2021 , 101 , 102363. [ 谷歌学者 ] [ 交叉参考 ] 霍,L。; 佩尔松,H.J。; Lindberg,E.从欧洲云杉树皮甲虫攻击中早期检测森林压力,以及新的植被指数:归一化距离红色和SWIR(NDRS)。 遥感环境。 2021 , 255 , 112240. [ 谷歌学者 ] 张,N。; 张,X。; Yang,G。; 朱,C。; 霍,L。; Feng,H.使用基于无人机的高光谱图像评估油松毛虫Tsai et Liu灾难爆发期间的落叶情况。 遥感环境。 2018 , 217 , 323–339. [ 谷歌学者 ] [ 交叉参考 ] 李毅。; 张欣。松材线虫病发病机制的研究进展。 J.环境。 昆虫学。 2018 , 40 , 231–241. [ 谷歌学者 ] 塞格迪,C。; 洛夫,S。; Vanhoucke,V。; Alemi,A.Inception-v4,Inception-Resnet和残余联系对学习的影响。 2017年2月4日至9日在美国加利福尼亚州旧金山举行的第三十一届AAAI人工智能会议记录; 第31卷。 [ 谷歌学者 ] 谢S。; Girshick,R。; 多拉,P。; 涂,Z。; He,K.深度神经网络的聚合残差变换。 2017年7月21日至26日在美国夏威夷州火奴鲁鲁举行的IEEE计算机视觉和模式识别会议记录; 第5987–5995页。 [ 谷歌学者 ] 尹,J。; 齐,C。; 陈,Q。; Qu,J.高光谱图像分类的空间光谱网络:3-D CNN和Bi-LSTM框架。 远程传感器。 2021 , 13 , 2353. [ 谷歌学者 ] [ 交叉参考 ] 龚,H。; 李,Q。; 李,C。; 戴,H。; 何,Z。; Wang,W。; 李,H。; Han,F。; 图尼亚齐,A。; Mu,T.基于混合2D-3D CNN的高光谱图像分类多尺度信息融合。 远程传感器。 2021 , 13 , 2268. [ 谷歌学者 ] [ 交叉参考 ] 张,B。; Ye,H。; 卢·W。; 黄,W。; 吴,B。; 郝,Z。; Sun,H.一种使用高分辨率遥感图像监测复杂景观中松树萎蔫病的时空变化检测方法。 远程传感器。 2021 , 13 , 2083. [ 谷歌学者 ] [ 交叉参考 ] 夏,L。; 张,R。; Chen,L。; 李,L。; Yi,T。; 温,Y。; 丁,C。; Xie,C.无人机图像中松树萎蔫病检测的深度学习分割模型评估。 远程传感器。 2021 , 13 , 3594. [ 谷歌学者 ] [ 交叉参考 ] 古德费罗,I。; 波杰·阿巴迪,J。; 米尔扎,M。; 徐,B。; Warde-Farley,D。; Ozair,S。; 科尔维尔,A。; Bengio,Y.生成性对抗网络。 高级神经信息处理。 系统。 2014 ,arXiv:1406.2661。 [ 谷歌学者 ] 古德费罗,I。; Pouget-Abadie,J。; 米尔扎,M。; 徐,B。; Warde Farley博士。; Ozair,S。; 科尔维尔,A。; Bengio,Y.生成性对抗网络。 Commun公司。 ACM公司 2020 , 63 , 139–144. [ 谷歌学者 ] [ 交叉参考 ] 张,M。; 龚,M。; He,H。; Zhu,S.高光谱图像分类中基于对称全卷积神经网络的无监督特征提取。 IEEE传输。 赛博。 2020 , 1–13. [ 谷歌学者 ] [ 交叉参考 ] [ 公共医学 ] Riaño,D。; 瓦拉达雷斯,F。; 孔戴斯,s。; Chuvieco,E.利用机载激光扫描仪(Lidar)在两个对比森林中估算叶面积指数和覆盖面积。 农业。 对于。 美托洛尔。 2004 , 114 , 269–275. [ 谷歌学者 ] [ 交叉参考 ] 多诺霍,D.N.M。; 瓦特,P.J。; 新泽西州考克斯。; Wilson,J.使用激光雷达高度和强度数据遥感针叶林物种混合物。 遥感环境。 2007 , 110 , 509–522. [ 谷歌学者 ] [ 交叉参考 ] Hovi,A。; Korhonen,L。; Vauhkonen,J。; Korpela,I.树种分类的激光雷达波形特征及其对树木和采集相关参数的敏感性。 遥感环境。 2016 , 173 , 224–237. [ 谷歌学者 ] [ 交叉参考 ] 刘,L。; 北卡罗来纳州库普斯。; 西北部阿文。; Pang,Y.使用综合航空高光谱和激光雷达遥感数据绘制城市树种地图。 遥感环境。 2017 , 200 , 170–182. [ 谷歌学者 ] [ 交叉参考 ] 李,Q。; Wong,F。; Fung,T.根据多光谱、高光谱和激光雷达数据绘制多层红树林地图。 遥感环境。 2021 , 258 , 112403. [ 谷歌学者 ] [ 交叉参考 ] 孟·R。; P.E.丹尼森。; 赵,F。; Shendryk,I。; Rickert,A。; 哈纳万,R.P。; 库克,B.D。; Serbin,S.P.使用双时间机载成像光谱仪和激光雷达测量,绘制了单株树木上草食昆虫的树冠落叶图。 遥感环境。 2018 , 215 , 170–183. [ 谷歌学者 ] [ 交叉参考 ] 林,Q。; 黄,H。; Wang,J。; 黄,K。; Liu,Y.使用基于无人机的高光谱图像和激光雷达在单株树水平上检测松树上的松枝甲虫(PSB)胁迫。 远程传感器。 2019 , 11 , 2540. [ 谷歌学者 ] [ 交叉参考 ] [ 绿色版本 ] 林,Q。; 黄,H。; Chen,L。; Wang,J。; 黄,K。; Liu,Y.使用3D模型RAPID反演垂直异质性云南松林的梢枯率,以检测甲虫的危害。 遥感环境。 2021 , 260 , 112475. [ 谷歌学者 ] [ 交叉参考 ]