杂志的下一篇文章
1982-2015年蒙古高原干旱半干旱过渡带植被绿度变化及其对气候变化的响应
下一篇特刊文章
出苗后小麦冠层叶片水分垂直分布的估算
期刊上的上一篇文章
2019年Stromboli火山爆发活动:多学科方法揭示“意外”7月3日爆发的隐藏特征
特刊上一篇文章
基于无人机的高光谱图像检测冬小麦赤霉病
 
 
订购文章重印
字体类型:
宋体 佐治亚州 宋体,Verdana
字体大小:
澳大利亚 澳大利亚 澳大利亚
行距:
列宽:
背景:
第条

基于无人机高光谱图像的松材线虫病早期检测的三维卷积神经网络模型

1
北京林业大学林业学院森林病虫害防治重点实验室,北京100083
2
中法欧亚大陆入侵森林害虫联合实验室,北京林业大学法国农业、食品和环境研究所,中国北京100083
北京林业大学国家林业和草原管理局森林管理工程研究中心,北京100083
*
应向其寄送信件的作者。
远程传感器。 2021,13(20), 4065;https://doi.org/10.3390/rs13204065
收到的提交文件:2021年9月2日/修订日期:2021年10月7日/接受日期:2021年10月8日/发布日期:2021年10月11日

摘要

:
松材线虫病(PWD)是我国松林最具破坏性的灾害之一,给我国造成了巨大的生态和经济损失。预防大规模PWD疫情的有效方法是在PWD感染的早期发现并清除受损的松树。然而,早期感染的松树在可见波长范围内没有表现出明显的形态或颜色变化,这使得早期检测PWD很困难。基于无人机(UAV)的高光谱图像(HI)在PWD早期检测方面具有巨大潜力。然而,常用的方法,如二维卷积神经网络(2D-CNN),无法同时提取和充分利用空间和光谱信息,而三维卷积神经网(3D-CNN)能够从原始高光谱数据中收集这些信息。本文将残差块应用于3D-CNN,构建了3D-Res-CNN模型,并将其与3D-CN、2D-CNN和2D-Res-CNN在高光谱图像中识别PWD感染松树的性能进行了比较。3D-Res-CNN模型优于其他模型,在检测早期感染松树(EIP)方面,总体准确率(OA)为88.11%,准确率为72.86%。仅使用20%的训练样本,3D-Res-CNN的OA和EIP准确率仍能达到81.06%和51.97%,这在基于高光谱图像的PWD早期检测中优于最先进的方法。总的来说,3D-Res CNN在PWD的早期检测中更加准确有效。综上所述,本文提出3D-Res-CNN用于PWD的早期检测,使PWD的预测和控制更加准确有效。该模型也可用于检测森林中其他病虫害对松树的危害。

1.简介

松材线虫病(PWN)引起的松材枯萎病(PWD,也称为松树“癌症”);木虱)是危害最大、潜在的国际检疫性森林病害之一[1]. PWD起源于北美,但现在在全球范围内广泛发生(图1) [2,,4,5]对全球森林生态系统造成了巨大破坏。在自然环境中,PWD的发病机制如下。当携带PWN的病媒昆虫从松树上出现时,它们会定位并以松树枝条幼芽的树皮为食,给松树造成创伤[6]. 然后,PWN侵入伤口并吞噬松树的木质部[7,8],导致树的血管堵塞。最后,松树的蒸腾作用逐渐丧失,根系吸收的水分无法到达树冠;因此,松针会枯萎,最终整个松树都会死亡。PWN感染的详细过程如所示图2.
自1982年中国首次发现PWD以来,全国多个省份都有发现,并呈向北扩散的趋势(图3) [9]. 同时,盐蜥(Gebler,1830)已被确认为中国北方PWD的新昆虫媒介(图4) [9,10]. PWD对马尾松,油松、红松以及其他松树物种正在向北蔓延(图3) [5,11]. 松材线虫病已成为中国松林最具破坏性的病害之一,给中国松林带来了毁灭性的灾害和巨大的经济损失[12]. 此外,全球变暖也对森林生态系统产生了重大影响[13,14]. 由于温度较高,当适宜栖息地范围扩大时,森林害虫的种群密度将呈指数增长[15].
为了有效地控制和监测松材线虫病,利用松材线虫病检测早期感染松树具有重要意义。然而,实现PWD早期监测的目标是一项艰巨的任务,因为松树从PWD感染的早期发展到晚期只需要五周时间[16]. 目前,控制PWD的主要管理做法是通过砍伐和焚烧清除感染PWD的枯树[11,17]. 为了实现早期检测PWD的目标,迫切需要一种快速有效的松林监测方法。PWD对策中的另一个障碍是松林群落非常大,这使得传统的地面调查不切实际。
为了解决这些问题,遥感(RS)作为一种潜在的检测方法被用于监测PWD。通过减少空间和时间限制,RS技术越来越适合大规模应用。
高光谱遥感(HRS)具有窄带特性,可以同时表达空间和光谱信息。HRS可以捕获目标的连续光谱数据;因此,它可以用于检测PWD感染早期松树针叶变色过程中光谱特征的微小变化(肉眼难以检测)。Kim等人[17]研究了PWD的高光谱分析,发现在接种PWN后的两个月内,大多数感染松树的红色和中红外波长的反射率发生了变化。Iordache等人[18]收集了基于无人机(UAV)的高光谱图像,并应用随机森林(RF)算法检测PWD,在区分健康、感染PWD和可疑松树方面取得了良好的效果。在另一项研究中,Yu等人[11]结合地面高光谱数据和基于无人机的高光谱图像,发现高光谱数据在利用红边参数进行PWD识别早期感染松树方面表现良好。这些结果表明,HRS在监测PWD方面具有巨大的潜力。然而,上述研究采用了传统的机器学习方法,无法直接从图像中识别空间和光谱信息[19,20]. 传统的机器学习算法用于整幅图像时,需要将三维数据展平为一维矢量数据。
由于传统机器学习模型的局限性,深度学习算法在高光谱图像分类中的应用越来越受到重视,为PWD检测提供了一种可行的解决方案。深度学习算法能够以端到端的方式从原始图像数据中直接有效地提取深度特征信息[21]. 此外,它可以更好地解释高维数据的复杂结构,并通过多层神经网络操作获得更好的精度[22]. 近几年来,深度学习在计算机视觉和图像处理领域取得了良好的成绩,并广泛应用于图像分类和目标检测[21,23,24]. 目前,深度信念网络(DBN)[25],堆叠式自动编码器(SAE)[26]卷积神经网络[27]和其他模型已应用于HI分类,CNN在分类和目标检测任务上明显优于其他模型[28,29,30].
因此,CNN模型近年来在PWD研究中得到了广泛应用。在一项研究中,两种先进的物体检测模型,即You Only Look Once version 3(YOLOv3)和Faster Region based Convolutional Neural Network(Faster R-CNN),被用于PWD感染的早期诊断,取得了良好的结果,并为PWD的早期诊断提出了一种有效而快速的方法[19]. 在另一项研究中,Yu等人[20]采用Faster R-CNN和YOLOv4通过PWD鉴定早期感染的松树,揭示了通过考虑阔叶树可以优化PWD的早期检测。秦等人[31]提出了一种利用无人机图像识别PWD感染松树的新框架,即空间上下文关注网络(SCANet)。该研究获得了79%的总准确度(OA),为监测和管理PWD提供了一种有价值的方法。Tao等人[32]应用两种CNN模型(即AlexNet和GoogLeNet)和传统模板匹配(TM)方法预测PWD引起的死亡松树的分布,结果表明基于CNN的方法的检测精度优于传统TM方法。上述研究均基于二维CNN(2D-CNN)。这里,2D-CNN[27]可以从原始原始图像中获取空间信息,但不能有效提取光谱信息。当2D-CNN应用于HI分类时,需要对所有频带的原始数据进行二维卷积运算;卷积运算将非常复杂,因为每个频带都需要训练一组卷积核。与RGB波段的图像不同,网络中输入的高光谱数据通常包含数百个光谱维,这需要大量的卷积核。这将导致模型过拟合,大大增加计算成本。
为了解决这个困难,将三维CNN(3D-CNN)引入HI分类[33,34,35]. 这里,3D-CNN使用三维卷积同时在三维空间工作,直接从高光谱图像中提取光谱和空间信息。三维卷积核能够提取三维信息,其中两个表示空间维度,另一个表示光谱维度。HRS图像是一个三维立方体,因此3D-CNN可以同时直接提取空间数据和光谱数据。这些优点使3D-CNN成为更适合HI分类的模型。例如,梅耶拉等人[21]收集到的高光谱和激光雷达数据(激光雷达数据可以获得冠层高度模型,用于将地面参考数据与航空图像进行匹配),并使用3D-CNN模型从高光谱数据中对单个树种进行分类,表明3D-CN在区分针叶树种方面是有效的,同时在白杨分类中表现出较高的准确性。在另一项研究中,Zhang等人[24]利用高光谱图像,提出了一种用于树种分类的3D-1D卷积神经网络模型,将捕获的高层语义概念(联合空间光谱特征表示)转化为一维特征作为新的输入,学习更抽象的表达层次,实现了大面积、高精度、,高速多树种分类。此外,在CNN模型中使用残差学习可以通过解决网络的退化问题来优化模型的性能[36,37]. 剩余学习也可用于3D-CNN。例如,Zhong等人[38]设计了一种端到端光谱空间残差网络(SSRN),该网络选择尺寸为7×7×200的三维立方体作为输入数据,HI分类不需要特征工程。在SSRN中,通过构造光谱和空间残差块来提取光谱和空间特征,进一步提高了识别精度。Lu等人[39]提出了一种新的基于三维通道和空间注意的多尺度空间谱残差网络(CSMS-SSRN)。CSMS-SSRN使用三层并行残差网络结构,通过使用不同的三维卷积核从各自的残差块中不断学习空间和光谱特征,然后将提取的多尺度特征叠加到三维注意模块中。从通道和空间域两个方面增强了图像特征的表达能力,提高了分类模型的性能。
高光谱图像和3D-CNN模型也被用于林业领域,包括树种分类[21,24,40]. 在不同阶段对感染PWD的松树进行分类的原则与树种分类的原则是一致的。因此,3D-CNN有潜力成为一种理想可行的精确监测PWD的技术,这在以往的PWD研究中还没有探索过。受上述研究的启发,本研究的主要目的是探索使用3D-CNN和残差块识别PWD感染不同阶段松树的能力。
本文的其余部分结构如下:(1)构建2D-CNN和3D-CNN模型,以准确检测感染PWD的松树;(2) 比较2D-CNN和3D-CNN模型在松树PWD感染不同阶段的识别性能;(3) 探索在2D-CNN和3D-CNN模型中添加残差块以提高准确性的潜力;探索减少训练样本对模型准确性的影响。研究的总体工作流程如所示图5.

2.材料和方法

2.1. 研究区域和地面测量

研究区位于抚顺市东洲区(东经124°12′36〃-124°13′48〃,北纬41°56′53〃-41°57′46〃);图6)中国辽宁省。该地区属于大陆性季风气候,位于中温带。该地区的年平均气温约为5–7°C,年平均降雨量为760–790 mm。研究区的人工林以红松; 阔叶树种主要包括麻栎蒙古栎.
2021年5月8日至14日进行了地面勘测。在研究区域建立了28个样地(15 m×15 m)(图6). 在每个样地中,记录树木种类、针叶颜色、树木活力和每棵树的PWD感染阶段。使用手持差分全球定位系统(DGPS,中国广州南方测绘技术有限公司,S760版)测量采样树木的位置,精度为亚米。共测量了1152棵树。同时,随机抽取157棵松树(42棵松针变色,115棵没有变色),通过形态学和分子鉴定确定每棵松树是否携带PWN[41,42]. 结果表明,针叶变色的树木都携带PWN,并且超过80%(115棵树中的93棵)没有变色的树木被证实感染了PWN。因此,我们确认研究区域确实感染了PWD。

2.2. 机载数据采集和预处理

本研究使用了一架DJI Matrice 300无人机(DJI,中国深圳),搭载一个Pika L高光谱传感器(用于获取HI数据;Resonon,美国)和一个LR1601-IRIS LiDAR系统(用于收集LiDAR数据;IRIS Inc.,中国北京)。高光谱传感器的主要参数如所示表1激光雷达系统是未校准的,激光波长、脉冲重复频率和每个脉冲的回波分别为905 nm、5–20 Hz和2。无人机上安装了惯性测量单元(IMU)和全球定位系统(GPS),其水平和垂直位置误差分别为2.0和5.0 m。此外,还应用了Z-survey i50 RTK(中国上海华策导航技术有限公司)来提高POS(定位定向系统)的精度(图7). 整个无人机系统显示在图7.
基于无人机的HI和LiDAR数据采集于2021年5月11日11:40–12:20进行。RGB图像采集于2021年5月11日、6月10日和7月12日12:00–12:20进行。飞行期间天气晴朗无风。飞行高度设置为120米,正面和侧面重叠设置为60%,飞行速度为3米/秒。在飞行区域设置了标准白板。HI由281个波长范围为400-1000 nm的光谱通道组成。使用SpectrononPro软件(Resonon,Bozeman,MT,USA),使用3-m2地毯作为参考。通过应用六个地面控制点对图像进行几何校正,其位置使用DGPS设备测量,精度为亚米。HI的空间分辨率为0.44m。同步采集的LiDAR数据为高光谱数据预处理提供了准确的DEM数据。激光雷达数据在通用横轴墨卡托51N中进行了地理参考,并使用WGS1984基准作为坐标系。我们使用LiDAR360软件(4.1版,GreenValley Inc.,中国北京)对原始LiDAR数据中的地面、地上和林下点进行分类,以进行高光谱数据预处理。

2.3. PWD感染阶段划分和数据标记

在本研究中,通过多时间观测证实了PWD早期感染松树,即使用7月和6月采集的图像,在5月采集的大多数昆虫媒介出现并感染松树的图像中区分早期感染的松树(图8). 5月11日收集的HI作为模型的输入(图6b) ●●●●。红冠松树被定义为晚期感染松树。此外,我们还根据地面调查确定了图像中的阔叶树。根据上述标准,我们将高光谱图像中的树木标记为这三类。

2.4. 模型构造

2.4.1. 三维CNN

在传统的2D-CNN中,卷积运算仅用于捕获二维特征地图的空间特征。然而,在处理3D数据(例如,视频数据)时需要捕获空间和时间信息。为了克服这个障碍,提出了3D-CNN;在三维特征地图上进行三维卷积运算,以测量三维数据的时空特征[43]. 在HI分类中,必须保留目标的丰富光谱信息。二维卷积运算是将输入数据在空间维度上卷积,无论输入是二维数据还是三维数据,输出都是二维特征图,导致高光谱数据的光谱信息丢失。对于三维卷积运算,输入数据可以在空间和光谱维度上进行卷积。此外,三维卷积运算的输出是三维立方体,它可以保留高光谱图像的光谱信息。
HI包括空间和光谱信息。在本研究中,将来自图像的空间和光谱信息整合起来,以构建CNN分类模型。此外,用于HI分类的3D-CNN不是基于图像级特征,而是基于像素级特征,输入数据是像素周围的一组空间光谱邻域立方体,而不是整个图像[24].
与图像级分类任务不同,RS图像分类中应用的输入信息的空间尺寸较小,经过卷积后,特征图的空间尺寸进一步减小。通常,空间较小的卷积核可以用来避免输入数据的过度丢失。基于先前的研究[24,35,40,44]卷积核大小为3×3的3D-CNN模型在HI分类中表现出最好的性能,而卷积核为3×3x3的3D-CNN模型则在时空特征学习中取得了良好的效果[44]. 因此,在本研究中,将籽粒大小设置为3×3×3。此外,窗口大小设置为11×11,根据Zhang等人[24]卷积层步长为1。池层的内核大小为2×2×2,池层的步长设置为2。

2.4.2. 3D-Res-CNN分类模型的构建

3D-Res-CNN模型由四个卷积层、两个池层和两个剩余块组成。图9显示了模型体系结构,详细描述如下:
(1)
从HI收集数据。在这里,3D-CNN可以使用未经降维或特征滤波的原始数据,但本研究收集的数据量巨大,包含大量冗余信息。因此,为了使我们的模型更加快速和轻量级,通过主成分分析(PCA)降低了原始数据的维数,并提取了11个主成分(PC)进行进一步分析。以目标像素为中心,提取L×L×N大小的空间光谱立方体及其类别信息。这里,L×L代表空间大小,N代表图像中的带数。
(2)
三维卷积运算后的特征提取。该模型包括四个卷积层和两个完全连接层。从上一步获得的空间光谱立方体(L×L×N)被用作模型的输入。第一卷积层(Conv1)包含32个卷积核,大小为3×3×3,步长为1×1×1,填充为1。32个输出三维立方体(cubes-Conv1)的大小为(L内核大小+2×填充)/步幅+1。将32个立方-Conv1输入到第二卷积层(Conv2),得到32个输出三维立方(立方-Conv)。对输入和立方Conv2的输出进行加法运算,并应用激活函数和池层(k=2×2×2,步长=2×2x2)进行下采样。因此,这些立方体的长度、宽度和高度减少到原始值的一半;32个输出三维立方体表示为立方体-Pool1。经过两轮以上的卷积运算,得到立方Conv4;对cubes-Pool1和cubes-Conv4执行了添加操作。应用激活函数和池层后,长度、宽度和高度再次减少到原始值的一半,32个输出立方体表示为立方体-Pool2。
(3)
剩余区块。剩余结构由两个卷积层组成。数据被输入到第一卷积层(Conv1R),并使用校正线性单元(ReLU)激活函数。将Conv1R的输出输入到第二卷积层(Conv2R),并使用ReLU激活函数获得Conv2R的输出。对Conv1R和Conv2R.的输出进行加法运算,然后使用ReLU-激活函数获得整个剩余结构的输出。
(4)
完全连接的层。对立方体-Pool2的特征进行了展平,并通过应用全连接层,将立方体-Pool2转换为大小为1×128的特征向量。
(5)
逻辑回归。在完全连接的层之后添加逻辑回归分类器。Softmax用于多重分类。在展平输入数据的特征之后,可以将这些特征的概率附加到每个类别的树上。
模型的参数被随机初始化,并通过反向传播进行优化,以最小化网络损失并完成模型训练。在设置重量更新规则之前,需要一个合适的损失函数。本研究采用了适合处理大型数据集的小备份更新策略。损失函数的计算基于微差输入,公式如下:
L(左) 总工程师 ( ˆ ,   ) = = 1 n个 _ 日志 ( ˆ )
哪里是真正的标签 ˆ 是预测的标签。
网络中的第一个完全连接层和卷积层使用线性校正单元(即ReLU)作为激活函数,其中公式为:f(x)=max(0,x)[27]. ReLU是一种广泛使用的非饱和活化函数。在梯度下降和训练时间方面,ReLU的效率高于其他饱和激活函数。最后一个全连接层使用softmax激活函数,所有神经元激活的概率值之和为1。
该网络将丢失添加到两个完全连接的层。根据概率,将神经元的输出设置为0,以限制隐藏单元的交互,使网络能够学习更稳健的特征,并减少噪声和过拟合的影响,最终提高神经网络的性能[45].
构建网络后,配置训练过程,通过反向传播损失函数梯度更新三维卷积核的参数。批量大小为64,使用Adam优化器完成培训过程。Adam引入了动量和指数加权平均策略,可以自适应调整学习速率,加快模型收敛速度。其中,超参数设置如下:学习率=0.001,β_1=0.9,β_2=0.999,ε=1×10−8,并且衰减=0.0。这个模型被训练了300个时代。
表2显示了3D-Res CNN模型的架构。

2.5. 3D-Res CNN与其他模型的比较

为了测试3D-Res CNN模型在基于高光谱数据识别PWD感染松树中的性能,使用3D-CNN、2D-CNN和2D-Res CNN模型进行比较分析。
对于2D-CNN,主成分分析从原始高光谱数据的150个波段中生成11个主成分,并提取11×11×11数据作为原始特征。该网络包括四个卷积层、两个池层和两个完全连接层。卷积核的大小为3×3,每层有32个卷积核。3D-Res CNN的结构与2D-Res CNN相似。尽管3D Res-CNN与2D-CNN共享相同的参数,但它有五个卷积层,因为添加残差需要额外的卷积层。
2D-CNN、2D-Res CNN、3D-CNN和3D-Res CNN建模是使用Tensorflow框架在Python中实现的。操作平台包含Intel(R)Xeon(R)CPU E5–2620 v4@2.10 GHZ和NVIDIA GeForce RTX 2080Ti GPU。

2.6. 数据集划分和评估指标

我们把整个高光谱图像分成49小块(图10),并在分析后将结果图缝合在一起。同时,我们选择了6块作为训练数据,2块作为验证数据,4块作为测试数据(图10). 每一个树类别都按5:1:4的比例分为训练、验证和测试数据集。每个类别的特定像素数如所示表3.
通过计算生产者准确度(PA)、平均准确度(AA)、总体准确度(OA)和Kappa系数值来评估分类准确度[46]. 公式如下:
PA=每类正确分类像素数/每类总像素数
Kappa=(OA−e准确度)/(1−e精确度)
e准确性 = (   = 1 k个 V(V)   ×   Vm公司 ) / S公司 2
其中OA是总体准确性,k是类别数,电压是预测值,Vm是测量值,以及S公司是样本编号。

3.结果

400–1000 nm范围内阔叶树、早期感染松树和晚期感染松树的反射率曲线如所示图11在阔叶树和两个感染阶段的松树中,光谱反射率差异最明显的是绿峰(520-580nm)、红边(660-780nm)和近红外(720-900nm)。此外,我们使用的模型仍然错误地将早期感染的松树分类为阔叶树,因为早期感染松树的光谱与阔叶树相似(图11).
此外,2D-CNN在分类任务中没有取得令人满意的结果(OA:67.01%;图12表4). 此外,它几乎无法在分辨率相对较低的高光谱图像中识别早期感染的松树,这可能会受到与阔叶树相似的树冠颜色、轮廓或纹理的干扰。此外,通过在CNN模型中添加剩余块,提高了精度。应用2D-Res CNN模型,OA从67.01%提高到72.97%,早期感染松树的识别准确率从9.18%提高到24.34%(图12表4).
3D-CNN在区分三种树类别方面的性能优于2D-CNN。具体来说,3D-CNN的OA为83.05%,识别早期感染松树的准确率为59.76%(图12表4). 将残差块应用于3D-CNN模型时,3D-Res-CNN获得了更好的结果,OA为88.11%,识别早期感染松树的准确率为72.86%。
所有模型的分类性能如所示图13综上所述,所有模型都成功地识别了阔叶树和晚期感染松树。此外,结果表明,添加残差块可以大大提高分类精度,并且与没有残差块的模型相比,训练参数和总训练时间几乎没有变化(表4). 更重要的是,将2D-CNN转换为3D-CNN后,OA得到了显著改善,训练参数和训练时间也大大增加,这表明训练时间的增加是一个有价值的权衡。
在我们的研究中,培训、验证和测试样本的比例为5:1:4;相对充足的训练样本使我们取得了良好的成绩。高光谱数据庞大而复杂,在CNN的训练过程中,需要大量的样本才能更好地掌握分类模型的有价值特征。如果没有足够的训练样本,CNN模型可能无法达到令人满意的精度。然而,在实际的林业管理中,特别是在大规模应用中,很难收集到足够的训练样本,这将耗费人力物力。因此,在实际林业应用中,即使使用较少的训练样本,也必须确保模型具有良好的准确性。
为了验证所提出的3D Res-CNN模型在给定较小大小的训练样本时是否能够保持相对良好的精度,我们将训练样本减少到总样本大小的40%、30%、20%和10%,并计算其各自的精度。测试样品的数量保持不变,其余样品添加到验证样品中。
图14显示了不同训练数据集条件下的分类精度和时间消耗。结果表明,当训练样本量从50%减少到20%时,3D-Res-CNN模型的分类精度略有下降。当训练样本量为10%时,由于训练数据集的规模较小,识别早期感染松树的准确性异常。当训练样本量减少到20%时,3D-Res CNN模型的表现几乎与2D-CNN和2D-Res CNN模型一样好,甚至更好。当训练样本量设置为20%时,3D-Res-CNN模型的OA和Kappa值分别为81.06%和70.29%,识别早期感染松树的准确率为51.97%,仍优于2D-CNN。总体而言,3D-Res-CNN模型的精度随着训练样本量的减小而降低,但精度仍能满足大面积林业应用的要求。此外,使用较小训练样本量的3D-Res CNN模型的训练时间比使用全套训练样本的训练时间短(例如,使用30%训练样本时减少22.61%),这加快了分类任务的训练过程。一般来说,我们的3D-Res-CNN模型可以在实际林业应用中使用较少的样本。

4.讨论

4.1. 不同模型的比较及剩余学习的贡献

本研究应用2D-CNN和3D-CNN模型对感染PWD的松树进行识别。基于空间特征的分类方法(如2D-CNN)在高光谱数据分类中存在一些局限性[47]. 在数据处理之前,需要降低原始高光谱图像的维数,将高光谱图像转换为类似RGB的图像。一方面,如果不进行降维,参数的数量将非常大,很容易过度拟合。另一方面,降维可能会破坏包含数百个波段的高光谱图像的光谱结构,导致光谱信息的损失和HI数据的一些特定属性的浪费。此外,高光谱图像的空间分辨率往往低于RGB图像,因此2D-CNN很难准确区分早期感染的松树和颜色、轮廓或纹理相近的树冠。
与需要对原始图像进行降维的2D-CNN不同,3D-CNN直接并同时从原始高光谱图像中提取空间和光谱信息。在本研究中,3D-CNN模型与其他模型相比具有更好的精度(表4图12). 虽然增加了训练参数和训练时间,但分类精度也大大提高。用70分钟的训练时间换取20%以上的准确性是值得的。3D-Res CNN的整体训练时间(115分钟)完全可以满足大面积实际林业应用的要求。
在我们的工作中,通过添加残差块,模型精度大大提高。对于2D-CNN,添加残差块(即2D-Res CNN)后,OA从67.01%增加到72.97%,识别早期感染松树的准确率也提高了15.16%。对于3D-Res-CNN模型,与3D-CNN模型相比,OA(83.05%至88.11%)和识别早期感染松树的准确率(59.76%至72.86%)都有显著提高。此外,3D-Res CNN模型的训练时间仅增加了15分钟(3D-CNN训练时间的15%),而2D-Res CNN的训练时间与2D-CNN相比保持不变。这是因为通过残差CNN模型中的残差学习解决了网络的退化问题,从而可以获得更好的精度[36]. 因此,残差学习确实可以提高我们模型的分类精度,并且只增加了相对较短的训练时间。

4.2. PWD的早期监测

PWD已经摧毁了中国数十亿棵松树,导致了无数的生态和经济损失[5,11]. 因此,有必要在早期检测PWD并尽快采取预防措施。近年来,“早期监测”一直是森林有害生物研究的热点[18,48,49,50]. 然而,“早期”的准确定义很难确定,尤其是在PWD研究中。在本研究中,我们通过在一段时间内以相等的间隔连续观察特定松树,通过PWD确定早期感染的松树。一方面,除了PWD引起的松树树冠变色外,物候也会导致松树变色,这将影响“早期”的判断。另一方面,多时间观测特别耗时,因为一些实验需要几个月甚至几年的时间[18,19].
一些学者用PWN接种健康松树,并将这些树定义为PWD感染的早期阶段[17]. 首先,这种方法只适用于小样本,不能用于实际的大规模林业应用。其次,人工注射PWN不同于其在自然环境中的感染机制(通过媒介昆虫)。更重要的是,这样的操作很难实施,接种率也无法保证[51]. 因此,这种方法不适合于实际林业应用。
在森林害虫的实际控制中,通常需要在单个时间点检测PWD并在此时采取控制措施,而不是长期观察。在单个时间点检测PWD已经满足了实际林业管理的要求。因此,在实际林业应用中,应提出一种快速简便的方法来确认PWD的发生。在此基础上,应在PWD感染的最佳监测时间(调查中)获取基于无人机的RS图像,并通过树冠的颜色初步估计PWD感染阶段。此外,应设计并应用一种可行的PWN引诱剂,以确定松树是否在大规模区域携带PWD。结合这两个过程,及时预防和控制大规模林业应用中的PWD是可行的。

4.3. 现有不足和未来展望

在这项工作中,我们应用3D CNN和残差块构建了一个3D-Res CNN,并将其用于森林病虫害检测的研究(本研究中为PWD,但它可以用于其他森林疾病和病虫害的检测),这在以前的工作中是没有研究过的。在我们的工作中,提出的3D-Res-CNN是检测PWD的最佳模型。与二维CNN相比,它可以同时从高光谱图像中直接提取空间和光谱信息,使我们在识别PWD感染松树时更加准确。此外,仅使用20%的训练样本,3D-Res CNN的OA和EIP准确率仍可达到81.06%和51.97%,这在基于高光谱图像的PWD早期检测中优于最先进的方法[11,19,20,31,48]. 然而,在我们的研究中,当我们使用所提出的模型时,我们首先进行主成分分析,而不是直接使用原始数据(因为原始数据太大),这使得我们的分类过程不太方便。此外,庞大的高光谱数据对GPU的要求更高,训练时间相对较长。因此,未来应设计一种轻量级、快速收敛的3D CNN分类模型。此外,在这项工作中,我们将整个高光谱图像分为49个小块,并使用不同的小块进行训练、验证和测试。虽然每一块都是不同的,并且通过这种方法可以减少模型的输入数据,但它们仍然属于单个日期的单个图像,这将影响模型的泛化能力。为了使我们的模型更加通用,我们将在下一个研究中使用多时间段高光谱图像进行PWD检测。
此外,有几种有效的方法可以提高分类模型的性能,这些方法也可以用于PWD和其他森林损害监测。首先,可以增加CNN模型的层次,并可以执行更多轮的残差学习来优化模型的准确性。He等人[36]提出了152层深度剩余网络(ResNet),大大降低了CNN模型的误差。其次,在处理海量高光谱数据时,也可以使用分裂变换策略,这将减少训练时间和计算成本。Szegedy等人[52]引入了一种剩余结构,提出了Inception-Resnet-v1和Incepton-Resnet-v2,并对Inception模块进行了修改,提出了Inception-v4结构。此外,Inception使用了一种拆分转换的策略:首先将输入数据分成几个部分,然后分别执行不同的操作,最后合并结果。通过这种方式,可以减少计算成本,同时保持模型的表达能力[30]. 基于《盗梦空间》的拆分-转换-合并策略,Xie et al[53]设计了一个ResNeXt模型,它比Inception和ResNet更简单、更高效。
在最近的研究中,Yin等人[54]将3D CNN和基于频带组的双向长短期记忆(Bi-LSTM)网络相结合,用于HSI分类。在该网络中,提取的光谱特征被视为处理序列数据的过程,而Bi-LSTM网络充当光谱特征提取器,以充分利用光谱带之间的关系。结果表明,该方法的性能优于其他HSI分类方法。在另一项研究中,Gong等人[55]提出了一种多尺度挤压激励金字塔池网络(MSPN),并使用了一种混合的2D-3D-CNN MSPN框架(可以用较少的训练样本学习和融合更深层次的空间谱特征)。结果表明,基于该方法的分类准确率为97.31%,仅使用0.1%的训练样本。这些方法轻量级且方便,也可用于检测PWD和其他森林病虫害。最近也有一些关于PWD监测的研究。例如,Zhang等人[56]设计了一种复杂景观中的时空变化检测方法,使用深度学习算法从图像中捕获目标的光谱、时间和空间特征,从而减少了树级PWD监测中的错误检测。在另一项研究中,为了获得受感染松树的详细形状和大小,应用高性能的深度学习模型(例如,用于语义分割的完全卷积网络)进行图像分割,以评估疾病的损伤程度,并取得了良好的效果[57].
此外,尽管许多广泛使用的基于深度学习的HI分类方法取得了良好的分类精度,但这些方法往往伴随着大量参数、较长的训练时间和高复杂度的算法。因此,调整超参数通常是不方便的。这些局限性在于算法的理论研究和HI数据的高维性。因此,如何提高这些方法的泛化能力和模型的鲁棒性需要在未来的研究中进一步探索。
在本研究中,分类任务是基于监督分类方法执行的。该方法将每个样本标记为各自对应的类别,通过深度神经网络不断学习相应的特征,最终实现分类任务。为了估计分类模型的准确性,我们根据实地调查结果手动标记每个样本,这需要耗费时间和人力,并且导致样本量较小。为了解决这些问题,可以使用迁移学习和数据增强方法。例如,生成性对抗网络(GAN)[58]使用生成器和鉴别器,其中生成器的功能是产生目标输出,鉴别器的功能是区分输出中的真实数据。在训练过程中,捕获数据分布的生成器和估计概率的鉴别器通过持续对抗最终达到动态平衡:即生成器生成的图像与真实图像的分布非常接近。GAN还可以用于丰富高光谱数据:GAN学习高光谱图像中的一个类别,以生成与该类别特征相匹配的新数据,增加该类别中的数据量并扩大样本大小[59]. 此外,无监督分类方法[60]可用于使用端到端编码器-解码器方法构建网络。无监督方法可以解决深度学习模型依赖大量学习样本的问题。因此,在未来的大规模实际林业应用中,如病虫害控制中,可以考虑使用无监督分类模型,这将使森林管理者能够更好地掌握病虫害在森林中的分布和传播趋势。
另一种检测PWD的潜在工具是光探测和测距(LiDAR)。作为一种主动遥感技术,激光雷达可以穿透树冠,快速获取森林垂直结构的信息[61,62,63,64,65]. 更重要的是,激光雷达数据已广泛用于森林健康监测[21,24,61,62,63,64,65]. 当我们单独使用HI数据时,我们无法准确分割树冠,阴影、下层和重叠树冠很容易导致光谱混淆。激光雷达可以通过收集树木的结构特征来解决这些问题,从激光雷达数据中获得的指标也可以用于检测森林害虫[48,66,67,68]. 然而,HI和LiDAR的结合和融合在PWD检测中还没有得到很好的研究,这将在我们的下一个研究中进行。
综上所述,鉴于上述先进模型(例如,分裂变换策略、无监督分类方法、一些新的轻量级模型以及激光雷达数据的使用),我们还可以将其应用于PWD和其他森林损害监测。这些方法可以在未来的研究中实现准确、自动、,早期监测森林病虫害。

5.结论

本文应用三维CNN和残差块构造了一个三维Res CNN,用于基于高光谱图像的PWD早期检测。此外,我们比较了2D-CNN、3D-CNN、2D-Res-CNN和3D-Res-CNN模型在识别受PWD感染的松树方面的分类准确性。结果表明,3D-Res-CNN模型对PWD早期感染松树的检测最为有效。仅使用20%的训练样本,3D-Res CNN的OA和EIP准确率仍然可以达到81.06%和51.97%,这在基于高光谱图像的PWD早期检测中优于最先进的方法。此外,3D-Res-CNN可以同时从高光谱图像中提取光谱和空间信息,并添加残差模块以提高识别精度。虽然训练时间较长,但仍能满足大面积实际林业应用的要求。
更重要的是,在PWD检测中仍有许多障碍需要解决(例如,缺乏培训数据)。因此,我们希望在未来使用更有效、更轻量级的技术,在更大范围内对PWD进行早期监测。这将使森林管理者能够更好地确定PWD的分布和传播趋势,以便尽早采取预防措施,减少生态和经济损失。在应用大规模遥感数据监测大面积PWD时,开发此类方法至关重要。

作者贡献

概念化,R.Y。;形式分析,R.Y。;融资收购,Y.L。;调查、R.Y.、H.L.和L.Y.(杨丽媛);方法论,R.Y.、Y.L.、L.Y.(林凤玉)和L.R。;写作——原稿,R.Y。;写作-审查和编辑,Y.L.、H.H.、L.R.和R.Y.进行实验并撰写论文;H.H.、L.Y.(林凤玉)、L.R.和Y.L.修订了论文。R.Y.、H.L.、L.Y.(杨丽媛)进行了现场调查并收集了数据。所有作者都已阅读并同意手稿的出版版本。

基金

本工作得到了“国家重点研发计划(2018YFD0600200)”、“北京市科技规划项目(Z191100008519004)”和“国家林业和草原管理局重大应急科技项目(ZD202001-05)”的资助,和“中国国家自然科学基金项目(31971581)”。

机构审查委员会声明

不适用。

知情同意书

不适用。

数据可用性声明

不适用。

致谢

作者感谢H.N.L.和L.Y.Y.的实地调查,感谢Y.Q.L.、H.G.H.、L.F.Y.和L.L.R.对本文的建议和修改。

利益冲突

作者声明没有利益冲突。

工具书类

  1. Mamiya,Y。;Kiyohara,T.描述褐飞虱松木中的N.Sp.(线虫纲:Aphelenchoididae)和线虫感染树木的组织病理学。线虫学 1972,18, 120–124. [谷歌学者] [交叉参考]
  2. Rodrigues,M.松林线虫国家根除计划。松萎病:全球范围内对森林生态系统的威胁; Mota,M.M.,Vieira,P.,编辑。;施普林格:加藤文美,日本,2008年;第5-14页。[谷歌学者]
  3. 罗伯逊,L。;科巴乔·阿科斯,S。;Escuer,M。;Santiago Merino,R。;Esparrago,G。;阿贝莱拉,A。;Navas,A.松材线虫的发病率木纹短柱线虫斯坦纳和布勒,1934年(尼克尔,1970年),西班牙。线虫学 2011,13, 755–757. [谷歌学者]
  4. 丰塞卡,L。;桑托斯,M。;桑托斯,M。;柯蒂斯,R。;Abrantes,I.葡萄牙语的形态计量学特征木虱具有短尖、趾状或圆尾雌性的分离株。植物疗法。梅迪特尔。 2009,47, 223–2334. [谷歌学者]
  5. Ye,J.中国松材线虫病流行现状及其防治技术和对策。科学。席尔瓦。罪。 2019,55, 1–10. [谷歌学者]
  6. Togashi,K。;荒川,Y.水平传输木虱性别之间松墨天牛.J.线虫。 2003,35, 7–16. [谷歌学者] [公共医学]
  7. 小林,F。;Yamane,A。;Ikeda,T.日本松材锯叶甲作为松材线虫病的媒介。每年。昆托摩尔牧师。 2003,29, 115–135. [谷歌学者] [交叉参考]
  8. Mamiya,Y.松材线虫病的病理学木虱.每年。植物疗法评论。 1983,21, 201–220. [谷歌学者] [交叉参考] [公共医学]
  9. Yu,H。;Wu,H。;张,X。;Wang,L。;张,X。;Song,Y.关于落叶松感染的spp木虱在自然环境中。对于。害虫。 2019,38, 7–10. [谷歌学者]
  10. 潘,L。;李毅。;刘,Z。;孟,F。;陈,J。;张欣。辽宁省凤城市红松松材线虫的分离与鉴定。对于。害虫。 2019,38, 1–4. [谷歌学者]
  11. Yu,R。;任,L。;Luo,Y.使用现场便携式光谱仪和基于无人机的高光谱图像早期检测华北油松松材线虫病。对于。生态系统。 2021,8, 44. [谷歌学者] [交叉参考]
  12. Lin,X.松材线虫病危害及防治措施综述。华东地区。管理。 2015,29, 28–30. [谷歌学者]
  13. 艾伦,C.D。;布雷谢尔斯,D.D。;McDowell,N.G.关于低估全球对人类世更热干旱导致的树木死亡和森林死亡的脆弱性。生态圈 2015,6, 1–55. [谷歌学者] [交叉参考]
  14. Wong,C.M。;丹尼尔斯,L.D.气候、一种引入的病原体和小蠹虫之间的多重交互作用引发了新的森林衰退。手套。青稞酒。生物。 2017,23, 1926–1941. [谷歌学者] [交叉参考] [公共医学] [绿色版本]
  15. Kärvemo,S。;约翰森,V。;施罗德,M。;Ranius,T.在大规模爆发期间,树皮甲虫的局部定殖-灭绝动态。生态圈 2016,7,e01257。[谷歌学者] [交叉参考] [绿色版本]
  16. Umebayashi,T。;山田,T。;福原康夫。;Endo,R。;Kusumoto,D。;Fukuda,K。木材中松材线虫的原位观察。《欧洲植物病原学杂志》。 2017,147, 463–467. [谷歌学者] [交叉参考]
  17. Kim,S.-R。;Lee,W.-K。;Lim,C.-H。;Kim,M。;卡法托斯,M。;李·S·H。;Lee,S.-S.高光谱分析松材线虫病以确定最佳检测指标。森林 2018,9, 115. [谷歌学者] [交叉参考] [绿色版本]
  18. Iordache,医学博士。;曼塔斯,V。;巴尔塔扎尔,E。;Pauly,K。;Lewyckyj,N.一种使用航空光谱图像检测松材线虫病的机器学习方法。远程传感器。 2020,12, 2280. [谷歌学者] [交叉参考]
  19. 吴,B。;梁,A。;张,H。;Zhu,T。;邹,Z。;Yang,D。;唐·W。;李,J。;Su,J.基于传统无人机的高通量目标检测在深度学习松树枯萎病早期诊断中的应用。对于。经济。管理。 2021,486, 118986. [谷歌学者] [交叉参考]
  20. Yu,R。;罗,Y。;周,Q。;张,X。;Ren,L.使用深度学习算法和基于无人机的多光谱图像早期检测松材线虫病。对于。经济。管理。 2021,497, 119493. [谷歌学者] [交叉参考]
  21. 梅耶拉,J。;Keski-Saari,S。;Kivinen,S。;Tanhuanpää,T。;Hurskainen,P。;库尔伯格,P。;波科莱恩,L。;维尼卡,A。;托米宁,S。;Kumpula,T.公司。;等。使用三维卷积神经网络从机载高光谱和激光雷达数据中进行树种分类。遥感环境。 2021,256, 112322. [谷歌学者] [交叉参考]
  22. 牟,L。;加米西,P。;朱晓霞。用于高光谱图像分类的深度递归神经网络。IEEE传输。地质科学。远程传感器。 2017,55, 3639–3655. [谷歌学者] [交叉参考] [绿色版本]
  23. LeCun,Y。;Y.本吉奥。;Hinton,G.深度学习。自然 2015,521, 436–444. [谷歌学者] [交叉参考]
  24. 张,B。;赵,L。;Zhang,X.利用航空高光谱图像进行树种分类的三维卷积神经网络模型。遥感环境。 2020,247, 111938. [谷歌学者] [交叉参考]
  25. 辛顿,G。;Salakhutdinov,R.用神经网络降低数据的维数。科学类 2006,313, 504–507. [谷歌学者] [交叉参考] [公共医学] [绿色版本]
  26. 文森特,P。;拉罗谢尔,H。;我·拉朱伊。;Y.本吉奥。;Manzagol,P.A。;Bottou,L.堆叠去噪自动编码器:使用局部去噪标准学习深层网络中的有用表示。J.马赫。学习。物件。 2010,11, 3371–3408. [谷歌学者]
  27. 克里日夫斯基,A。;Sutskever,I。;Hinton,G.Imagenet用深度卷积神经网络进行分类。高级神经信息处理。系统。 2012,25, 1097–1105. [谷歌学者] [交叉参考]
  28. Girshick,R。;Donahue,J。;Darrell,T。;Malik,J.Rich用于精确对象检测和语义分割的特征层次。《IEEE计算机视觉和模式识别会议论文集》,美国俄亥俄州哥伦布,2014年6月23日至28日;第580-587页。[谷歌学者]
  29. Simonyan,K。;用于大规模图像识别的极深卷积网络。arXiv公司 2014,arXiv:1409.1556。[谷歌学者]
  30. 塞格迪,C。;刘伟。;贾毅。;Sermanet,P。;里德,S。;安格洛夫,D。;Erhan,D。;Vanhoucke,V。;Rabinovich,A.深入研究卷积。《IEEE计算机视觉和模式识别会议论文集》,美国马萨诸塞州波士顿,2015年6月7-12日;第1-9页。[谷歌学者]
  31. 秦,J。;王,B。;Wu,Y。;卢奇。;Zhu,H.使用无人机图像和深度学习算法识别松木线虫病。远程传感器。 2021,13, 162. [谷歌学者] [交叉参考]
  32. 陶,H。;李,C。;赵,D。;邓,S。;Jing,W.基于深度学习的无人机图像死松树检测。Int.J.远程传感器。 2020,41, 8238–8255. [谷歌学者] [交叉参考]
  33. 陈,Y。;姜浩。;李,C。;贾,X。;Ghamisi,P.基于卷积神经网络的高光谱图像深层特征提取和分类。IEEE传输。地质科学。远程传感器。 2016,54, 6232–6251. [谷歌学者] [交叉参考] [绿色版本]
  34. 他,M。;Bo,L。;Chen,H.用于高光谱图像分类的多尺度三维深度卷积神经网络。2017年IEEE图像处理国际会议(ICIP)会议记录,2017年9月17日至20日,中国北京;第3904–3908页。[谷歌学者]
  35. 李毅。;张,H。;Shen,Q.利用三维卷积神经网络对高光谱图像进行光谱空间分类。远程传感器。 2017,9, 67. [谷歌学者] [交叉参考] [绿色版本]
  36. He,K。;张,X。;任,S。;Sun,J.图像识别的深度剩余学习。2016年6月27日至30日,美国内华达州拉斯维加斯,IEEE计算机视觉和模式识别会议记录;第770-778页。[谷歌学者]
  37. He,K。;张,X。;任,S。;Sun,J.深度剩余网络中的恒等式映射。莱克特。注释计算。科学。 2016, 630–645. [谷歌学者] [交叉参考] [绿色版本]
  38. 钟,Z。;李,J。;罗,Z。;Chapman,M.高光谱图像分类的光谱空间残差网络:三维深度学习框架。IEEE传输。地质科学。远程传感器。 2017,56, 847–858. [谷歌学者] [交叉参考]
  39. 卢,Z。;徐,B。;Sun,L。;詹,T。;Tang,S.用于高光谱图像分类的基于三维通道和空间注意力的多尺度空间-光谱残差网络。IEEE J.选择。顶部。申请。地球目标遥感。 2020,13, 4311–4324. [谷歌学者] [交叉参考]
  40. 赵,L。;张,X。;Wu,Y。;Zhang,B.基于3D-CNN的机载高光谱数据亚热带森林树种分类。科学。席尔瓦。罪。 2020,11, 97–107. [谷歌学者]
  41. 顾J。;Wang,J。;Braasch,H。;西伯利亚州伯爵梅斯特。;Schroder,T.黑曲霉酸分离物(M型)的形态和分子特征木虱(线虫:无刺类)。Russ.J.线虫。 2011,19, 103–120. [谷歌学者]
  42. Iwahori,H。;Futai,K。接种松材线虫的松树愈伤组织的脂质过氧化和离子渗出。日本。J.涅马托尔。 1993,23, 79–89. [谷歌学者] [交叉参考]
  43. 季S。;徐伟(Xu,W.)。;杨,M。;Yu,K.三维卷积神经网络用于人体动作识别。IEEE传输。模式分析。机器。智力。 2013,35, 221–231. [谷歌学者] [交叉参考] [绿色版本]
  44. Tran,D。;Boudev,L。;弗格斯,R。;托雷萨尼,L。;Paluri,M.使用3D卷积网络学习时空特征。2015年12月7日至13日在智利圣地亚哥举行的IEEE计算机视觉国际会议记录;第4489–4497页。[谷歌学者]
  45. 辛顿,通用电气公司。;北斯利瓦斯塔瓦。;Krizhevsky,A。;Sutskever,I。;Salakhutdinov,R.R.通过防止特征检测器的联合自适应来改进神经网络。计算。科学。 2012,arXiv:1207.0580。[谷歌学者]
  46. Congalton,R.遥感数据分类准确性评估综述。遥感环境。 1991,37, 35–46. [谷歌学者] [交叉参考]
  47. 郝,Z。;李毅。;姜瑜。高光谱图像分类深度学习:现状和前景。自动驾驶。罪。 2018,44, 961–977. [谷歌学者]
  48. Yu,R。;罗,Y。;周,Q。;张,X。;Wu,D。;Ren,L.使用基于无人机的高光谱图像和激光雷达数据在树级检测松材线虫病的机器学习算法。国际J申请。地球。对象。 2021,101, 102363. [谷歌学者] [交叉参考]
  49. 霍,L。;佩尔松,H.J。;Lindberg,E.从欧洲云杉树皮甲虫攻击中早期检测森林压力,以及新的植被指数:归一化距离红色和SWIR(NDRS)。遥感环境。 2021,255, 112240. [谷歌学者]
  50. 张,N。;张,X。;Yang,G。;朱,C。;霍,L。;Feng,H.使用基于无人机的高光谱图像评估油松毛虫Tsai et Liu灾难爆发期间的落叶情况。遥感环境。 2018,217, 323–339. [谷歌学者] [交叉参考]
  51. 李毅。;张欣。松材线虫病发病机制的研究进展。J.环境。昆虫学。 2018,40, 231–241. [谷歌学者]
  52. 塞格迪,C。;洛夫,S。;Vanhoucke,V。;Alemi,A.Inception-v4,Inception-Resnet和残余联系对学习的影响。2017年2月4日至9日在美国加利福尼亚州旧金山举行的第三十一届AAAI人工智能会议记录;第31卷。[谷歌学者]
  53. 谢S。;Girshick,R。;多拉,P。;涂,Z。;He,K.深度神经网络的聚合残差变换。2017年7月21日至26日在美国夏威夷州火奴鲁鲁举行的IEEE计算机视觉和模式识别会议记录;第5987–5995页。[谷歌学者]
  54. 尹,J。;齐,C。;陈,Q。;Qu,J.高光谱图像分类的空间光谱网络:3-D CNN和Bi-LSTM框架。远程传感器。 2021,13, 2353. [谷歌学者] [交叉参考]
  55. 龚,H。;李,Q。;李,C。;戴,H。;何,Z。;Wang,W。;李,H。;Han,F。;图尼亚齐,A。;Mu,T.基于混合2D-3D CNN的高光谱图像分类多尺度信息融合。远程传感器。 2021,13, 2268. [谷歌学者] [交叉参考]
  56. 张,B。;Ye,H。;卢·W。;黄,W。;吴,B。;郝,Z。;Sun,H.一种使用高分辨率遥感图像监测复杂景观中松树萎蔫病的时空变化检测方法。远程传感器。 2021,13, 2083. [谷歌学者] [交叉参考]
  57. 夏,L。;张,R。;Chen,L。;李,L。;Yi,T。;温,Y。;丁,C。;Xie,C.无人机图像中松树萎蔫病检测的深度学习分割模型评估。远程传感器。 2021,13, 3594. [谷歌学者] [交叉参考]
  58. 古德费罗,I。;波杰·阿巴迪,J。;米尔扎,M。;徐,B。;Warde-Farley,D。;Ozair,S。;科尔维尔,A。;Bengio,Y.生成性对抗网络。高级神经信息处理。系统。 2014,arXiv:1406.2661。[谷歌学者]
  59. 古德费罗,I。;Pouget-Abadie,J。;米尔扎,M。;徐,B。;Warde Farley博士。;Ozair,S。;科尔维尔,A。;Bengio,Y.生成性对抗网络。Commun公司。ACM公司 2020,63, 139–144. [谷歌学者] [交叉参考]
  60. 张,M。;龚,M。;He,H。;Zhu,S.高光谱图像分类中基于对称全卷积神经网络的无监督特征提取。IEEE传输。赛博。 2020, 1–13. [谷歌学者] [交叉参考] [公共医学]
  61. Riaño,D。;瓦拉达雷斯,F。;孔戴斯,s。;Chuvieco,E.利用机载激光扫描仪(Lidar)在两个对比森林中估算叶面积指数和覆盖面积。农业。对于。美托洛尔。 2004,114, 269–275. [谷歌学者] [交叉参考]
  62. 多诺霍,D.N.M。;瓦特,P.J。;新泽西州考克斯。;Wilson,J.使用激光雷达高度和强度数据遥感针叶林物种混合物。遥感环境。 2007,110, 509–522. [谷歌学者] [交叉参考]
  63. Hovi,A。;Korhonen,L。;Vauhkonen,J。;Korpela,I.树种分类的激光雷达波形特征及其对树木和采集相关参数的敏感性。遥感环境。 2016,173, 224–237. [谷歌学者] [交叉参考]
  64. 刘,L。;北卡罗来纳州库普斯。;西北部阿文。;Pang,Y.使用综合航空高光谱和激光雷达遥感数据绘制城市树种地图。遥感环境。 2017,200, 170–182. [谷歌学者] [交叉参考]
  65. 李,Q。;Wong,F。;Fung,T.根据多光谱、高光谱和激光雷达数据绘制多层红树林地图。遥感环境。 2021,258, 112403. [谷歌学者] [交叉参考]
  66. 孟·R。;P.E.丹尼森。;赵,F。;Shendryk,I。;Rickert,A。;哈纳万,R.P。;库克,B.D。;Serbin,S.P.使用双时间机载成像光谱仪和激光雷达测量,绘制了单株树木上草食昆虫的树冠落叶图。遥感环境。 2018,215, 170–183. [谷歌学者] [交叉参考]
  67. 林,Q。;黄,H。;Wang,J。;黄,K。;Liu,Y.使用基于无人机的高光谱图像和激光雷达在单株树水平上检测松树上的松枝甲虫(PSB)胁迫。远程传感器。 2019,11, 2540. [谷歌学者] [交叉参考] [绿色版本]
  68. 林,Q。;黄,H。;Chen,L。;Wang,J。;黄,K。;Liu,Y.使用3D模型RAPID反演垂直异质性云南松林的梢枯率,以检测甲虫的危害。遥感环境。 2021,260, 112475. [谷歌学者] [交叉参考]
图1。松材线虫病的全球分布(数据来源:https://www.cabi.org/ISC; 2021年8月16日访问)。
图1。松材线虫病的全球分布(数据来源:https://www.cabi.org/ISC; 2021年8月16日访问)。
远程调校13 04065 g001
图2。松材线虫感染过程。
图2。松材线虫感染过程。
远程定位13 04065 g002
图3。()中国松材线虫病(PWD)分布及主要松树易感品种。(b条)PWD已导致中国北方松林大面积死亡。
图3。()中国松材线虫病(PWD)分布及主要松树易感品种。(b条)PWD已导致中国北方松林大面积死亡。
远程定位13 04065 g003
图4。The morphology of盐蜥松材线虫(PWN)。()成年男性PWN;(b条)男性PWN的头部;(c(c))雄性PWN尾部;(d日)成年女性;(e(电子))女性PWN的头部;((f))女性PWN的外阴;()雌性PWN的尾巴。
图4。The morphology of盐蜥松材线虫(PWN)。()成年男性PWN;(b条)男性PWN的头部;(c(c))雄性PWN尾部;(d日)成年女性;(e(电子))女性PWN的头部;((f))女性PWN的外阴;()雌性PWN的尾巴。
远程定位13 04065 g004
图5。研究的总体工作流程。
图5。研究的总体工作流程。
远程定位13 04065 g005
图6。研究区域。()研究区域的位置;(b条)高光谱图像(假彩色合成)和样地位置;(c(c))高光谱图像中相应区域的高光谱立方体。
图6。研究区域。()研究区域的位置;(b条)高光谱图像(假彩色合成)和样地位置;(c(c))高光谱图像中相应区域的高光谱立方体。
远程定位13 04065 g006
图7。基于无人机的高光谱和激光雷达系统。
图7。基于无人机的高光谱和激光雷达系统。
远程定位13 04065 g007
图8。PWD感染早期(5月)至晚期(7月)松树的无人机图像。
图8。PWD感染早期(5月)至晚期(7月)松树的无人机图像。
远程定位13 04065 g008
图9。3D Res-CNN模型的架构,包括四个卷积层、两个最大池化层和两个残差块。Conv代表卷积层,ReLu代表校正的线性单位。
图9。3D-Res-CNN模型的体系结构,包括四个卷积层、两个最大池层和两个剩余块。Conv代表卷积层,ReLu代表校正的线性单位。
远程定位13 04065 g009
图10。使用真实标签对每个树类别的样本进行培训、验证和测试。
图10。使用真实标签对每个树类别的样本进行培训、验证和测试。
远程定位13 04065 g010
图11。阔叶树、早期感染松树和晚期感染松树的反射率曲线。
图11。阔叶树、早期感染松树和晚期感染松树的反射率曲线。
远程定位13 04065 g011
图12。使用四种模型对研究区域内三种树木类别的分类结果。
图12。使用四种模型对研究区域内三种树木类别的分类结果。
远程定位13 04065 g012
图13。使用不同模型的三个树类别的混淆矩阵,其中A、B和C分别表示阔叶树、早期感染和晚期感染的松树。
图13。使用不同模型的三个树类别的混淆矩阵,其中A、B和C分别表示阔叶树、早期感染和晚期感染的松树。
远程定位13 04065 g013
图14。使用不同训练样本大小的3D-Res-CNN模型的分类性能。
图14。使用不同训练样本大小的3D Res-CNN模型的分类性能。
远程设置13 04065 g014
表1。Pika L高光谱相机的主要参数。
表1。Pika L高光谱相机的主要参数。
参数参数
视野17.6°光谱分辨率2.10纳米
焦距17毫米光谱通道281
波长范围400–1000纳米采样间隔1.07纳米
表2。3D Res-CNN模型的结构。
表2。3D-Res-CNN模型的结构。
图层(类型)输出形状(高度、宽度、深度、要素图数量)参数编号已连接到
input_1(输入层)(11, 11, 11,1)0
conv3d(conv3d)(11, 11, 11, 32)896输入_1
conv3d_1(conv3d)(11, 11, 11, 32)27680conv3d
添加(add)(11, 11, 11, 32)0conv3d输入_1
re_lu(ReLU)(11, 11, 11, 32)0添加
max_pooling3d(MaxPooling3D)(5, 5, 5, 32)0重新设置(_L)
conv3d_2(conv3d)(5, 5, 5, 32)27680最大池3d
conv3d_3(conv3d)(5, 5, 5, 32)27680转换3d_2
add_1(添加)(5, 5, 5, 32)0conv3d_3max_pooling3d
re_lu_1(ReLU)(5, 5, 5, 32)0添加_1
最大池3d_1(最大池3D)(2, 2, 2, 32)0雷_卢_1
展平(flatten)(256)0最大池3d_1
稠密(dense)(128)32896压扁
辍学(辍学)(128)0稠密的
dense_1(稠密)(3)387辍学
表3。每个树类别的训练、验证和测试的像素。
表3。每个树类别的训练、验证和测试像素。
类别样本的像素数
培训验证测试总计
早期感染松树163,62832,726130,902327,256
晚感染松树242,10748,421193,685484,213
阔叶树100,16320, 03380,130200,326
总计505,898101,180404,7171,011,795
表4。使用不同方法对三类进行分类的准确性。
表4。使用不同方法对三类进行分类的准确性。
模型二维CNN2D-Res美国有线电视新闻网三维CNN3D-Res美国有线电视新闻网
办公自动化(%)67.0172.9783.0588.11
AA(%)67.1872.5181.8387.32
卡帕×10049.4458.2573.3781.29
早期感染松树(PA%)9.1824.3459.7672.86
晚感染松树(PA%)92.5195.6996.0496.51
阔叶树(PA%)99.8597.4989.6992.58
可训练参数47,84347,843117,219117,219
可训练时间(分钟)34分钟35分钟100分钟115分钟
预测时间(秒)14.3秒14.8秒20.1秒20.9秒
出版商备注:MDPI对公布的地图和机构关联中的管辖权主张保持中立。

分享和引用

MDPI和ACS样式

Yu,R。;罗,Y。;李,H。;Yang,L。;黄,H。;Yu,L。;任,L。基于无人机高光谱图像的松材线虫病早期检测的三维卷积神经网络模型。远程传感器。 2021,13, 4065.https://doi.org/10.3390/rs13204065

AMA风格

于锐、罗毅、李浩、杨莉、黄浩、于莉、任莉。基于无人机高光谱图像的松材线虫病早期检测的三维卷积神经网络模型。遥感. 2021; 13(20):4065.https://doi.org/10.3390/rs13204065

芝加哥/图拉宾风格

于、润、罗友庆、李浩南、杨丽媛、黄华国、于林峰和任丽丽。2021.“利用无人机高光谱图像早期检测松材线虫病的三维卷积神经网络模型”遥感13,编号20:4065。https://doi.org/10.3390/rs13204065

请注意,从2016年第一期开始,该杂志使用文章编号而不是页码。请参阅更多详细信息在这里.

文章指标

返回页首顶部