基于无人机作物图像的农业植物计算机视觉编目和数据框架的建立

摘要

背景

现代农业中基于无人机（UAV）的图像检索能够收集大量空间参考作物图像数据。然而，在大规模实验中，无人机图像在复杂的冠层结构中包含了大量的作物。特别是对于时间效应的观察，这使得在多幅图像上识别单个植物和提取相关信息变得非常复杂。

结果

在这项工作中，我们提出了一个基于可理解的计算机视觉方法的无人机作物图像自动时空识别和个性化的实际工作流程，简称为“编目”。我们在2个真实世界的数据集上评估工作流程。记录一个数据集用于观察尾孢属叶斑病&整个生长周期内甜菜的真菌病。另一个涉及花椰菜植物的收获预测。植物目录用于提取在多个时间点上看到的单个植物图像。这收集了一个大规模时空图像数据集，反过来可以应用于训练进一步的机器学习模型，包括各种数据层。

结论

该方法显著改进了农业无人机数据的分析和解释。通过与一些参考数据的验证，我们的方法显示出类似于更复杂的基于深度学习的识别技术的准确性。我们的工作流程能够自动化工厂编目和培训图像提取，特别是对于大型数据集。

背景

无人机（UAV）的使用是现代精准农业的主要驱动力之一。无人机配备了摄像机和其他传感器，如激光雷达，可用于各种非侵入性现场分析和观察任务[1]. 使用机器学习和模式识别方法分析和解释结果数据有可能获得经济和生态效率，这就是计算智能越来越多地应用于农业环境的原因[2，三]. 与卫星遥感不同[4]无人机遥感为私人使用和个人应用提供了低成本解决方案。有许多可以想象的用例，如植物物种分割[5]，多传感器设备分析[6–8]或自动工厂计数[9]. 其中，有几个任务是基于对单个植物的调查。与植物可能具有更远距离的研究案例相比，这对于种植密度较高的农田的实际农业应用来说是一个挑战。我们将利用具有成本效益的无人机成像技术，该技术能够在一个完整的生长季节拍摄多幅图像，并将这些信息结合起来，以时空方式定位植物。对实地植物进行编目和检测的原因和用例是多方面的。一方面，它可以准确地确定田间植物的数量。另一方面，它可以提取人们非常感兴趣的特征，例如植物之间的距离和植物密度。对现场每一株植物进行个性化和识别，并有机会在时间序列中再次检索单个植物，从而生成大量注释数据库。该数据框架的可用性使得能够为疾病严重性分析训练更健壮的机器学习模型，仅举一个可能的用例。

为了观察单个植物，需要确定植物在图像中的准确位置。目前，有两种费时费力的方法可以实现：（i）通过使用具有实时动态定位（RTK）的GPS接收机直接在现场对具有亚厘米精度的植物进行地理参考，或（ii）通过地理信息系统手动注释进行图像采集和正射校正。在拍摄时间序列图像时，这些图像的完美对齐需要使用众所周知的测量点，称为地面控制点（GCP）[10]. 如果GCP是正确的地理参考，那么它们不仅可以在本地坐标系中分配图像，还可以在全球坐标系（如WGS84）中分配图像。这样可以在不同位置和时间点的图像之间实现像素级的精确传输。因此，工厂的本地化仅在一个时间点是必要的。由于植物不会在空间中移动，因此确定的绝对坐标在每个时间点都保持相同。因此，在不同的时间点对植物进行简单的提取是可能的。如果在生长早期计算位置，则相邻植物的重叠不会影响这种方法的定位。如果没有可用的数据地理参考（例如，因为无法访问测量设备或GCP），另一种可能性是使用基于单个图像的植物位置检测来匹配图像。在进一步的步骤中，这些检测点可以相互注册。然而，在这种方法中，处理植物在发育后期的重叠是具有挑战性的。

一旦不同的时间点对齐，就可以为每个单独的工厂提取时间序列。时间序列允许分析植物生长，特别是评估植物特性及其随时间的发展。根据时间序列，可以确定每种植物随时间的个体发育。这种时空信息可以优化作物管理。另一个方面是检测胁迫因素和疾病发展，以及它如何随着时间的推移影响受影响植物的生长。

在这项工作中，我们介绍了一个完整的工作流程，用于对单个植物进行植物识别和个体化，进一步也称为“编目”。图1总结了我们提出的工作流及其主要步骤。我们将根据实际数据评估工作流，并给出可能的用例建议。

数据描述

为了证明我们的工作流程可以用于各种无人机图像数据，我们在两个不同使用背景的农业数据集上评估了我们的方法。然而，向其他数据集和用例的传输是可能的。一方面，在尾孢属采用叶斑病传播。由于这种疾病严重影响甜菜种植业的产量，已经用无人机和无人地面车辆进行了几项表型研究[11，12]. 另一方面，使用数据集监测花椰菜的发育和收获时间。这些数据可用于提取表型特征，如花椰菜植株或其花头的直径或高度[8，13]. 此外，一般来说，植物病害研究是该工作流的一个很好的用例，因为它要求在许多生长阶段都有单独的植物信息[14–16]. 因此，研究植物的时空个体化至关重要。特别是对于大规模调查，需要尽可能自动化的方法。

这两个数据集面临的一些挑战是，例如，由于整个生长季节的不同数据采集时间以及相关的不同天气条件，暴露程度不同。杂草的出现既有积极影响，也有消极影响。一方面，它简化了注册等任务，因为杂草是静止的，因此可以作为标记。另一方面，杂草的生长会影响植物检测等任务，因为必须事先区分杂草和作物。另一个挑战是当植物太大以至于植物的冠层被关闭时。这使得不同植物实例的分离和在野外寻找独特点变得复杂，这通常是由于土壤和植物之间的对比。

甜菜数据集

甜菜数据集用于开发和评估我们的工作流步骤，其中包括随时间变化的多光谱无人机（UAV）图像。

图2显示了试验场中地块的位置。它于2020年在德国哥廷根附近进行（51^○33^′N 9个^○53^′E） 在2020年5月7日至10月12日的整个生长季中，每周24天进行。在这些植物上，一种甜菜植物对尾孢属选择叶斑病（CLS）阿卢科¹多样性。甜菜于2020年4月6日播种，行距48厘米，行内距18厘米，预计播种量约为每公顷110000株。

为了进行航空数据采集，四翼直升机DJI Matrice 210²已使用。无人机在飞行过程中的位置由GPS和GLONASS确定，并由D-RTK 2移动站进行校正。²安装的摄像头是Micasense Altum公司多光谱照相机^三有6个波段：蓝色（中心475 nm，带宽32 nm）、绿色（中心560 nm，带宽27 nm）、红色（中心668 nm，带宽14 nm）、红边（中心717 nm，带宽12 nm）、近红外（中心842 nm，带宽57 nm）和长波热红外（8000至14000 nm），带下涌光传感器（DLS2）。地面分辨率设置为4 mm/px。侧面重叠和正面重叠设置为75%。无人机以0.5米/秒的速度在地面以上约14米的范围内飞行，分辨率为|${4}{\，\mathrm{mm}}\次{4}{\，\fathrm{mm}}$|每像素。

此外，在测试安排的角落和中间设置了GCP，用于地理参考意义上的多时间监测和纠正收集的数据。Agisoft Metashape Professional公司⁴软件已经被用于创建正交马赛克图像。QGIS（质量地理信息系统）⁵[17]用于划定和选择要分析的区域，得到19个等面积为172米的地块²每个。

本试验提出了3个水平：（i）用杀菌剂防治，（ii）接种杀菌剂，（iii）不接种杀菌剂。用CLS病甜菜气干叶片材料人工感染接种处理地块。

第一个图像集是在一个专注于检测CLS的实验场中生成的。CLS是由菜生尾孢萨克。是全球甜菜最重要的叶病之一。该实验的实际目的是能够利用光学和环境传感器的信息来监测疾病，从而开发出准确和早期检测的模型。然而，常见的模型受到植物之间的相互作用以及每个植物对环境的反应的影响。为了获得关于植物及其与病原体相互作用的更准确和地理参考信息，需要确定每个植物在整个生长季节的各个位置。

为了对我们的工作流程进行质量评估，一些字段由人类专家进行注释，最好是在早期阶段，在早期阶段可以通过标记每个可见植物的中心位置来区分植物。

花椰菜数据集

花椰菜数据集用于验证我们的工作流。我们使用GrowliFlower公司Kierdorf等人[18]. 它包括2020年7月28日至11月2日在德国波恩（50^○46^′编号6^○57^′E） ●●●●。种植时，花椰菜的行内距离为50 cm，行间距离为60 cm。在整个生长季节中，每周对花椰菜地进行一次监测。与甜菜数据集一样，使用Agisoft Metashape Professional软件将菜花数据集的图像处理为正射影像。DJI Matrice 600的飞行高度²六角直升飞机的高度为10米，使用索尼A7 rIII RGB相机，我们获得的正射照片的地面分辨率约为|${1.5}\倍{1.5}{\，\mathrm{mm/px}}$|在整个现场分布了21个GCP，并使用RTK进行了测量。

获取数据集背后的想法是观察花椰菜植物的发育过程，并根据获取的时间序列开发模型，以预测例如田间每种植物的收获时间或反映植物的成熟状态。收获花椰菜非常费力，因此，在几天的时间里，田间工作人员走过田地，手工收割成熟的花椰菜头。在这个过程中，花椰菜花头的大小是决定收获的最关键的植物特性。地理参考监测试图帮助农民优化施肥和虫害控制，并以更经济的方式工作，因为田间工作人员已经提前知道要收获哪些植物，而无需单独检查。

植物提取工作流

在本节中，我们将详细描述整个植物提取工作流程。对于每个工作流程步骤，我们都会绘制甜菜数据集不同摘录的绘图，以便可视化结果。图1可以阅读为工作流的流程图，其中箭头上的标题从上到下列出了步骤。

预处理

在有效应用工作流之前，某些数据集可能需要预处理步骤。首先，我们显然需要所谓正射影像形式的地理参考数据。这些是平面的、无畸变的表面图像。对于我们的数据集，我们使用软件Agisoft Metashape Professional从UAV图像生成它们，如上所述。其次，将正射图像裁剪到要由工作流程处理的区域是有益的，特别是对于稍后将讨论的播种线检测。最好清除任何异物或电车线路。异物可能具有与植物相似的颜色特性，并可能导致错误识别。此外，有轨电车可能会导致播种线距离不规则，从而导致滤波不准确。此外，裁剪会加速计算，因为工作流步骤需要处理的图像数据较少。

寻找单个植物

作为植物编目的第一步，确定每个采集图像的植物位置（即每个采集日期的每个地块）。为此，我们在土壤和植物之间进行分割。常用方法使用植被指数（VI）作为图像信息的预处理[19]. 有纯基于RGB的VI以及包括多光谱或高光谱信息的VI。由于甜菜数据集中的多光谱采集，与纯RGB图像相比，植物和土壤之间的对比度可能会增加。然而，我们的实验表明，对于我们的数据集，包括多光谱信息，并没有比使用纯RGB信息得到更好的结果。这证明我们的工作流程即使在超RGB成像不可行的情况下也表现良好。

不及物动词

请注意，当然，在这一点上，也可以想象其他在植物和土壤之间产生显著对比的VI。然而，我们仅限于RGB-only VI图像，以便在此处进行进一步的植物识别程序。他们被命名为|$\mathbf{V}（t）$|每个收购日期|$t\in\mathcal{t}$|在给定的收购日期集合中|$\mathcal{T}$|。单个像素值由命名v（v）_我.

植物-土壤分割

在下一步中，必须将土壤与厂区区分开来。因此，我们将执行分段。

作为阈值技术，我们使用了Otsu的方法[25]. 其主要思想是找到一个阈值，使前景和背景两类的类内方差最小。对于中等覆盖的田地，这种方法可以可靠地区分土壤和植物。然而，它在以下极端情况下也有弱点。对于覆盖非常稀疏的田地(⁠|$c\lt{1}{\%}$|)Otsu的方法通常会产生一个阈值，该阈值近似于VI值的最频繁值（即模式）。这是因为少量的“植物像素”只是在值分布中消失了，而值分布则具有单峰结构。在这些图像中，最常见的值是土壤水平；因此，我们将通过使用Otsu的阈值来获得很多噪声，并且将高估由所得到的分割掩模计算的覆盖率。通过将阈值设置为VI分布的第99个百分位，我们绕过了这个问题，这显然会导致精确的修正覆盖率|${1}{\%}$|⁠当覆盖率超过75%左右时，单株或播种系就无法正确区分。因此，我们不使用这些阶段进行分割。

由于这些限制，我们需要对覆盖率进行初步估计，以便对图像进行分类。对于本研究中考虑的2个VIs，我们研究了两个数据集的良好初始阈值。因此，我们将初始阈值设置为ϑ_英语=0.2和ϑ_NGRDI公司分别为0。对于OSAVI，初始阈值将设置为ϑ_OSAVI公司= 0.25. 根据初步估算c（c），我们决定使用哪个阈值方法并计算每个图像的最终覆盖率。图4总结了一些示范性领域在不同成长阶段的发现。

Excursus：生长函数

滤波和寻峰

随后，使用一个简单的峰值查找器来提取植物中心。模糊的效果是植物作为模糊的准圆形物体可见。通过这种方式，峰值发现算法检测植物中心，而不是单个叶片。为了进一步改善这一峰值发现的结果，我们可以设置最小的峰值距离和/或强度，以避免对更大的植物或仍然可见的杂草进行双重检测。

然而，这种方法的结果在很大程度上取决于正确选择二进制阈值和高斯滤波器带宽的范围。为了使其更便于用户使用并适应新数据集，可以使用公制单位作为参数，并根据给定的地理空间信息将其转换为像素单位。因此，工作流用户可以认为真实的工厂大小与图像分辨率无关。σ的良好选择_最小值和σ_最大值分别包括幼苗和完全生长的植物的半径。

此外，这种方法通常在具有较低植物覆盖率的图像上表现得更好。对于较高的覆盖率，植物不再在空间上划分，这会导致错误测定或多重检测。如图所示4，单株植物很难区分|${75}｛\%｝$|覆盖率。因此，我们只对低覆盖率图像执行此方法。图6显示了不同示例性生长阶段的植物检测结果。此外，这种方法还可以识别出不需要的杂草，或者并没有检测到每一株植物。然而，以下各节中的步骤通过一些进一步的过滤和重建方法将这些弱点降至最低。

将植物分组

对齐设备位置

为了避免混淆不同的工厂ID，公制坐标|$\mathcal{P}（t）$|每个收购日期t吨相互对齐。并非每个图像中都检测到每一棵植物。因此，可视化工厂位置的点云并不一致，但仍高度相关。此外，VI图像中可以观察到的杂草和其他物体也可以包括在|$\mathcal{P}（t）$|然而，我们可以假设这些错误检测到的对象在位置上也是静止的，因此有助于对齐。随后，将描述从检测到的峰值位置减少不需要的物体的方法。这一步的主要目标是避免最大的GPS校准误差。应用示例如图所示7以下描述了具体的处理步骤。此外，可以在补充材料.

为了对齐所有（集中）点云|$\mathcal{\bar{P}}（t）$|根据采集日期，必须对所有层多次应用该程序|$\mathcal{T}^\ast$|一步一步地。通常，覆盖率越低，检测到的峰值越多。其中一个原因是，较低的模糊带宽使较细的结构在低覆盖率下保持可见。因此，有必要对收购进行排序，而不是按日历日期，而是按之前估计的覆盖率进行升序，即按生长函数拟合（参见excursus：生长函数部分）或按覆盖率估计（参见植物-土壤分割部分）。对于刚性配准，我们需要一个基点集和一个浮点集。作为初始基础集，点云属于具有采集日期的覆盖率最低的图像|$t_{\text{init}}\in\mathcal{t}^{\ast}$|被选中，即，|$\mathcal{\bar{P}}（t_{text{init}}）$|。浮动集是具有下一个更高覆盖率的点云。为了使对准鲁棒，只考虑两个集合中在最大距离内另一个集合中有下一个相邻点的那些点d日_登记.

在执行配准之后，得到的变换（参见等式(4))应用于浮动层的所有点上。通过对彼此相邻的对齐点进行分组并计算其质心，形成新的基集。结果集|$\mathcal{\bar{P}}_{\text{comb}}$|仅包含那些以组或群集为中心的中心。给定阈值距离内没有邻居的点d日_组被认为是新的群体。此距离应选择小于d日_登记随后，使用基（质心）集重复该方法|$\mathcal{\bar{P}}_{\text{comb}}$|以及具有下一个较高覆盖率的点云作为浮动集。

开发的分组算法也应用于最终分组，因此我们将在稍后的章节中详细讨论在时间段内连接各个植物。

识别播种线

峰值位置相互对齐，这意味着应基本消除可能的图像采集错误。通常，就像给定的数据集一样，植物是在直线平行的播种线上播种的。在这些线之外识别出的峰值可以被视为杂草、其他不需要的物体或杂音。因此，提取播种线位置以滤除这些位置是很方便的。为了做到这一点，我们将可能的播种线与x个-或年-轴，因为基于GPS的图像不一定如此，它们与地理坐标系对齐。在这项工作中，播种线对齐以与x个-轴。与Lottes等人[27]直接利用图像信息，利用点云信息来推断播种线的位置和角度。此外，在补充材料.

让我们考虑一下收购日期|$\mathcal{T}^\ast$|其中峰值点云可用。种子线识别的思想是对关节点云应用旋转变换|$\bigcup_{t\in\mathcal{t}^{\ast}}\mathcal{\bar{P}}_{\text{aligned}}（t）=\mathcale{\bar}}_}\text{arigned}$|.任务是找到正确的旋转角度α_秒在计算机视觉领域中，找到图像中直线和圆等规则结构的一种既定方法是霍夫变换[28]. 它通过将这些线转换为由线角θ及其最小距离组成的特征空间（霍夫空间）来检测图像中形成线结构的点d日来源。因此，（欧几里德）图像空间中的无限线被映射到霍夫空间中的一个点。填充霍夫空间的强力方法是在每个非零图像点扫描一组与该点相交的不同角度的线。如果另一个点在这条线上，则相应的（θ，d日)-霍夫空间中的垃圾箱。最后，图像中的无限线可以通过霍夫空间中的“节点”看到。

要使用此方法，我们首先需要|$\mathcal{\bar{P}}_{\text{aligned}}$|通过将峰值分为具有固定分格宽度的二维直方图，将其分格为栅格化图像。因此，这些箱子可以解释为图像像素。然而，获得的图像的分辨率比原始图像低得多，这使得该方法比考虑Lottes等人的全分辨率植物图像更快[27]. 其次，我们首先扫描（−90）中的固定角度^○，90^○]. 这导致了对角度的粗略搜索，尽管我们希望所有种子线都以相同的角度旋转。图像中可能会出现其他随机发现的线条，但它们是漫反射角度的。正确的播种线角度预计会定期出现，因此我们可以期望围绕正确的播种线上角度进行聚类。因此，我们使用了嵌套区间的原则：我们将查询角度的区间划分为小的区间。在下一步中，我们使用这些箱子计算所有发现角度的直方图。漫反射角度将分布在多个箱子上，而我们的播种线角度应累积在一个或至少几个箱子中。我们取这个bin，可能还有周围的bin，并将它们作为新的查询间隔，然后再将其划分为bin。经过几次迭代，可以找到所有可见种子线α的公共角度_秒.图8显示了应用于光栅化峰值位置图像的霍夫变换。

由于Hough变换不仅产生线角度，还产生线距离，因此可以直接使用此方法提取种子线本身。然而，基于霍夫变换的检测可能会遗漏一些不太突出的线星座。这就是为什么我们再次在点云中搜索播种线位置，点云按α旋转_秒然而，我们可以使用霍夫变换结果的距离信息来估计预期的播种线距离。为了得到一个对漏播线稳健的稳定估计，我们在下一步中使用中间播线距离。

我们只考虑年-坐标|$\vec美元{y} _秒$|旋转点云的。其原理是用一个中心来计算某个窗口内的点年坐标和尺寸λ。以给定精度ρ（即，两个最近窗口中心之间的距离）扫描所有坐标，得出相对于窗口中心位置的包含点之和。最后，应用峰值查找方法提取局部极大值，该极大值表示（排序的）种子线位置|$\vec｛y｝^\ast$|。示例图可以在补充材料.此方法的成功在很大程度上取决于λ和ρ的正确选择。为了使该程序稳定工作，设置与霍夫变换的种子线距离估计相关的λ和ρ是有帮助的。考虑到人们实际上大致知道峰值应该位于何处，峰值发现也可以进行调整。

过滤杂草

在时间内链接单个植物

在对齐和过滤峰值位置后，我们重新定义|$\mathcal｛P｝（t）$|对齐、过滤工厂位置和|$\mathcal{P}:=\bigcup_{t\in\mathcal{t^{ast}}}\mathcali{P}（t）$|成为统一的点云。

进一步过滤和间接检测

利用星团质心的信息|$\mathcal{C}$|根据时间内连接单个植物的部分的结果，我们可以在图像中找到单个植物，因为空间位置是固定的，所以不一定检测到它。但首先，我们从某种程度上“修饰”开始。

有了上述所有过滤规则，我们就有了一个标记点集，其中每个簇都有|$n_t=|\mathcal｛t｝|$|成员，每个收购日期一个|$t\in\mathcal{t}$|最后，我们要求对这些植物进行“编目”

评估和讨论

在本节中，我们根据两个数据集的可用地面实况信息评估我们的结果。此外，我们为工作流介绍了两个可以想象的示例应用程序用例。

验证：甜菜数据集

图的上部绘图11显示了对具有可用地面实况的野外图像的精确度与召回率的评估。下面显示了每个采集日期（按颜色编码）的示例图像。对于大多数图像，我们达到了至少90%的精度。大多数图像的召回率至少为90%。正如我们所预期的，由于植物的点状度较低，覆盖率越高，植物检测就越不准确。然而，在较低覆盖率下的早期电厂检测更有信心。这表明高覆盖率图像不适合植物检测，只能用于间接检索聚类中心已知的植物位置|$\mathcal{C}$|.

一般来说，精度低于召回，这表明我们的工作流程有一些假阳性的工厂识别。大多数情况下，这些假植物是双重识别，或者仍然保留在播种线内或过滤杂草部分中定义的耐受区域内的杂草。由于我们的方法不像可能的深度学习方法那样对实际植物形状敏感，这仍然是一个问题。我们的工作流程往往具有更高的精度，田地的除草效果越好，就像在花椰菜数据集中一样。在线杂草可以通过手动或进一步的形状敏感方法进行过滤，而通过更好的聚类参数可以减少双重检测。

验证：花椰菜数据集

我们在花椰菜数据集上评估我们的方法，类似于验证部分中描述的甜菜数据集：甜菜数据集中。这里的区别在于没有“人类注释”的地面真相数据可用。然而，在花椰菜数据的实际使用案例中，基于掩码区域的卷积神经网络（Mask R-CNN）[30]利用单个花椰菜植株图像进行训练，提取植株位置。我们的评估使用Mask R-CNN结果作为我们自己直接和间接检测的参考。掩码R-CNN应用于单个图像（2020年8月19日）。尽管如此，我们认为检测在所有收购日期都有效，以评估我们的日间（直接和间接）检测。作为我们和参考检测之间的最大公差距离，我们选择12 cm，这大致是参考检测日期的植物半径。图中显示了五个评估日期12由于我们的方法，只要在合理的覆盖率范围内，在每个图像中都可以检测到植物，我们的方法比Mask R-CNN方法产生更精确的植物位置。这对于进一步提取单个植物的图像至关重要，其中植物应位于每个提取图像的中心。我们的检测结果与Mark R-CNN的检测结果吻合得很好，准确率超过95%，召回率超过97%。特别是，这些基准比甜菜数据集的基准要好。这很可能是因为与甜菜相比，花椰菜植株的间距和分辨率更大。

应用：现场注释

我们将所有工厂位置都作为GPS坐标提供，从而可以使用地理信息系统应用程序处理数据，如QGIS（质量地理信息系统）[17]. 对于工厂评估或注释等现场操作，工厂目录可以通过提供感兴趣的工厂的结构化位置样本来支持。此外，一些有趣的应用程序，如Q字段[31]能够在智能手机上直接处理地理参考数据。这对于农民来说是一个极好的工具，他们可以使用植物目录和当前的GPS位置直接“在线”完成田间任务。例如，将植物目录导出为KML文件[32]允许使用更多注释数据（如疾病严重程度评分、叶片数量、附加图像等）来丰富地理参考植物目录。图13显示了在现场场景中可能出现的情况。

应用：用于疾病严重程度分类的图像提取

收集的植物目录的一个有趣的用例是图像提取。该目录可以收集单个植物的时间序列图像。通过在各自的基于像素的图像坐标系中对簇成员坐标进行逆变换（参见进一步的滤波和间接检测部分），可以获得植物的“原始”像素位置。接下来，我们只需在这些像素周围定义一个框架，然后得到更小的“块”。这些块可以用于进一步的步骤，例如，作为神经网络架构的训练集，如Yamati等人[33]. 这些图像在多个日期与单个植物链接，这一事实使该数据集不仅可用于空间相关分析，还可用于时间序列分析。图14显示了花椰菜数据集的几个示例图像块。甜菜数据集的其他示例图像块可以在补充材料.

作为一个简单的示例应用程序，我们可以使用提取的图像通过图像分类来自动进行植物健康评级。评级尺度⁷基于KWS SAAT SE&Co.KGa公司的规模[34，35]. 显示了五种植物健康状态，并将其分为1、3、5和9类。我们补充了介于两者之间的类别，导致10种疾病严重程度从1（完全健康）到10（完全患病）。对提取的约4000幅植物图像的子样本进行注释，以训练卷积神经网络。为了增加训练样本的大小，我们通过随机移位和旋转对相同植物的进一步图像进行采样来增加数据。还可以设想进一步的增强方法，如采样不同的光照条件[36]. 对于卷积神经网络的例子，我们使用标准的ResNet-50模型[37]在ImageNet数据集上预训练的[38]由RGB图像组成。我们通过在ResNet-50网络之前添加2个卷积层，使网络适应我们的用例（5个通道，10个输出类），从而将5个通道依次减少到3个。在ResNet-50层之后，我们添加了一个致密层，将2048个等级降低到10个疾病严重程度。图中真实和预测疾病严重程度之间的混淆矩阵15表明分类在很大程度上是可行的。然而，前5个学位之间的区别似乎很有挑战性。当然，可以做进一步的研究，因为这超出了这项工作的范围。

结论

该工作流程对这两个考虑的数据集都显示了非常令人满意的检测性能。通过选择RGB-only VI进行峰值检测，我们成功地证明了对于我们的植物编目来说，RGB信息是足够的。这对于用例可能很重要，如花椰菜数据集所示，无论出于何种原因，多光谱甚至高光谱数据采集都是不可行的。然而，我们可能并不排除在光谱之外的可用数据可以提高峰值检测性能。高度自动化使大规模数据分析成为可能。特别是对于由多个较小字段组成的字段，如甜菜数据集中的字段，可以并行处理许多工作流步骤。

如果培训数据可用，则必须对基于深度学习的植物识别方法进行不同植物大小的培训。不幸的是，对于遮篷关闭的图像(⁠|$c\gt{75}{\%}$|)深度学习和我们相当“经典”的方法都将失败，因为相邻的植物无法区分。然而，对于可行的植物大小，我们的方法基本上不确定植物大小，可以有效地提取图像，用于训练更好的基于深度学习的植物识别系统。

通过利用无人机图像中的地理空间信息，我们可以在像素单位和公制单位（如厘米）之间进行转换。从用户的角度来看，这使得工作流非常适合具有不同植物和播种条件的其他数据集。我们可以直接参考真实世界中的测量值，如植物半径或播种距离，而无需考虑图像分辨率。

最近开发的高级深度学习模型需要大量数据，尤其是涉及图像处理的任务，例如使用Mask R-CNN进行分类和实例分割。原则上，无创遥感和无人机可以应用于大规模农业实验和相应数据。通过自动化植物编目并提供数据框架，我们的工作有助于充分挖掘无人机成像在农业环境中的潜力。

源代码的可用性

我们工作流程的源代码可在以下存储库中获得：

• 项目名称：工厂编目工作流

• GitHub存储库：https://github.com/mrcgndr/plant_cataloging_workflow

• RRID:SCR_022276

• 操作系统：独立于平台（带conda），Linux（带Docker）

• 编程语言：Python（3.9或更高版本）

• 许可证：Apache License 2.0

数据可用性

甜菜数据的子集可用，以便运行工作流并重现结果。数据已上传至GigaScience数据库（GigaDB），以及我们的代码快照[39]. 如前所述，数据集的特定用例是我们工作流的附属用例。这两个数据集都用于进行中的研究，因此无法完全发布。然而，分布式子集足以支持本文的结果。

其他文件

图16.播种线识别。对于种子线识别，窗口中具有大小的点|$\lambda={32}{\，\mathrm{px}}$|扫描精度为|$\rho={0.5}{\，\mathrm{px}}$|如左图所示。在本例中，通过k均值找到了29个有效峰值。他们代表中心年-右图中显示的播种线的坐标以及相应的（旋转的）峰值位置。

图17.组标签排序。

图18.检测到甜菜叶斑数据集的植物位置。我们的方法检测到四个随机选取的植物RGB图像序列。收购日期向下增加。显示了每秒钟的采集日期。黑色帧注释直接和灰色帧间接检测。柱分别从接种、杀菌剂处理、天然和参考字段中按4个示例分块排列。

缩写

CLS公司：尾孢属叶斑病；CNN：卷积神经网络；GCP：地面控制点；GLI：绿叶指数；全球导航卫星系统；GPS：全球定位系统；激光雷达：光探测和测距；NGRDI：归一化绿/红差值指数；OSAVI：优化土壤调整植被指数；RTK：实时动态定位；UAV：无人机；六： 植被指数。

竞争性利益

作者声明，他们没有相互竞争的利益。

基金

这项工作由德国卓越战略（EXC 2070–390732324）下的Deutsche Forschungsgemeinschaft（DFG，德国研究基金会）资助，部分由欧洲农业农村发展基金资助，并由North-Rhine Westphalia（17-02.12.01-10/16–EP-0004617925-19-001）出资。这项工作的部分资金由德国联邦教育和研究部（BMBF）在国际未来人工智能实验室“AI4EO–地球观测人工智能：推理、不确定性、道德及其他”（授权号：01DD20001）的框架内提供。

作者的贡献

工作流程由M.G.设计和实现。甜菜试验由F.R.I.Y.进行，并对相应数据进行预处理和注释。菜花数据集由J.K.M.G.、F.R.I.Y.提供并预处理，J.K.起草了手稿。C.B.、A.-K.M.和R.R.监督了这项研究。所有作者都批准了最后的手稿。

致谢

我们要感谢弗劳恩霍夫IAIS媒体工程部的所有同事，感谢他们在讨论这项工作的研究过程中给予我们的启发和支持。此外，特别感谢IfZ的传感器团队和PhenoRob卓越集群的同事们提供有关所用数据的访问和帮助。

脚注

参考文献