1.简介
目标跟踪是机器视觉的研究热点,已广泛应用于视频监控、安防、检测、人机交互等领域。近年来,随着无人机的快速发展,目标跟踪已成为其基本功能之一,并已应用于航空摄影测量[1],自动着陆[2],目标位置[三]、空中监视[4],物体检测[5]然而,无人机的目标跟踪仍然面临着许多挑战,例如背景杂波、相似目标、部分/完全遮挡和快速运动。此外,大多数无人机平台基于CPU,电源和计算资源有限。无人机跟踪的研究重点是具有优良跟踪性能和高FPS(每秒帧数)的CPU友好型跟踪器。由于无人机实时跟踪的速度要求需要超过30 FPS,因此提高跟踪器的跟踪速度(即FPS)尤为重要。因此,需要研究无人机低复杂度、高跟踪精度的跟踪方法。 基于判别相关滤波器(DCF)的方法因其计算效率高、跟踪性能好而受到无人机的广泛关注。这些方法通过最小化岭回归模型学习相关滤波器,即最小化实际目标响应和理想响应的平方误差。实际目标响应是通过滤波器和从搜索区域提取的特征之间的相关操作生成的。理想响应被构造为二维(2D)理想高斯分布。然后,将最大实际响应值的位置作为最佳目标位置。此外,基于DCF的方法使用快速傅里叶变换将空间域的相关运算转换为频域的点积运算,大大降低了计算复杂度,适合于无人机CPU平台。基于DCF的方法通过傅里叶域的循环运算,也生成了许多隐式训练样本。然而,基于DCF的目标跟踪方法仍存在一些问题需要解决。
首先,基于DCF的方法在傅里叶域中的循环移位操作将导致训练样本在边界处的不连续性,即边界效应,降低样本的可靠性并降低跟踪性能。为了弥补这个缺点,一些方法[6,7,8,9,10]开发了空间正则化项来缓解边界效应,这使得滤波器更加关注目标区域的信息,并惩罚远离目标区域的滤波器系数。一些方法[11,12]展开搜索区域并从搜索区域中裁剪真实的阳性和阴性样本。其次,由于用于训练滤波器的理想响应呈现2D高斯分布,学习滤波器产生的实际响应也应呈现类似的分布,即在目标区域具有最大值的尖峰和在背景区域趋于零的低值。不幸的是,在跟踪过程中,在各种场景中仍然存在干扰因素。因此,实际响应的分布将不是理想的高斯形状。换句话说,实际分布包含对目标位置有显著影响的多峰值。为了抑制多峰值响应干扰,一些方法[13,14,15]采用响应正则化来平滑响应变化,并抑制当前帧中出现的异常响应峰值。一些方法[16,17]将上下文信息引入DCF框架来训练滤波器,有效地减少了干扰物的反应波动。 在本文中,我们提出了一种用于无人机跟踪的响应一致和背景抑制相关滤波器,该滤波器利用SRDCF[6]作为基线跟踪器。整体跟踪框架如所示图1具体地说,开发了一种新的响应一致性模块,其中由滤波器和从当前帧和前一帧提取的特征分别生成两个响应图。然后,此模块使用我2-范数约束,以保持两个响应与前一帧的已知响应一致。通过约束操作,该模块使所提出的跟踪器不仅能够避免由背景干扰引起的目标响应的突然变化,而且能够保留从之前的滤波器继承来的滤波器的辨别能力。此外,提出了一种新的背景抑制模块,该模块使滤波器能够通过使用注意掩码矩阵聚焦于背景区域。依靠该模块,滤波器可以学习额外的背景信息,并防止背景中干扰因素的影响。此外,上述两个模块同时被引入DCF框架,并用ADMM方法求解[18]. 最后,我们对我们的跟踪器进行了全面评估无人机123@每秒10帧 [19],DTB70[20]和无人机[21]基准。与其他22款最先进的跟踪器相比,我们的跟踪仪通过手工制作的功能实现了显著的跟踪性能,并在单CPU上以每秒约36帧(FPS)的速度运行,用于实时无人机跟踪。 本文的贡献总结如下:
提出了一种新的响应一致性模块,以最小化滤波器在相邻帧中获得的响应之间的差异,避免了背景干扰引起的目标响应突变,从而有助于增强学习滤波器的识别能力。
提出了一种新的背景抑制模块,该模块利用注意遮罩矩阵使学习滤波器识别背景信息,从而抑制干扰源引起的干扰。
在三个具有挑战性的公共无人机基准上的实验结果已经完成,并证明我们的跟踪器相对于其他22个最先进的跟踪仪实现了出色的跟踪性能。我们的跟踪器可以在单个CPU平台上实现实时跟踪。
2.相关工作
在本节中,我们主要讨论与本文工作相关的目标跟踪方法,即判别相关滤波方法。
2.1. 判别相关滤波方法
考虑到基于DCF的方法具有计算效率高、跟踪精度高和在CPU设备上部署方便等优点,它们在无人机中受到了关注。Bolme等人。[22]首次将相关滤波方法引入目标跟踪领域。通常,他们将空间域中的相关运算转换为频域中的点积运算,这大大降低了计算复杂性。Henriques等人。[23]在DCF框架中引入了循环移位和快速傅里叶变换[23]采用基于循环移位运算的密集采样方法来增加训练样本。然后,Henriques等人。[24]提出了一种核化相关滤波器(KCF)。KCF使用循环矩阵生成多个训练样本,并使用多通道HOG提高了跟踪鲁棒性[25]功能,而不是中的单通道像素功能[23]. 然而,HOG特征可以描述被跟踪对象的外观和形状,无法表达颜色属性。因此,Martin等人。[26]提出了一种用于目标跟踪的自适应颜色属性方法,该方法使用主成分分析(PCA)方法来降低特征维数。Li等人。[27]提出了一种融合HOG和CN的尺度自适应核相关滤波器(SAMF)[28]特征,并采用比例金字塔方法来寻找目标的最佳比例大小。Bertinetto等人。[29]提出了Staple跟踪器,该跟踪器通过融合HOG特征和颜色直方图生成的模板响应和直方图响应来定位目标。 为了提高基于DCF的方法的跟踪性能,近年来提出了几种具有深度特征的方法。Martin等人。[30]通过学习具有深度多分辨率特征的连续卷积算子,提出了C-COT跟踪器。为了加快C-COT的跟踪速度,Martin等人。[31]开发了ECO跟踪器,该跟踪器利用分解卷积算子和生成样本模型来降低复杂性。在[9],Dai等人。提出了一种自适应空间规整相关滤波器(ASRCF)。ASRCF跟踪器采用自动估计的目标软件空间正则化来灵活生成滤波器惩罚系数,并使用浅层和深层特征组合进行目标定位。在[32],Xu等人。提出了GFS-DCF跟踪器,该跟踪器使用组特征选择方法在手工和深度CNN特征中选择可靠的信道特征。此外,GFS-DCF使用了时间平滑正则化项和低阶近似方法来训练相关滤波器。 综上所述,上述一些方法使用循环移位来构造训练样本,这通常会导致不必要的边界效应的存在,从而降低训练样本的可靠性。一些方法通常利用组合特征来提高跟踪性能,并利用空间或时间正则化来约束滤波器。与之不同,本文提出的方法考虑了滤波器产生的响应与相邻帧中特征的一致性。此外,为了提高滤波器感知背景信息的能力,在DCF框架中引入了一个新的背景抑制模块来抑制干扰物的干扰。
2.2. 减少边界效应的跟踪
为了缓解边界效应,研究了几个相关的研究项目。Martin等人。[6]提出了一种空间正则化相关滤波器(SRDCF)。SRDCF利用空间惩罚项防止滤波器学习远离目标区域的信息,从而抑制训练样本的边界。Lukezic等人。[7]提出了CSRDCF跟踪器,该跟踪器利用前景/背景直方图自动估计空间可靠地图。通过将该空间地图限制为适合目标的不规则形状,CSRDCF可以扩大搜索范围以减轻边界影响,提高非矩形目标的跟踪性能。Galoogahi等人。[12]开发了具有HOG特征的背景相关滤波器(BACF)。在BACF中,扩展了目标搜索区域,并使用裁剪矩阵裁剪出真实的正负训练样本。利用这些裁剪的样本,BACF可以避免通过循环移位生成训练样本,提高样本的真实性。Li等人。[8]提出了一种基于SRDCF的时空正则化相关滤波器(STRCF),使学习后的滤波器与历史滤波器在滤波器突变时保持一致。此外,STRCF还采用了交替方向乘数法(ADMM)[18]解决频域中的子问题。与SRDCF的高斯方法相比,STRCF的计算效率大大提高。Li等人。[10]提出了一种自动时空正则化相关滤波器(AutoTrack)。在[10]针对不同的跟踪场景,采用局部和全局响应变化来自动调整空间和时间正则化参数。此外,ADMM方法也用于解决AutoTrack中的子问题。 2.3. 基于响应的跟踪方法
Lin等人。[33]提出了一种利用帧间临时块信息实现基于响应的双向不一致性的方法。在[33]利用了一种新的双向不协调正则化方法,旨在使学习的滤波器仍然具有先前滤波器的判别能力,并增强对外观变化的泛化能力。后来,Lin等人。[34]提出了一种用于无人机跟踪的自适应响应推理方法。在[34]历史响应正则化生成由特征和前一帧的滤波器生成的训练标签。此标签用作回归术语,用于使用以前的功能训练当前过滤器。此外[34],利用前一个滤波器的预测能力构建推断的响应正则化,以抑制剧烈的响应波动。 与相比[33,34],所提出的方法不同于它们。我们工作中的方法侧重于通过使用-范数约束项,即。,。但是[33,34]重点是约束当前和历史过滤器在相同功能上生成的响应的错误,不要将以前的响应用作一致性参考。此外,考虑到跟踪过程中背景中干扰因素的影响,我们还引入了一个独立的背景抑制模块到训练模型中,该模块使用注意矩阵使滤波器专注于学习从背景中提取的特征。对于背景抑制模块,我们工作中提出的方法也不同于[33,34]. 2.4. 背景干扰抑制跟踪
抑制背景中的干扰因素是目标跟踪领域的一个挑战性问题。最近,开发了几种基于DCF的方法。Mueller等人。[16]通过将目标周围的上下文信息引入到过滤器训练模型中,开发了上下文相关过滤器(CACF)。CACF跟踪器可以有效地抑制背景补丁的响应,提高滤波器的识别能力。Zhang等人。[17]提出了一种基于稀疏学习的相关滤波器(SRCF),该滤波器在DCF框架中添加了稀疏响应正则化项,并在岭回归模型中训练滤波器。通过实验验证,SRCF跟踪器可以减少背景区域的异常响应,并消除干扰物引起的意外峰值。Fu等人。[35]提出了一种动态回归方法(DR2Track),用于自动抑制目标周围的干扰物。在[35]DR2Track用检测阶段响应的局部最大值生成的动态回归标签取代了理想的高斯标签。因此,DR2Track可以自动检测潜在的干扰物,并抑制它们在背景中的反应峰值。Huang等人。[13]开发了一种畸变抑制相关滤波器(ARCF),该滤波器使用移位操作使当前响应与之前的响应一致。在利用我2范数约束下,ARCF可以实现对响应畸变的抑制,保证目标在背景杂波环境下的稳定跟踪。Zhang等人。[14]提出了一种基于双重回归的目标感知与背景抑制跟踪方法(TABSCF),该方法采用显著性检测方法提取目标特征。此外,TABSCF使用目标特征和额外的全局特征分别对目标过滤器和全局过滤器进行回归。最后,通过限制两个回归滤波器产生的两个响应,TABSCF可以获得更好的抑制背景干扰因素的能力。与上述方法相比,我们采用了一种独立的正则化方法,其中注意力矩阵对背景区域应用高权重来训练滤波器,以获得对干扰物的低响应。 Huang等人。[36]提出了一种用于目标跟踪的多通道背景抑制相关滤波器(BSCF)。BSCF构造了一个包含所有背景的训练样本,其中目标区域用零填充。然后,需要再次提取此样本的特征以训练过滤器。Liu等人。[37]提出了一种新的带屏蔽相关滤波器的跟踪器,该跟踪器用矩形屏蔽训练样本以保留目标区域,并去除背景区域以降低背景噪声。Wang等人。[38]提出了一种基于DCF的方法,利用急剧减小的掩模矩阵来抑制背景中的信息,并将掩模矩阵集成到带有高斯标签的回归项中。霍等人。[39]提出了一种软掩模相关滤波器,该滤波器利用软掩模来关注目标斑块,并通过应用零掩模值来裁剪目标周围的区域。与相比[36],我们工作中的背景抑制模块直接在当前帧中获取样本,而不在目标区域中填充零。使用注意矩阵突出背景区域,弱化特征的目标区域。此外,由于我们不破坏样本结构,样本可以直接参与目标外观模型的更新。然而,在BSCF中,目标外观模型和背景样本需要分别更新。与相比[37,38,39],我们的方法不选择删除中背景信息的方式[37],将远离目标的背景像素设置为零,并在中裁剪训练模型的目标区域[38,39]. 相比之下,我们使用所提出的矩阵在目标和背景区域上应用低权重和高权重来学习滤波器。此外,注意矩阵存在于一个独立的正则化中,并且不作用于带有高斯标签的回归项。 3.建议方法
3.1. 基线跟踪器
给定训练样本集使用提取的特征在中k个-第h帧和理想高斯响应标签SRDCF的总体目标功能[6]是对岭回归问题进行优化,如下所示:其中⋆表示循环相关运算,D类是功能频道的数量,⊙代表Hadamard产品,表示平方和,是权重系数,(f)表示要在中学习的筛选器k个-第帧和,、和w个是空间正则化惩罚权重,在背景区域中分配的系数高于目标区域中的系数。由于使用w个在目标函数中,学习的滤波器将聚焦于可靠的目标区域,对背景斑块产生低响应。 SRDCF作为一种基于DCF的跟踪器,通过减轻边界效应和扩大搜索范围,可以在大多数正常情况下实现稳定的跟踪。然而,在无人机跟踪中,当干扰源的响应值超过目标区域的响应值时,往往会产生复杂的背景干扰,导致目标漂移或丢失。针对这一问题,考虑到SRDCF没有利用相邻帧的特征信息,当搜索区域中存在干扰物时,很容易对目标进行错误定位。此外,SRDCF利用空间惩罚项使滤波器聚焦于目标区域,未能有效地学习背景信息,导致滤波器抑制背景干扰的能力存在一定缺陷。
3.2. 响应一致模块
被跟踪的目标在无人机跟踪中经常遇到各种场景,如背景杂波、相似物体、遮挡和快速运动等。因此,滤波器产生的响应和从搜索区域提取的特征,通常包含多个峰值,表示在相应位置成为目标的可能性。假设某个干扰峰值的最大值大于目标的最大值,则目标将被错误定位。为了有效抑制多峰值响应干扰,引入了响应一致性模块,其目的是保持相邻帧的响应一致性,并约束响应变化以防止干扰峰的发生。配方如下:哪里和是两个固定的正则化参数,等于外观模型在里面第3.6节在解决筛选器之前已更新的.在方程式中(2),的可以分为两部分,和. The
构造的目的是保持当前和先前响应的一致性,这可以防止当前帧中发生的特征突变导致当前响应的突然变化。然后用于生成响应和而前面的响应相互约束。因此,过滤器(f)可以继承上一个过滤器的辨别能力.通过雇佣和电流中的响应和滤波器k个-该框架将分别保持历史连续性。此外,由于电流滤波器(f)根据以下两个特征进行训练和,过滤器(f)对搜索区域中突然出现的干扰物不太敏感k个-th帧,使目标能够被稳定跟踪。 3.3. 背景-抑制模块
在第3.2节虽然响应一致性模块可以减轻搜索区域中出现的干扰因素的影响,但它无法学习更多的背景信息。启用过滤器(f)为了学习背景信息并进一步抑制背景中的干扰,引入了背景抑制模块,该模块使用了一个注意屏蔽矩阵第页制作过滤器(f)关注背景区域。公式如下:哪里是一个固定的正则化参数。在方程式中(三),第页是一个注意掩码矩阵,其中属于目标区域的值低于背景区域,并且表示在当前k个-第帧。在这个模块中,Hadamard乘积运算介于第页和这增加了背景信息的权重。然后,与Hadamard乘积结果和滤波器进行相关运算(f)执行。最后-范数用于促进岭回归模型的最小化。 3.4. 总体目标功能
基于SRDCF[6],这里提出的总体目标函数可以构造如下:哪里是响应一致的模块,并且是背景抑制模块。考虑到方程中的每个正则化项(4)包含D类独立计算次数,其中D类是特征通道的数量,我们可以分解方程(4)到D类子问题并选择d日-要导出的第个通道。为了简化以下推导过程,我们省略了下标因此d日-用于推导的子问题可以公式化为: 3.5. 优化
通过引入辅助变量和采取,我们可以做方程式(5)是等式约束公式,如下所示: 在方程式中(6)空间域中存在相关运算,具有一定的高复杂度。因此,为了提高计算效率,将相关运算转换为频域中的单元运算。根据Parseval定理,方程(6)可以公式化如下:其中下标表示离散傅里叶变换(DFT),下标*表示复数共轭。在方程式中(7),是可以转换向量的DFT矩阵k个在空间域中转化为矢量在频域中,即。,为了简化,拉格朗日乘数用于转换方程式(7)为便于ADMM方法的推导,引入了增广拉格朗日形式。然后,方程式(7)可以按如下方式重新制定:哪里表示惩罚因子,等于. 用ADMM方法和方程的增广拉格朗日形式(8),我们分解方程(8)分为两个子问题分别进行推导。每个子问题都有一个封闭的解决方案。 子问题:
求解,独立辅助变量小时和可以修复并引入ADMM迭代过程进行推导。因此,优化的推导结果可以公式化如下:哪里我代表我-第次迭代。为了获得方程的解(9),方程的最小化结果(9)可以认为是零。因此,通过简化,如下所示:其中,方程式中的分数运算(10)是元素方向的划分。 子问题小时:
求解小时,独立辅助变量和可以修复并引入ADMM迭代过程进行推导。因此,优化的推导结果可以公式化如下: 为了获得方程的解(11),我们可以考虑小时为零。因此,一个封闭的解决方案可以看出如下:哪里表示逆离散傅里叶变换。 更新拉格朗日乘数:
此外,由更新在ADMM迭代的最后一步。是固定步长比例因子是固定的最大值.
3.6. 更新外观模型
本文中的外观模型更新方法与大多数基于DCF的方法一致。更新方式如下:哪里和表示中的外观模型k个-th和()-第个帧。是外观模型的固定在线学习率。 3.7. 目标定位与尺度估计
目标本地化。要在中获取目标位置,请执行以下操作k个-第帧,我们首先在k个-通过使用已知信息,即来自-第帧。然后,我们使用过滤器的-第h帧和提取的特征搜索区域的k个-生成响应的第帧如下: 中的目标k个-可以通过找到响应最大值的位置来定位第帧.
规模估算。为了获得目标的尺度,我们采用了ARCF方法[13]. 首先,我们在方程式中使用学习的滤波器(10)计算分别属于33个不同尺度目标区域的响应。然后,我们选择对应于具有最大值的响应的尺度,作为目标在k个-第帧。 3.8. 跟踪管道
算法1总结了所提出跟踪器RCBSCF的跟踪管道。在检测阶段,RCBSCF首先从当前输入帧中提取具有在前一帧中预测的已知位置和比例的特征。然后,通过当前特征和前一帧的滤波器之间的相关操作,可以生成响应图。目标的位置是响应图中最大值的位置。此外,通过在第3.7节得到了目标的最佳尺度。在训练阶段,RCBSCF利用检测阶段获得的位置和尺度提取当前帧中的特征。通过方程式(14),外观模型将更新。然后,将更新后的外观模型引入方程式(4)英寸第3.4节用于学习过滤器。算法1:响应一致和背景抑制相关滤波器(RCBSCF) |
|
4.实验
在本节中,我们在三个公共无人机基准上对提议的跟踪器进行了全面的实验分析,即。,无人机123@每秒10帧 [19],DTB70[20]和无人机[21]. 此外,我们还将我们的跟踪器与另外两组共22个最先进跟踪器进行了比较,其中包括13个基于手工特征的跟踪仪(即AutoTrack[10]、ARCF[13],DR2轨道[35],LADCF-HC公司[40]、STRCF[8],MCCT-H[41],千立方厘米[42]、BACF[12]、fDSST[43]、SRDCF[6],装订_CA[16]、KCF[24]、SAMF[27])和9个基于深度特征的跟踪器(即ECO[31]、暹罗FC[44]、IBCCF[45]、UDT[46],UDT+[46]、TRACA[47]、DSiam[48]、LUDT[49],LUDT+[49]). 4.1. 实施详细信息
所有实验都是在MATLAB R2019a上实现的,使用Intel i5-9600K CPU、32G RAM和单个NVIDIA GTX2070 GPU。RCBSCF跟踪器使用手工制作的特征,其中包含HOG(31个通道)、CN(10个通道)和灰度(1个通道)特征用于目标跟踪。我们设定了,和分别等于37、16.4和6。至于初始惩罚因子和最大值,我们将其设置为100并且分别是。惩罚尺度步骤设置为500。ADMM迭代次数设置为5,学习速率用于更新外观模型的值为0.0327。我们将搜索区域设置为方形区域,其边长为(W公司和H(H)是目标的宽度和高度)。特征单元大小设置为4。此外,在设置STRCF之后,我们设置了以下值w个属于目标区域和背景区域的和分别是。在目标区域和背景区域大小相同的情况下,我们设置第页它们分别属于目标区域和背景区域,分别为0.1和1.2。的总大小第页等于w个.
备注 1 参数μ用于惩罚术语,即。,,在方程式中(9). 通常,假定μ足够大,则方程的最优解(9)可以得到近似于方程其余部分的解(9)除了这里,初始μ通常在1到,确定初始惩罚程度。根据经验设置为用于限制μ的最大值,这将保持求解滤波器的稳定性。β是阶跃比例因子考虑到μ和β的较大值将有助于ADMM收敛[12]根据经验,初始μ和β分别设置为100和500。ADMM迭代次数影响滤波器的最优解和计算效率,通常不大于5。学习率η用于更新外观模型,防止跟踪器受到目标外观严重变化的影响。使用更新后的外观模型主要由历史外观组成。方形搜索区域通常设置为大于目标的大小,这便于捕获目标并生成大量正负样本。方形搜索区域通常是目标大小的2到5倍。特征单元是特征提取的单元,它影响特征图的大小以及跟踪器的计算和跟踪精度。特征单元大小可以是N×N(N=2,3,4,…,8)。参数w旨在惩罚搜索区域背景中的滤波器系数,并使滤波器聚焦于目标。在我们的工作中,方形搜索区域的大小、特征单元大小和w遵循中的设置[8]. 参数p是一个特征权重,它放大位于背景区域的特征值,以惩罚过滤器生成的背景响应。为了确保加权特征没有发生很大变化,背景和目标区域中的p值被设置为接近1,范围分别为1到2和0到1。 4.2. 基准和指标
本文中提出的跟踪器是在三个公共挑战基准上进行评估的,它们是无人机123@每秒10帧DTB70和UAVDT。这些基准测试总共包含243个视频序列,拥有超过90K张图片,涵盖了各种无人机跟踪场景。
基准无人机123@每秒10帧基准测试是一个完全注释的无人机视频图像序列,其中包含123个序列。无人机123@每秒10帧由UAV123数据集的下采样生成,这增加了UAV123上目标跟踪的难度。无人机123@每秒10帧有103个不同物体的高分辨率序列,由无人机相机在5至25米的高度拍摄,12个低质量和低分辨率序列,以及8个无人机模拟器拍摄的序列。此外,无人机123@每秒10帧共包含12个属性,即相似对象(SOB)、相机运动(CM)、快速运动(FM)、背景杂波(BC)、照明变化(IV)、视野外(OV)、完全遮挡(FOC)、部分遮挡(POC)、低分辨率(LR)、纵横比变化(ARC)和视点变化(VC)。
DTB70基准收集了70个无人机视频序列,共包括11个属性,即周围相似对象(SOA)、比例变化(SV)、遮挡(OCC)、快速相机运动(FCM)、平面内旋转(IPR)、平面外旋转(OPR)、视线外(OV)、背景杂波(BC)、变形(DEF)、纵横比变化(ARV)和运动模糊(MB)。
UAVDT基准包括用于无人机目标跟踪的总共50个视频序列,该视频序列具有超过37K的图像帧。该基准捕获来自不同天气条件、飞行高度和相机视图的图片,包含9个属性,即小目标(SO)、长期跟踪(LTT)、相机运动(CM)、物体运动(OM)、物体模糊(OB)、照明变化(IV)、比例变化(SV)、背景杂波(BC)和大遮挡(LO)。
公制。对于上述基准,我们采用最常见的度量标准,即一次通过评估(OPE)来评估所有跟踪器。该指标的特点是,在第一帧中具有初始位置和缩放信息的跟踪器需要遍历整个视频序列,并且在运行时无法初始化。此外,该指标还包括两个标准,即交集-重叠(IOU)和中心位置误差(CLE)。IOU是通过计算预测框和地面真值框之间的重叠率获得的。CLE是通过计算预测框中心位置与地面真实值之间的欧氏距离来获得的。CLE的单位是像素。在IOU和CLE的基础上,通过设置不同的阈值获得了两个评估标准,即成功率和准确率。IOU和CLE分别如下:哪里和表示预测框和地面真值框,∏和∧表示和,和表示的中心位置和. 成功率图显示IOU大于给定重叠阈值的帧的百分比,范围为0到1。当IOU大于重叠阈值0.5,即IOU≥0.5时,每个成功率图的曲线下面积(AUC)对跟踪方法进行排名。精确率图说明CLE在从0到50像素变化的阈值内的帧的百分比。此外,距离精度(DP)表示CLE低于给定阈值的帧的百分比。当该给定阈值被设置为20个像素时,DP用于在精度率图中对跟踪方法进行排序。
4.3. 与手工制作功能的比较
4.3.1. 跟踪性能分析
在本节中,我们将我们的跟踪器RCBSCF与其他13种最先进的手工特征跟踪器进行了比较。实验结果如所示图2. 无人机123@每秒10帧。图2a说明了所有比较跟踪器在无人机123@每秒10帧基准。我们的追踪工具RCBSCF在所有比较追踪工具中排名第一。此外,与最先进的跟踪器(即AutoTrack、ARCF)相比,RCBSCF跟踪器的准确率提高了1.4-1.6%,成功率提高了1.6-1.9%。与基线跟踪器SRDCF相比,我们的跟踪器RCBSCF的准确率和成功率分别优于10.7%和6.9%。 DTB70.输入图2b、 我们的跟踪器RCBSCF在准确率方面不如AutoTrack跟踪器,并且RCBSCF-跟踪器的准确率比AutoTrack追踪器低0.7%。然而,在成功率方面,该跟踪器比AutoTrack跟踪器高1.4%。此外,与最先进的跟踪器(即ARCF、DR2Track)相比。我们的跟踪器分别提高了1.4-1.5%的准确率和2.1-1.9%的成功率。与基线跟踪器SRDCF相比,该跟踪器的精度和成功率分别提高了19.6%和13.0%。 无人机。在图2c、 我们的跟踪器在精确度和成功率方面取得了最好的成绩。尽管与最先进的跟踪器(即AutoTrack、ARCF)相比,我们的跟踪仪RCBSCF的精度和成功率并不比他们高多少。与其他跟踪器(如LADCF-HC、DR2Track和MCCT-H)相比,所提出的跟踪器具有显著的性能改进。此外,与基线跟踪器SRDCF相比,我们的跟踪器RCBSCF的精度和成功率分别提高了7.5-4.7%。 整体性能。在表1,我们使用成功率和准确率的平均值以及所有无人机基准上的跟踪速度(FPS)评估了RCBSCF和其他13种最先进跟踪器的总体性能。通过比较每个跟踪器的平均成功率和准确率,提出的跟踪器RCBSCF具有最高的平均成功分数(0.485)和最佳的平均准确分数(0.711)。此外,表1显示了每个跟踪器的跟踪速度。KCF达到最高跟踪速度(574.78 FPS),其次是fDSST(173.25 FPS)和Staple_CA(47.29 FPS)。尽管KCF、fDSST和Staple_CA的跟踪速度明显快于我们的跟踪器RCBSCF(36.21 FPS),但它们的跟踪性能在平均成功率和准确率方面低于我们的跟踪器。同时,从中可以看出表1与基线跟踪器SRDCF相比,我们的跟踪器RCBSCF的平均成功率和准确率提高了8.2%–12.3%。此外,该跟踪器在单个CPU上可达到~36 FPS,用于在线实时无人机跟踪。 4.3.2. 基于属性的分析
为了充分验证我们的跟踪器RCBSCF在不同无人机场景中的性能,我们在无人机123@每秒10帧、DTB70和UAVDT基准。表2说明了在不同属性场景中,所有具有手工特征的跟踪器的成功率和准确率。可以在中看到表2我们的跟踪器RCBSCF在三个无人机基准中的比较属性排名第一。同时,为了可视化RCBSCF的跟踪结果,我们选择了几个具有不同属性的具有挑战性的场景进行基于属性的定性分析。 分散注意力的属性。在所有UAV基准测试中,干扰物属性主要包括两种挑战场景,即相似对象和背景杂波。图3显示了分心场景中RCBSCF和其他顶级跟踪器(即AutoTrack、ARCF、DR2Track、SRDCF)的评估结果。RCBSCF跟踪器实现了卓越的性能。在包含类似对象的场景中,分心物通常与目标具有相似的外观,并分布在背景中。基于背景抑制模块,RCBSCF可以学习背景信息来抑制跟踪阶段的类似干扰。此外,在背景杂波的情况下,被跟踪目标被背景中的无关目标包围。通过响应一致性模块,RCBSCF可以保持响应图的变化稳定,并抑制无关对象产生的意外响应峰值。 为了直观地表达RCBSCF在分心场景中的跟踪性能,图4说明了序列中的跟踪结果,即中的group2_3_1和group3_3_1序列无人机123@每秒10帧,无人机DT中DTB70和S0308序列中的surfing06序列从顶行到底行。在group2_3_1和group3_3_1序列中,被跟踪的人被其他相似的人包围,这增加了目标跟踪的难度。此外,在group3_3_1序列中,被跟踪者受到背景中绿色草坪的影响。虽然被跟踪的人处于两个包含相似对象和背景杂波的序列中,但我们的跟踪器始终可以实现稳定的跟踪。同样,在surfing06序列中,被跟踪的人会受到杂乱的海浪的影响,这些杂乱是不规则的海浪。在S0308序列中,履带车受到灯光和其他车辆的干扰。然而,我们的跟踪器RCBSCF始终能够在背景干扰下跟踪目标。 遮挡属性。无人机跟踪通常会遇到目标被部分或完全遮挡的情况。当目标被遮挡时,其外观特征会受到背景信息的污染。因此,当目标返回无人机视图时,无人机无法使用错误的特征对其进行重新跟踪。在这里,我们在三个无人机基准上评估了我们的跟踪器在遮挡属性下的跟踪性能。如所示图5,我们的跟踪器RCBSCF在四个属性中取得了最佳的成功率,即无人机123@每秒10帧、DTB70中的遮挡属性和UAVDT中的大遮挡。此外,与基线跟踪器SRDCF相比,RCBSCF的性能分别提高了16.6%、2.8%、7.9%和6.4%。图6显示了遮挡场景中跟踪结果的定性比较。从顶行到底行,图像序列是中的wakeboard5序列无人机123@每秒10帧、DTB70中的horse_1序列和UAVDT中的S0601序列。在尾波序列中,虽然被跟踪的人被海浪遮挡,但我们的跟踪器RCBSCF仍然可以跟踪在无人机视图中重现的人。在horse2_1序列中,马曾被粗壮的树完全遮挡。然而,当马不再被树覆盖时,我们的跟踪器RCBSCF可以快速定位马的位置并稳定跟踪。在S0601序列中,履带车遇到遮挡。由于使用了我们的跟踪器,当汽车再次出现在无人机视野中时,可以重新跟踪它。 其他属性。除了对上述属性的分析外,我们还直观地展示了其他属性场景下的跟踪结果,如快速运动和相机运动,如图7。中的第一、第二和第三行图8是car17_1和person7_2中的序列无人机123@每秒10帧DTB70中的MountainBike5序列。车内17_1和人7_2序列中,被跟踪目标在其外观规模发生变化的同时进行快速运动。RCBSCF跟踪器可以实现稳定跟踪。在MountainBike5序列中,当无人机上的摄像机移动以捕捉目标时,该人正在进行快速面内旋转。我们的跟踪器RCBSCF始终能够成功跟踪摩托车手。 属性分析结果:提出的跟踪器RCBSCF在存在干扰、遮挡和其他情况下(如快速运动和相机运动)具有优势。在有干扰物的场景中,遇到类似物体和杂乱背景的跟踪器,如ARCF、DR2Track和SRDCF,很容易发生目标漂移。特别是当目标与背景颜色相似或目标特征与背景相比不显著时,这些跟踪器会错误地定位目标,但RCBSCF仍会稳定地跟踪目标。在有遮挡的情况下,当目标被部分遮挡或暂时完全遮挡时,跟踪器(例如AutoTrack和DR2Track)很容易受到障碍物的影响,从而丢失目标。然而,RCBSCF通过避免滤波器的突变和抑制背景,可以防止目标在大范围内漂移并继续跟踪。此外,当目标在外观尺度变化的情况下进行快速运动或在相机运动的情况下发生平面内旋转时,跟踪器(如AutoTrack、ARCF和SRDCF)与RCBSCF相比,无法稳定地跟踪目标。
4.4. 与基于深度的功能的比较
为了全面评估提议的跟踪器,我们将RCBSCF与其他9种最先进的基于深度特征的跟踪仪进行了比较,即ECO[31]、暹罗FC[44],IBCCF公司[45]、UDT[46],UDT+[46]、TRACA[47]、DSiam[48]、LUDT[49],LUDT+[49].表3通过使用三个无人机基准上所有比较跟踪器的平均精度和成功率以及平均跟踪速度来说明跟踪性能。如所示表3与其他9个基于深度特征的跟踪器相比,我们的跟踪仪RCBSCF排名第二,在成功率和准确率方面分别比排名第一的ECO跟踪器低0.8%和0.5%。然而,我们的跟踪器RCBSCF使用CPU时的跟踪速度已达到36.21 FPS,高于使用GPU的ECO跟踪器的11.80 FPS。此外,前三名最快跟踪器(TRACA、UDT和LUDT)的跟踪性能低于我们的跟踪器。 备注 2 与CPU相比,基于深度特征的跟踪器利用GPU完成卷积、池等操作,提高了运行速度。提出的跟踪器RCBSCF主要涉及傅里叶变换和阿达玛乘积运算,无需GPU。然而,考虑到跟踪速度的比较通常需要在同一平台上进行,RCBSCF的ADMM迭代中的相关操作尝试通过Matlab2019a中的GPU加速和单个RTX2070 GPU来完成。最后,带GPU的RCBSCF的跟踪速度可以达到42 FPS,比带CPU的RCBSCCF的36.21 FPS快。此外,虽然速度(42 FPS)并不优于TRACA、UDT和LUDT,但它已经超过了其他6种基于深度特征的跟踪器,并达到了实时跟踪(30 FPS)的标准。
4.5. 烧蚀研究
在本节中,我们对提议的跟踪器进行了消融研究无人机V123@每秒10帧用于分析每个模块有效性的基准。RCBSCF-N表示没有响应一致和背景抑制模块的跟踪器。通过在RCBSCF-N中引入响应一致性模块,我们得到了RCBSCF-RC跟踪器。此外,RCBSCF-BS是通过将背景抑制模块添加到RCBSCF-N来获得的。如所示表4与RCBSCF-N跟踪器相比,RCBSCF-RC的成功率和准确率分别提高了1.3%和2.1%无人机123@每秒10帧基准测试,验证了响应一致性模块的有效性。同时,与RCBSCF-N跟踪器相比,RCBSCF-BS的成功率和准确率也分别提高了2.2%和3.7%,这表明背景抑制模块有利于提高跟踪性能。此外,RCBSCF是配备上述两个模块的拟议跟踪器,其成功率和准确率最高,即成功率为49.2%,准确率为68.2%。因此,对所提出跟踪器的消融研究表明,响应一致和背景抑制模块有助于提高成功率和准确率,改善跟踪性能。 4.6. 关键参数分析
- (1)
和在响应一致性模块中:图9通过更改和什么时候已修复。步长为2到44不等。步长为1,从2到22不等。在这个实验中,我们首先保留等于6并固定其值。然后,我们增加虽然设置为16.4。当达到37。此外,为了分析,我们保持和分别等于37和6。通过分析在里面图9可以看出,当设置为16.4。 - (2)
在背景抑制模块中:在实验中研究,我们更改虽然和都是固定的。步长1从1到12不等。和分别设置为37和16.4。通过分析在里面图9可以看出,当等于6,则精度和成功率都达到最佳分数。
4.7. 故障案例
图10显示了三个无人机序列(即中的person7_1_1序列)上建议跟踪器的几个故障案例无人机V123@每秒10帧DTB70中的Car6序列和UAVDT中的S1401序列从顶行到底行。在person7_1_1和Car6序列中,被跟踪目标遇到具有out-of-view属性的场景。由于被跟踪目标不再在无人机视图中,用于训练滤波器的外观模型被背景信息完全污染。当目标返回无人机视图时,被背景信息误导的滤波器无法识别和重新跟踪目标,导致目标丢失。在S1401序列中,目标处于照明条件差且背景杂乱的场景中。从第一帧中提取的特征不能有效地表示目标的外观。因此,当目标的外观在后续跟踪过程中发生变化时,本文提出的跟踪器无法通过响应一致和背景抑制模块跟踪目标。 5.结论
本文提出了一种用于无人机实时跟踪的响应一致和背景抑制相关滤波器。首先,构造了一个新的响应一致性模块,其目的是保持滤波器产生的响应与前一帧的响应一致。通过使用该模块,所提出的跟踪器不仅可以避免背景干扰引起的目标响应的突然变化,而且可以使学习滤波器保持前一个滤波器的分辨能力。其次,开发了一种新的背景抑制模块,该模块利用注意掩码矩阵使滤波器更加关注背景区域,从而抑制背景干扰物的响应干扰。综合实验表明,与其他22个最先进的跟踪器相比,该跟踪器具有上述两个模块,实现了出色的跟踪性能。此外,跟踪速度达到36 FPS,适合无人机实时跟踪。
然而,该方法的跟踪性能(即成功率和准确率)尚未达到先进水平,还有很大的改进空间。本文使用人工特征训练滤波器,与深层特征相比,这些特征对目标的外观表达有限。因此,当遇到场景(例如外观变化和更复杂的背景)时,该方法很容易出现目标漂移或丢失。此外,无人机在跟踪过程中不可避免地会发生遮挡,这也会导致目标丢失。由于该方法不具备目标再检测机制,一旦遮挡后目标再次出现,就无法用该方法捕获目标。在未来的工作中,我们将通过使用轻量级深层特征来提高目标的特征表达能力,并计划建立一个用于解决遮挡问题的重检测结构。