|
基于CNN变换器特征融合的多目标跟踪算法
张英俊、白晓辉、谢宾虹
计算机工程与应用2024, 60 (2): 180-190. 内政部:10.3778/j.issn.1002-8331.2211-0028
在卷积神经网络(CNN)中,卷积可以有效地提取对象的局部特征,但很难捕获全局表示;在可视化Transformer中,注意机制可以捕获远距离特征依赖,但会忽略局部特征细节。为了解决上述问题,提出了一种基于CNN-transformer混合网络的多目标跟踪算法CTMOT(CNN transformer multi-object tracking),用于特征提取和融合。首先,采用基于CNN和Transformer的骨干网络,分别提取图像的局部特征和全局特征。其次,使用双向桥接模块(TBM)将这两个特性充分集成。然后,将融合后的特征输入两个并行解码器进行处理。最后,对解码器输出的检测盒和跟踪盒进行匹配,得到最终的跟踪结果,完成多目标跟踪任务。通过对MOT17、MOT20、KITTI和UA-DETRAC多目标跟踪数据集的评估,CTMOT算法的MOTA指标分别达到76.4%、66.3%、92.36%和88.57%。它相当于MOT数据集上的SOTA方法,并在KITTI数据集上实现了SOTA效果。同时,MOTP和ID指标在所有数据集上都达到了SOTA效果。此外,由于目标检测和相关是同时完成的,因此可以进行端到端的目标跟踪,跟踪速度可以达到35FPS,这表明CTMOT算法在跟踪的实时性和准确性上取得了良好的平衡,具有很大的潜力。
参考|相关文章|韵律学
|
|