计算机科学>计算机视觉和模式识别
职务: 多智能体协作感知的S2R-ViT:弥合从仿真到现实的差距
摘要: 由于缺乏足够的真实多智能体数据和标记耗时,现有的多智能体协同感知算法通常选择模拟传感器数据进行训练和验证。 然而,当这些模拟训练模型部署到现实世界中时,由于模拟数据和实际数据之间存在显著的领域差距,感知性能会降低。 在本文中,我们提出了第一个用于多智能体协作感知的仿真-现实迁移学习框架,该框架使用了一种新的视觉变换器,名为S2R-ViT,它同时考虑了仿真数据和实际数据之间的部署差距和特征差距。 我们研究了这两种类型的域间隙的影响,并提出了一种新的不确定性感知视觉变换器来有效缓解部署间隙,以及一种基于代理的特征自适应模块,该模块具有代理间和自我代理鉴别器来减少特征间隙。 我们在公共多智能体协同感知数据集OPV2V和V2V4Real上的密集实验表明,所提出的S2R-ViT能够有效地弥合仿真与现实之间的差距,在基于点云的三维目标检测方面显著优于其他方法。