计算机科学>计算机视觉和模式识别
职务: CoBEVT:基于稀疏变换的协同鸟瞰语义分割
摘要: 鸟瞰图(BEV)语义分割在自动驾驶空间感知中起着至关重要的作用。 尽管最近的文献在BEV地图理解方面取得了重大进展,但它们都是基于单代理摄像机的系统。 这些解决方案有时难以在复杂的交通场景中处理遮挡或检测远处的物体。 车辆对车辆(V2V)通信技术使自动车辆能够共享传感信息,与单代理系统相比,大大提高了感知性能和范围。 在本文中,我们提出了CoBEVT,这是第一个可以协同生成BEV地图预测的通用多代理多摄像机感知框架。 为了从底层Transformer架构中的多视图和多代理数据中有效地融合摄像机特征,我们设计了一个融合轴向注意模块(FAX),该模块捕获视图和代理之间稀疏的局部和全局空间交互。 在V2V感知数据集OPV2V上的大量实验表明,CoBEVT在合作BEV语义分割方面取得了最先进的性能。 此外,CoBEVT还可以推广到其他任务,包括1)使用单代理多摄像机进行BEV分割,以及2)使用多代理LiDAR系统进行3D对象检测,以实时推理速度实现了最先进的性能。 该代码可在 此https URL .