调节以视觉为中心的自动驾驶的中间3D特征

摘要

多摄像头感知任务在自动驾驶领域得到了广泛关注。然而，由于投影性质和不可控的致密化过程，现有的基于多摄像机设置中的Lift-Splat-Shot（LSS）的框架无法生成合适的致密3D特征。为了解决这个问题，我们建议通过体绘制来调节中等密度的三维特征。具体来说，我们使用体绘制来处理稠密的三维特征，以获得相应的二维特征（例如深度图、语义图），这些特征在训练中由相关标签进行监督。这种方式在特征层次上调节密集三维特征的生成，为多感知任务提供适当的密集统一特征。因此，我们的方法被称为Vampire，代表“作为多摄像机感知中间功能调节器的体积渲染”。在Occ3D和nuScenes数据集上的实验结果表明，Vampire有助于细粒度和适当提取密集的3D特征，并且在3D占用率预测、LiDAR分割和3D目标检测等多种下游感知任务中与现有的SOTA方法相竞争，同时利用中等GPU资源。我们在补充材料中提供了视频演示，代码可在github.com/cskkxjk/Vampire上获得。