计算机科学>计算机视觉和模式识别
标题: S-NeRF++:基于神经重构和生成的自主驾驶仿真
摘要: 自主驾驶仿真系统在增强自主驾驶数据、模拟复杂和罕见的交通场景、确保航行安全方面起着至关重要的作用。 然而,传统的仿真系统往往严重依赖手动建模和2D图像编辑,难以缩放到广泛的场景并生成真实的仿真数据。 在本研究中,我们提出了S-NeRF++,一种基于神经重构的创新型自主驾驶模拟系统。 S-NeRF++接受了广泛使用的自动驾驶数据集(如nuScenes和Waymo)的培训,可以生成大量逼真的街道场景和前景对象,具有较高的渲染质量,并在操作和模拟方面提供了相当大的灵活性。 具体来说,S-NeRF++是一个增强的神经辐射场,用于合成大规模场景和移动车辆,具有改进的场景参数化和相机姿势学习。 该系统有效地利用噪声和稀疏的LiDAR数据来细化训练和处理深度异常值,确保高质量重建和新视图渲染。它还通过重建和生成不同的前景车辆来提供多样化的前景资产库,以支持全面的场景创建。 此外,我们还开发了一个先进的前景背景融合管道,巧妙地集成了照明和阴影效果,进一步增强了模拟的真实感。 通过S-NeRF++提供的高质量模拟数据,我们发现感知方法在几个自主驾驶下游任务上的性能提升,这进一步证明了我们提出的模拟器的有效性。