计算机科学>计算机视觉和模式识别
标题: 点亮夜晚:一种多条件扩散框架,用于自动驾驶中未经准备的微光增强
摘要: 近年来,以视觉为中心的自动驾驶感知系统因其成本效益和可扩展性而备受关注,尤其是与基于激光雷达的系统相比。 然而,这些系统通常在低光条件下工作,可能会影响其性能和安全。 为了解决这个问题,我们介绍了LightDiff,这是一个域导向框架,旨在提高自动驾驶应用程序的微光图像质量。 具体来说,我们采用了一个多条件控制扩散模型。 LightDiff工作时没有任何人工收集的配对数据,而是利用动态数据降级过程。 它集成了一个新颖的多条件适配器,可以自适应地控制来自不同模式的输入权重,包括深度贴图、RGB图像和文本标题,以有效地照亮黑暗场景,同时保持上下文一致性。 此外,为了使增强图像与检测模型的知识相一致,LightDiff使用特定于感知的分数作为奖励,通过强化学习指导扩散训练过程。 对nuScenes数据集进行的大量实验表明,LightDiff可以显著提高几种最先进的3D探测器在夜间条件下的性能,同时获得较高的视觉质量分数,突出了其保护自动驾驶的潜力。