计算机科学>计算机视觉与模式识别
标题: 欠显示摄像机的深度视频恢复
摘要: 欠显示相机(UDC)拍摄的图像或视频会严重退化,例如饱和度退化和颜色偏移。 虽然UDC的恢复是一项关键任务,但现有的UDC恢复工作只关注图像。 社区中尚未探索UDC视频恢复(UDC-VR)。 在这项工作中,我们首先提出了一种基于GAN的生成管道来模拟真实的UDC降解过程。 利用该流水线,我们构建了第一个大规模UDC视频恢复数据集,称为PexelsUDC,它包括两个子集,分别名为Pexels UDC-T和Pexels DUC-P,对应于UDC的不同显示。 使用该数据集,我们对现有视频恢复方法进行了广泛的基准研究,并观察了它们在UDC-VR任务中的局限性。 为此,我们提出了一种新的基于变压器的基线方法,该方法可以自适应地增强退化视频。 该方法的关键组成部分是具有局部感知变换器的空间分支、嵌入时间变换器的时间分支和时空融合模块。 这些组件驱动模型充分利用UDC-VR的空间和时间信息。 大量实验表明,我们的方法在PexelsUDC上实现了最先进的性能。 基准和基线方法有望促进UDC-VR在社区的进展,并将予以公布。