计算机科学>计算机视觉和模式识别
标题: ParaColorizer:使用并行生成网络的真实图像着色
摘要: 灰度图像彩色化是人工智能在信息恢复中的一个令人着迷的应用。 由于问题固有的不适定性质,使其更具挑战性,因为输出可能是多模态的。 目前使用的基于学习的方法对简单的案例产生了可接受的结果,但在缺乏清晰的图形-背景分离的情况下,通常无法恢复上下文信息。 此外,图像还存在颜色溢出和背景不饱和的问题,因为基于完整图像特征训练的单个模型不足以学习各种数据模式。 为了解决这些问题,我们提出了一个基于GAN的并行着色框架。在我们的方法中,每个单独定制的GAN管道都会对前景(使用对象级特征)或背景(使用完整图像特征)进行着色。 前台管道使用具有自我关注的Residual-UNet作为生成器,生成器使用COCO数据集中的完整图像特征和相应的对象级特征进行训练。 后台管道依赖于完整图像功能和Places数据集中的其他训练示例。 我们设计了一个基于DenseFuse的融合网络,通过对并行生成的输出进行基于特征的融合,得到最终的彩色图像。 我们展示了常用于评估图像彩色化等多模态问题的非感知评估指标的缺点,并使用多种感知指标对我们的框架进行了广泛的性能评估。 我们的方法优于大多数现有的基于学习的方法,产生的结果与最先进的方法相当。此外,我们进行了运行时分析,得到了每张图像的平均推理时间为24ms。