计算机科学>计算机视觉和模式识别
标题: 用于3D软件图像合成的多视图一致生成对抗网络
摘要: 3D-ware图像合成旨在通过学习3D表示,从多个视图生成对象的图像。 然而,仍然存在一个关键挑战:现有方法缺乏几何约束,因此通常无法生成多视图一致的图像。 为了应对这一挑战,我们提出了多视图一致生成对抗网络(MVCGAN),用于具有几何约束的高质量3D软件图像合成。 通过利用生成图像的底层3D几何信息,即深度和相机变换矩阵,我们明确建立视图之间的立体对应关系,以执行多视图联合优化。 特别是,我们加强了视图对之间的光度一致性,并在训练过程中集成了立体混合机制,鼓励模型推理正确的3D形状。 此外,为了提高图像质量,我们设计了一种基于特征级多视图联合优化的两阶段训练策略。 在三个数据集上的大量实验表明,MVCGAN在3D软件图像合成方面达到了最先进的性能。