×

vid2vid

swMATH编号: 43443
软件作者: 王廷春、刘明宇、朱俊彦、刘桂林、陶德鲁、扬·考茨、布莱恩·卡坦扎罗
描述: 视频到视频合成。我们研究视频到视频合成问题,其目标是学习从输入源视频(例如,一系列语义分割掩码)到精确描述源视频内容的输出照片级真实感视频的映射函数。虽然它的图像对应物,即图像到图像的合成问题是一个热门话题,但视频到视频的合成问题在文献中的探索较少。如果不了解时间动力学,直接将现有的图像合成方法应用于输入视频通常会导致视觉质量较低的时间不连贯视频。在本文中,我们提出了一种新的生成性对抗学习框架下的视频合成方法。通过精心设计的生成器和鉴别器架构,再加上时空对抗目标,我们实现了高分辨率、照片级真实感、,时间上连贯的视频在一组不同的输入格式上产生,包括分割掩码、草图和姿势。在多个基准上的实验表明,与强基准相比,我们的方法具有优势。特别是,我们的模型能够合成长达30秒的2K分辨率街道场景视频,这大大提高了视频合成的最新水平。最后,我们将我们的方法应用于未来的视频预测,其性能优于几个最先进的竞争系统。
主页: https://arxiv.org/abs/1808.06601
源代码:  https://github.com/NVIDIA/vid2vid
依赖项: 蟒蛇
相关软件: 亚当PDE-网络TempoGAN公司DGM公司GPy火炬辉光FFJORD公司掌中宽带BERT(误码率)像素x像素CycleGAN公司FEniCS公司MMD GAN公司TensorFlow公司时尚GAN滴水++HoloGAN公司RGBD-GAN公司新几内亚合成蛋白
引用于: 1文件

连载1篇

1 计算物理杂志

按年份列出的引文