计算机科学>计算机视觉与模式识别
标题: 房间中的神经渲染:预捕捉对象组成的封闭场景的Amodal 3D理解和自由视点渲染
摘要: 作为人类,我们可以从给定的单个图像的任意角度理解和描绘熟悉的场景,而这对计算机来说仍然是一个巨大的挑战。 在此,我们提出了一种新的解决方案来模拟这种人类感知能力,该方案基于一种新范式,即对封闭场景进行神经渲染的非对称3D场景理解。 具体来说,我们首先通过离线阶段了解封闭场景中对象的先验知识,这有助于在线阶段了解具有看不见的家具布置的房间。 在联机阶段,给定不同布局的场景全景图像,我们使用基于整体神经渲染的优化框架来有效估计正确的3D场景布局,并提供逼真的自由视点渲染。为了处理脱机阶段和联机阶段之间的域鸿沟, 我们的方法利用合成神经渲染技术在离线训练中增强数据。 在合成数据集和真实数据集上的实验表明,我们的两阶段设计实现了强大的3D场景理解,大大优于竞争方法,并且我们还表明,我们真实的自由视点渲染支持各种应用程序,包括场景漫游和编辑。 项目网页上提供了代码和数据: 此https URL .