计算机科学>计算机视觉与模式识别
标题: NeRF需要关注吗?
摘要: 我们提出了Generalizable NeRF Transformer(GNT),这是一种基于变换器的体系结构,用于重建神经辐射场(NeRF),并学习从源代码视图动态渲染新视图。 虽然之前关于NeRF的工作通过反转手工绘制的渲染方程来优化场景表示,但GNT在两个阶段使用变压器实现了跨场景的神经表示和渲染。 (1) 视图变换器利用多视图几何体作为基于注意力的场景表示的诱导偏差,并通过聚集相邻视图上极线的信息来预测协调对齐的特征。 (2) 光线变换器在光线行进过程中使用注意力沿采样点解码来自视图变换器的特征来渲染新视图。 我们的实验表明,当在单个场景上进行优化时,由于学习到的光线渲染器,GNT可以在没有显式渲染公式的情况下成功重建NeRF。 当在多个场景上训练时,GNT在转移到看不见的场景时始终达到最先进的性能,并且平均比所有其他方法高出约10%。 我们对学习到的用于推断深度和遮挡的注意力图的分析表明,注意力使我们能够学习物理上全面的渲染。我们的结果表明,变形金刚有望成为图形的通用建模工具。 视频结果请参考我们的项目页面: 此https URL .