计算机科学>计算机视觉和模式识别
标题: 协同全球空间相机与视频人体重建
摘要: 从单目视频重建静态场景或人体方面取得了显著进展。 然而,这两个问题在很大程度上是独立解决的,没有太大的协同作用。大多数视觉SLAM方法只能大规模重建相机轨迹和场景结构,而大多数HMR方法在度量尺度上重建人类网格,但在与相机和场景的推理方面存在不足。 这项工作引入了Synergistic Camera and Human Reconstruction(SynCHMR),将两个世界中最好的结合在一起。 具体而言,我们设计了感知人类的度量SLAM,以使用相机帧HMR作为强先验来重建度量尺度相机姿势和场景点云,解决深度、尺度和动态模糊性问题。 以恢复的稠密场景为条件,我们进一步学习了一种场景感知SMPL去噪器,通过结合时空相干和动态场景约束来增强世界帧HMR。 它们共同导致在一个通用的世界帧中一致地重建相机轨迹、人类网格和稠密场景点云。 项目页面: 此https URL