摘要
人脑每天都会进行重建。当人类观察周围的场景时，他们会毫不费力地从图像序列中推断出场景几何体的动态表示。这种更高维的重建不仅有助于解释输入数据，而且为执行复杂、更高级别的任务提供了重要基础。尽管场景重建很重要，但由于输入图像（2D）中的信息量不足以完全重建场景几何结构（3D），因此这被认为是一项艰巨的任务。执行这样的任务显然需要使用先前的知识。在本论文中，我们探讨了基于机器学习技术的优势，以便从图像或视频中重建几何信息。我们利用深度神经网络和概率模型，并证明了它们在重建几何信息方面的有效性。
作为本文的第一部分，我们利用摄像机自我运动和场景几何的约束，从视频中估计二维运动流。从一系列图像中，我们首先预测输入帧之间的相对自我运动，然后重构摄像机轨迹。通过考虑2D运动、深度和相机自我运动之间的循环一致性，我们训练一个模型来重建场景深度，而无需额外的监督。这些过程使用具有运动场驱动的光度一致性损失的自我监督端到端卷积神经网络（CNN）结构进行训练。为了最小化不完美局部估计的累积误差，我们预测了每个连接的输入帧对之间的相对可靠性得分，然后将其用于全局优化。
在第二部分中，我们从一组三维模型重建时空4D模型。从一组多个三维模型中，我们使用高斯混合模型点观测值来优化从每个模型空间到全局空间的变换参数。我们使用期望最大化算法优化对齐参数，并通过最大化随时间变化的期望后验概率来估计每个3D补丁的时间范围。这种时空模型允许我们进行对象分割，并推断遮挡对象的存在。
