计算机科学>计算机视觉和模式识别
标题: 基于对比学习和摄像机一致性的单帧图像多裁剪人眼网格恢复
摘要: 我们解决了单幅图像人网恢复(HMR)的问题。 以前的方法大多基于单一作物。 在本文中,我们将单作物HMR转换为一种新的多作物HMR范式。 通过移动和缩放原始边界框多次从图像中裁剪人在实践中是可行的,易于实现,并且会产生可忽略的成本,但会立即丰富可用的视觉细节。 使用多个作物作为输入,我们设法利用这些作物之间的关系来提取有区别的特征并减少相机模糊度。 具体来说,(1)我们加入了一个对比学习方案,以增强从同一人类的作物中提取的特征之间的相似性。 (2) 我们还提出了一种裁剪器融合方案,用于融合多个裁剪器的特征,以回归目标网格。 (3) 我们计算所有输入作物的本地摄影机,并在本地摄影机之间建立摄影机一致性损失,这将奖励我们较少模糊的摄影机。 基于上述创新,我们提出的方法优于之前的方法,这已通过大量实验证明。