计算机科学>计算机视觉和模式识别
标题: D-SCo:用于单目手持式目标重建的双流条件扩散
摘要: 从单个RGB图像重建手持物体是计算机视觉中的一项挑战性任务。 与之前使用确定性建模范式的工作相比,我们使用点云去噪扩散模型来解释此问题的概率性质。 在核心部分,我们引入了用于单目手持目标重建(D-SCo)的质心固定双流条件扩散,解决了两个主要挑战。 首先,为了避免物体质心偏离,我们使用了一种新的手约束质心固定范式,提高了扩散和反向过程的稳定性以及特征投影的精度。 其次,我们引入了一种双流去噪器,通过一种新的统一的手-对象语义嵌入,从语义和几何上对手-对象交互进行建模,提高了对象手遮挡区域的重建性能。 在合成ObMan数据集和三个真实世界数据集HO3D、MOW和DexYCB上的实验表明,我们的方法可以超越所有其他最先进的方法。 将发布代码。