通过学习人类场景交互填充3D场景

Mohamed Hassan、Partha Ghosh、Joachim Tesch、Dimitrios Tzionas、Michael J.Black; IEEE/CVF计算机视觉和模式识别会议记录，2021年，第14708-14718页

摘要

人类生活在3D空间中，并不断与之交互以执行任务。这种交互涉及表面之间的物理接触，这在语义上是有意义的。我们的目标是了解人类如何与场景交互，并利用这一点使虚拟角色也能做到这一点。为此，我们引入了一种新的人类场景交互（HSI）模型，该模型对近距离关系进行编码，称为POSA，表示“带prOximitieS和contActs的姿势”。交互的表现是以身体为中心的，这使得它可以推广到新的场景。具体来说，POSA增强了SMPL-X参数化人体模型，以便对每个网格顶点编码（a）与场景曲面的接触概率和（b）相应的语义场景标签。我们使用基于SMPL-X顶点的VAE学习POSA，并对PROX数据集进行训练，该数据集包含与3D场景交互的人的SMPL-X网格，以及来自PROX-E数据集的相应场景语义。我们通过两个应用程序演示POSA的价值。首先，我们自动在场景中放置人物的3D扫描。我们使用适合扫描的SMPL-X模型作为代理，然后在3D中找到最可能的位置。POSA提供了一种有效的表示，可以在场景中搜索与该姿势可能的接触关系相匹配的“可供性”。我们进行了一项感知研究，表明这项任务的最新技术有了显著改进。其次，我们表明，POSA对身体场景交互的学习表示支持单目人体姿势估计，这与3D场景一致，提高了最新技术水平。我们的模型和代码可用于以下研究目的：https://posa.is.tue.mpg.de。

相关材料

[pdf格式][支持][arXiv公司]
[围巾]
@会议记录{Hassan_2021_CVPR，作者＝{Hassan、Mohamed和Ghosh、Partha和Tesch、Joachim和Tzionas、Dimitrios和Black、Michael J.}，title={通过学习人类场景交互填充3D场景}，booktitle={IEEE/CVF计算机视觉和模式识别（CVPR）会议记录}，月={6月}，年份={2021}，页数={14708-14718}}