从三维扫描和图像创建模型目标

模型目标可以通过3D扫描技术(LiDAR)和/或使用图像合成的摄影测量从真实物体的捕获中创建。捕获对象,以防对象的CAD数据不可用。

在使用您的扫描设备或相机扫描和捕获物体之前,我们想强调一下我们发现的各种技术和注意事项,这些技术和考虑事项可以生成适合跟踪的3D模型。请注意,某些解决方案要求您在扫描后手动更正模型的比例。使用缩放不正确的3D模型将影响模型目标的准确性和跟踪鲁棒性。

Apple Object Capture、Metascan和Polycam提供了使用图像和LiDAR深度数据或仅使用图像进行重建的方法。建议使用LiDAR支持的方法(如果可能),因为它可以以精确的比例重建3D模型。这三个应用程序都需要iOS设备和/或MacOS设备。

请参阅此处的指南:

  1. Apple对象捕获
  2. Metascan公司
  3. Polycam公司

对于其他平台,可以使用专业摄影测量软件,例如RealityCapture。该软件在整个过程中提供了许多控制,能够很好地再现物体,只是没有精确的比例。

请参阅此处的指南:

支持的对象类型

并非所有对象都适合在图像中捕获或使用LiDAR支持进行扫描。

一般来说,对象应该是静态的和刚性的。应避免使用反射、透明、有光泽、平滑或半透明的对象,因为这些曲面很难重建。苹果的Object Capture技术为此类更具挑战性的物体带来了最佳效果。

如果可能,请选择无光泽、具有纹理或颜色的对象。小对象将更难重建,并且它们的比例在处理后更可能需要调整。

最后,作为一种解决方案,您可以覆盖、重新绘制或从对象中删除无法捕获的部分。

捕获设置的环境设置

为了在拍摄时获得最佳效果,如果可能,请选择合适的位置、日期和时间,使阴影和阳光处于有利位置,例如,阴天,对象上没有阴影。如果对象可以移动,请设置一个照片拍摄,在那里可以控制对象的灯光和位置。物体的周围环境也应该被考虑在内,因为物体应该在图像中从背景中脱颖而出。请注意,任何阴影、变形或视觉损伤也将记录在3D模型的网格和纹理中。

  • 如果可能,请使用漫射光(间接光)创建一个设置,但保持对象明亮。
  • 定位对象,使背景和对象之间保持一定距离。
  • 避免在对象上投射阴影。

工作流和最佳实践

从四面八方和不同高度捕捉对象,围绕对象旋转或在对象上以弧形移动。激光雷达扫描将更快地捕捉到物体,而只有图像的方法需要你围绕物体拍摄更多照片。

然后使用重建工具从扫描生成3D模型。根据扫描的方法、对象和环境,为下一步准备3D模型将有所不同。有关模型准备的详细信息,请参阅各个指南。

从重建创建模型目标

由摄影测量重建的三维模型通常大于100MB。大文件直接影响模型目标的加载时间,我们建议简化模型并降低纹理分辨率,以避免在模型目标设置过程中出现错误。

一旦扫描对象的3D模型被处理并从任何不需要的周围网格中解放出来,并且它在比例和纹理上与真实对象非常相似,它就可以用作模型目标。有关如何使用模型目标生成器(MTG)的详细指南,请参阅如何创建模型目标模型目标生成器用户指南.

模型目标生成器会自动检测三维模型是否源自三维扫描,并在生成模型目标时将此信息存储在数据集文件中。这有助于改进对对象的跟踪。请参见优化模型目标跟踪有关特定于使用的跟踪模式的更多信息。

使用扫描的纹理为目标建模

扫描物理对象时,如果纹理与对象非常相似,强烈建议将其包括在内。请参见模型目标支持的对象和CAD模型最佳实践有关使用纹理的详细信息。如果模型与纹理一起导入真实外观选项被自动选中。

使用引入阴影或不正确表面颜色的不准确纹理可能会对跟踪产生负面影响。接受过360度检测训练的高级模型目标会受到不准确纹理的影响。如果选择使用纹理创建高级模型目标,请确保选择现实主义模型外观 在MTG的“着色”选项卡中。继续加载您的模型目标测试应用程序中的模型目标测试其跟踪鲁棒性。