1.简介
三维物体的重建是计算机视觉模型与深度学习技术相结合的许多潜在应用之一。这种组合方法有助于解决与人体形状分析有关的常见问题。在一些情况下，包括体育、健康和其他情况，经常需要进行准确的人体测量（即，人体的形状、形状、大小和几个周长和体积）[1,2,三]. 这在许多临床应用中都是如此，从超重相关疾病的诊断、治疗和随访，到不太常见但重要的骨骼病变，如脊柱侧凸[4]. 肥胖相关的情况构成了一个特别关键的情况，因为超重和肥胖已经变得越来越普遍，被认为是21世纪的主要公共卫生挑战之一[5]. 在评估包括体重、身高和几个身体周长在内的人体测量特征后，诊断和临床治疗超重[6]. 这些测量通常是通过传统的手动方法获得的，这些方法不精确，需要特定的专业干预，并且可能会变得不完整。例如，在诊断肥胖时，一个关键指标是腹部脂肪组织的分布，这是几何形状的一个方面，而不是经典人体测量之间的关系[7]. 获取完整的人体三维模型，并将其转换为临床和非临床实践中充分表示的数据，这包含了几个困难。首先，即使在全身扫描设备内，患者可以被限制保持静止，但闭塞物会产生不完整的表面数据[8]. 由于闭塞区域中缺少数据，这会导致质量损失。其次，考虑到其成本和使用的复杂性，短程激光雷达扫描仪仍然超出了大多数医生、专家和研究小组的范围。最后，尽管传统的人体测量方法在评估超重相关情况时被认为是不精确的，但它们仍然是收集个人体重状况信息的廉价而简单的方法[9,10,11,12,13]. 人体形状的研究需要从经典的体型/人体测量方法发展到廉价实用的3D技术和数字格式的数据。除了与超重相关的问题外，3D身体扫描的临床应用还包括骨骼病变的精确诊断，如脊柱侧凸和假体设计等。3D身体扫描的非临床应用也多种多样。健美、健身和高水平比赛成绩将从一种准确、直观的方法中受益匪浅，这种方法可以记录和可视化身体形态及其在特定训练或活动中的演变。通过使用个性化的化身作为选择合适服装型号和尺寸的基础，取代传统的尺寸惯例，也可以提高在线服装销售。此外，以数字格式登记数据的能力将有助于实现新的科学追求，例如开展全人群体型研究（例如，按种族、年龄、地理位置、营养习惯等进行分层）。总的来说，这将触发更精细的几何数据捕获，更好的测量，以及在筛选不同人群时编译大型数据集的全部潜力。这反过来将实现对人体形状的快速、准确和无创量化[14,15,16]. 鉴于应用的多样性和相关的内在复杂性，体型分析需要创新的技术方法，以提高数字化数据采集、处理和分析的准确性和精确度。在最早的人体采集和跟踪方法中，我们可以提到典型的基于特征工程的方法。Mikik等人。[17]例如，基于模板拟合和区域生长的应用身体部位定位过程。这些模板是根据2D轮廓计算出来的，使用平均身体部位形状（椭球体和圆柱体）的先验知识，以及使用同步多个相机的尺寸。后来，更精细的生成方法实现了从图像中自动恢复人体形状和姿势，该方法利用图形应用程序中使用模板网格（来自扫描仪）的学习变形模型[18]. 最近，3D表面扫描仪为临床和人体测量应用提供了自动化和准确的身体形状测量。Ng等人。[19]应用基于解剖地标定位和理想周长、面积和体积测量的更复杂技术，评估身体脂肪分布及其与代谢紊乱、体重指数、其他人体测量指标的关系，以及它们与族群内部和族群之间多样性的关系。此外，在健康和医学的一些应用中，有必要从3D扫描数据中分割身体部位或体积（手臂、腿部、头部、躯干）[20]. 为此，拟合技术用于使模板模型变形，以识别线段端点，确定其位置，并对其进行测量。在其他应用程序中，如健身、锻炼指导和健康活动的支持工具，通常使用现成的3D设备进行身体扫描，例如Microsoft Kinect®这允许用户获得形态测量数据，以可接受的精度评估受训者的体型和身体状况[21]. 最近，基于运动结构（SfM）的近景摄影测量技术在从工业环境到文化遗产保护、工程、地球科学和其他几个3D图像任务的多个应用中成为一种可行的替代方法。摄影测量程序通常采用视频中的连续帧，确定每个帧中突出点之间的对应关系，并推断外部摄像机参数，通过这些参数可以确定这些点的实际3D位置。SfM的优势有几个原因：它成本低、灵活，只需要广泛的采集设备（例如智能手机或平板电脑）[22]. 这允许快速轻松的扫描和点云生成。当根据足够的视频数据计算这些点云时，可能只有很少的伪点，从而可以在地理和城市尺度上进行有用的特征描述和几何测量[23]. 然而，在非常近距离的采集中，就像3D人体扫描和重建一样，普通SfM无法实现精确测量所需的精确和高质量几何。这主要是由于背景中的噪声产生虚假的摄影测量测定结果，而这些测量结果又会产生错误的检测点，从而显著改变点云的质量。在这种情况下，使用有噪声的点云进行三维重建和几何测量将产生垂直不可用的结果。在这种情况下，进一步的抽取和过滤算法是不够的，因为它们扭曲了潜在的身体结构，从而导致不准确的3D模型。这种情况可以通过仔细使用清晰的背景、甚至照明和高端设备来缓解，所有这些条件都与SfM在其他情况下的简单性和廉价性背道而驰。 在这项工作中，我们提出车身2vec，三维人体扫描中基于模型的背景过滤方法。我们的方法使用卷积神经网络（CNN）对采集帧进行预处理，该网络识别感兴趣区域（人体轮廓）并过滤掉背景，从而产生更干净的点云和更精确的后续网格。最终结果在采集条件（背景、照明和视频质量）方面是稳健的，并且足够精确，可以产生高质量的人体测量。因此，它可以成功应用于使用智能手机或平板电脑等低成本设备拍摄的视频。应用我们的方法，误差减少了近一个数量级（测量为到作为银标准的LiDAR网格的平均绝对距离）。最后，我们使用一个非常简单的拟合来估计臀部和腰围，将基于LiDAR的网格的结果与车身2vec与作为金标准的实际人体测量值相比，臀围测量的平均误差减少了1.23cm，腰围测量的误差增加了3.21cm。
2.材料和方法
在本节中，（i）我们详细描述了数据收集，包括智能手机、基于激光雷达的原始视频和人体测量；（ii）我方出席BRemNet公司（背景去除网络），用于视频背景去除的人体识别和分割模型；（iii）我们从原始和干净视频中生成SfM点云，将其注册到网状LiDAR采集，并测量相应的注册错误；和（iv）我们评估来自LiDAR网格、原始和干净点云的人体测量，并将其与人体测量师进行的测量进行比较。完整过程的概述可以在中看到图1. 2.1. 数据收集
智能手机视频和3D身体扫描是从马德林港地区医院设施内的60名志愿者（38名女性，22名男性；平均年龄=39；sd=12）身上拍摄的。所有受试者在参与研究之前均表示同意纳入研究。该研究是根据赫尔辛基宣言进行的，该程序由Puerto Madryn地区医院道德委员会根据第19/17号协议批准（2018年9月4日批准）。尽管高分辨率摄影可以获得更高质量的SfM重建，但在这种情况下，考虑到所需的采集时间，这将是不够的。然而，考虑到智能手机的快速发展，可以预见，在不久的将来，非常高分辨率的视频将是可行的。值得注意的是，本文解决的问题与低分辨率采集无关，而是由于语义噪声导致的低质量SfM重建，而语义噪声与分辨率无关。
视频是在一次拍摄中录制的，当志愿者穿着内衣或紧身衣站立时，他们的手臂伸展，双腿与肩同宽（参见图2a） ●●●●。拍摄时长约35秒，采用MPEG-4格式，1920×1080，每秒30帧。同时，使用第一版Structure™传感器扫描仪进行了三维人体扫描[24]). 后一次采集生成了高质量的点云和随后的三维网格，这将作为我们基于视频的三维重建的参考。Structure™传感器扫描仪是我们实现LiDAR质量的最佳选择，其手持设备能够执行快速捕获，采用无害的传感技术，价格合理。最后，由受过培训的领域专家使用标准方案进行人体测量，包括总身高（使用德国汉堡Seca GmBH&Co Kg公司的Seca 206机械测量尺）、总体重和身体成分（肌肉质量、无脂肪和体脂质量和百分比）使用人体工程学测量尺Seca 201（德国汉堡Seca GmBH&Co Kg），使用生物阻抗量表（Tanita BC 1100F）和臀围和腰围进行评估。 2.2. 细分模型
如前所述，基于SfM的近景摄影测量可能会生成低质量的点云，这将需要大量后续过滤，这将妨碍采集的几何精度。我们的策略是在应用SfM之前，在所有视频帧中执行背景移除，同时考虑到前景始终是一个人的图形，这意味着可以使用机器学习开发特定的语义分割模型。我们使用了口罩R-CNN建筑作为人体识别和分割的基线。此方法尝试识别图像中每个身体实例的像素级区域。与语义切分相比，实例切分不仅区分语义，还区分不同的实体实例。该模型经过训练，可以为一个普通人学习像素级面具。下面，我们描述了底层模型的体系结构和功能。
掩码R-CNN是一种完全卷积网络（FCN），旨在帮助在像素级定位对象并进行语义分割[25]. 对于一个结合了分类损失、边界框定位损失和分割掩码损失的多任务损失函数，基础模型比之前的建议进行了优化=++.和。损失函数鼓励网络将每个像素映射到特征空间中的一个点，这样，属于同一实例的像素就紧密地放在一起，而不同实例则由宽边距参考隔开[26].定义为平均二进制交叉熵损失，仅包括k个-如果区域与地面真值类关联，则为th掩码k个，其中是单元格的标签区域的真实掩码；是为基本真理类学习的掩码中同一单元格的预测值k个（见方程式(1)). 我们开发了BRemNet公司是对Mask R-CNN的进一步改进，目的是对每帧专门用于摄影测量三维人体重建的视频进行预处理（请参见图3). 与Mask R-CNN一样，我们使用RPN，但我们添加了二进制分类器，以及背景移除和色度编码步骤。RPN生成一组边界框，其中可能包含视频帧中的人体。这些方框使用Mask R-CNN回归模型进行细化（参见图2a） ●●●●。训练二进制分类器，使用预先训练的COntext中Microsoft Common Objects（MS COCO）的权重将像素标记为前景/背景[27]包含被标记的人。我们准备了一个200帧的训练数据集，其中不同的身体位于不同的帧位置。这些帧使用VGG图像注释器进行手动注释[28]. 这一步的结果是生成一个二元掩模，其中包含帧中人体的轮廓（请参见图2b） 。遮罩用于最后的背景移除和色度编码步骤（参见图2c） 。经过此处理后，视频镜头被转换为一组约500帧的帧，其中前景（人体）保持不变，背景设置为绿色，这减少了后续SfM步骤中引入的错误。 2.3. 三维重建与测量
运动摄影测量的结构提供了根据多视图或视频拍摄计算的点云。在某些情况下，这些点云的质量可以接近激光雷达传感器生成的点云。因此，在远程和近距离应用中，它们的使用正在稳步普及。最近，发布了几个开源库和应用程序，以在不同的环境中处理SfM。尤其是可视SFM[29]实现帧序列匹配的特定情况，这对于来自视频的帧序列来说是足够的。此过程既使用原始视频拍摄，也使用前一小节中描述的分割模型预处理的相同拍摄执行。 我们的长期目标是从智能手机或类似设备拍摄的视频生成的点云中提取高度准确的人体测量数据。在这项工作中，我们重点关注腹部周长，这是与超重和类似情况相关的最具代表性的值之一，鉴于当前肥胖流行，目前需要对大量人群进行频繁和准确的评估。为此，我们希望确定基于SfM的评估的准确性和精确度，并与基于激光雷达的评估和训练有素的人体测量师进行的直接测量进行比较。这样做的步骤是选择与受试者肚脐高度相对应的点（人体测量师测量实际腹部周长的位置），将这些点拟合成椭圆，其中周长是模型产生的最终估计值。肚脐高度点选择、椭圆拟合和周长测量是在同一个人可用的三个点云上进行的（基于激光雷达的未处理视频拍摄和处理视频拍摄）。
3.结果
下面，我们评估了使用BRemNet公司在视频中遮住人体轮廓。首先，我们评估分割掩模相对于手动分割掩模的质量。然后，我们评估与使用原始视频中的SfM生成的点云相关的增强。最后，我们使用人体测量学家的测量值作为黄金标准，比较了使用该模型时，遮罩后获得的点云与基于LiDAR的点云的准确性和精度。
3.1. 掩码分段
使用以下四个质量指标评估像素级分割BRemNet公司：汉明损失度量、雅卡德指数、F1-度量和准确度，与随机选择的20帧上的手动分段掩码相对。我们考虑了在每种情况下由手动分割的掩模的最小最大矩形确定的RoI。当像素属于手动遮罩时，就会出现像素正状态，从而相应地定义真、假阳性以及真、假阴性。此外，我们比较了以下结果BRemNet公司带有掩码R-CNN生成的分段的模型（参见表1). 尽管BRemNet公司在所有质量指标上都比Mask R-CNN表现得好，改进只是微乎其微。然而B资源网与在给定拍摄的所有帧期间得到的掩模的一致性有关。掩码R-CNN的分割质量在很大程度上取决于背景的清洁度和镜头的稳定性。例如，背景中的一些物体以及部分实际对象可能会被误认为是另一个物体（例如狗），从而导致帧中出现更多的假阴性。
当拍摄过程中拍摄对象移动，或者相机沿拍摄对象的移动不均匀时，也会出现类似的情况。我们探讨了在BRemNet公司使用Jaccard索引，在十个随机选择的视频中屏蔽R-CNN。相似性小于0.8的帧的比例在3.23%到38.57%之间，最不相似的帧的Jaccard指数可以下降到0.37（见表2和图4). 尽管在平均水平上不显著，但这些掩码R-CNN坏帧导致SfM点云重建较差，因为部分摄影测量信息将被错误推断。在这些拍摄中，我们选择了Mask R-CNN和BRemNet公司（在本例中，两个细分中的最小Jaccard指数）。在这十帧中（每个视频一帧），我们手动分割预期的掩码，并建立掩码R-CNN和BRemNet公司（请参见表3). 该分析证实了Mask R-CNN容易出现最坏的情况，这可能会妨碍生成的点云，而BRemNet公司以更加稳定的方式执行。 3.2. 分段点云评估
如中所述第2.3节，帧由分割BRemNet公司使用SfM计算干净的点云。这些点云平均由37.265个点组成。这几乎比用原始视频计算的结果点云的大小小一个数量级（即，在没有事先使用BRemNet公司)平均为229.659个点。另一方面，基于LiDAR的网格模型之前使用参考文献中提出的算法进行拉普拉斯平滑和孔洞闭合处理[30]. 因此，我们获得了三个全身3D模型，基于LiDAR的网格，以及基于SfM的原始和干净点云（请参见图5). 假设基于LiDAR的标准是银标准，我们使用CloudCompare[31]将原始和干净的点云与网格进行比较。在使用主成分分析（PCA）正确对齐网格和点云之后，我们使用迭代最近点（ICP）作为配准方法测量了均方根误差（RMSE）、平均距离和标准偏差（参见图6). ICP作为一种配准方法，利用欧氏距离进行最近邻重建，以估计两个实体之间的最近点。由于这是一个迭代过程，因此在此过程中，配准误差会缓慢减小。 我们计算了60个3D模型中网格和两个点云之间的均方根误差（RMSE）。原始点云的平均RMSE为12.11 cm，而干净云的误差减小到2.02 cm。我们还计算了平均距离（MD），即云中每个点到网格中最近三角形的距离的平均值。在原始点云中，MD为6.28厘米，而在干净云中，则MD降至0.04厘米。最后，我们计算了MD的标准偏差（SD），原始点云的标准偏差为10.4厘米，干净云的标准差为1.9厘米。所有这些结果都显示了在图7. 3.3. 腹部周长测量
通过三次全身重建，我们进行了两次人体测量，即臀围和腰围。除了体重指数外，臀围和腰围也是用于检测和分析超重情况的最广泛的人体测量方法。然后将这些结果与人体测量师使用传统仪器进行的实际测量结果进行比较。首先，将三维模型缩放到数据集的测量人体高度并获得质心。围绕平均高度（在Y轴上），考虑采用1cm高且与Y轴正交（即平行于地板）的切片的RoI。每个切片内的点被拟合成椭圆[32]，其中我们使用Ramanujan近似计算周长。根据人体测量师的实践，髋部是受试者中等高度以下周长最大的区域。通过我们的程序，在三次全身重建中，我们搜索了出现这种情况的切片，并使用拟合椭圆的周长作为髋部周长的预测值。然而，在腰部，对于受试者的实际周长应该在哪里测量，通常在略低于肚脐的位置测量，并没有达成一致意见。由于缺乏这种特定的形状特征，我们采用了一个标准，即搜索与实际人体测量值最接近的对象中高上方的切片（参见图8). 我们根据人体测量师的实际测量值，评估了这两个测量值在三次全身重建中的误差。从每个腰围和臀围测量值计算出相对于人体测量师测量值的绝对误差。在表4，我们显示了60名受试者两次测量的平均值和SD。最后，我们在实际人体测量师的测量值和使用BremNet公司-过滤视频（请参阅图9). 4.讨论和结论
我们对60名受试者的腰部和臀部进行了几何重建，对于基于LiDAR的点云和基于SfM的点云，我们还获得了实际的人体测量地面真相。我们的最终目标是评估基于手持式视频采集的三维人体重建在人体测量方面的适用性。该方法显著提高了SfM点云的质量和鲁棒性。与基于LiDAR的银色标准相比，遮蔽点云的RMSE减少了83.31%，平均距离减少了99.32%，标准偏差减少了81.72%。使用这两种技术对60名受试者进行的两种人体测量的回归显示出同等可接受的质量。髋关节重建不太准确，因为激光雷达和SfM都获得了受试者紧密的解剖表面，而人体测量师的胶带可以平衡臀部分离。我们的重建模型目前正在考虑这一方面。
这些初步结果非常有希望，因为仍有优化的空间。特别是BRemNet公司模型使用了通用机器视觉网络的传递学习，但可以使用更大的手动分割掩模集对其进行再训练，以获得比所示更高的精度图4此外，如上所述，对于臀围和腰围（以及其他人体测量），更好的解剖模型可以比本文中使用的模型得到更好的估计。最后，通过更大的样本集，可以建立一个更稳定、更精细的回归模型，以得出最终估计，该模型考虑了除获得信息外的受试者信息的其他方面（例如，体型、性别、种族等）。 这一贡献与实现有用测量只有这样，才不会产生高质量的3D重建，而激光雷达的采集显然能更好地实现这一点。然而，这些测量值可用于提供非常逼真和个性化的化身（例如，使用计算健身模型），触发人类健康、在线服装零售和体育等领域的一系列重要应用。特别是，如其他地方所述[33]这将有可能验证人体形态计量学是与肥胖和超重等疾病相关的生物医学表型的可靠预测因子，并验证其在常规临床实践中的有用性。
