基于双通道混合网络的结构光轮廓术三维重建

摘要

随着高速图像传感器和光学成像技术的快速发展，有效地推动了非接触式三维形状测量的发展。其中，条纹结构光技术因其测量精度高而得到广泛应用。与傅里叶变换轮廓术等经典方法相比，许多深度神经网络被用于从单次激发结构光恢复三维形状。在实际工程部署中，卷积神经网络（CNN）的可学习参数数量巨大，特别是对于高分辨率结构光模式。为此，我们提出了一种基于UNet的双通路混合网络，它消除了最深的卷积层以减少可学习参数的数量，并且在解码器上额外构建了swin transformer路径以提高该网络的全局感知能力。实验结果表明，与UNet相比，该模型的可学习参数减少了60%，同时测量精度没有下降。提出的双通路混合网络为结构光三维重建及其工程实践提供了有效的解决方案。

1介绍

条纹结构光轮廓术作为一种高精度的非接触三维重建方法，已广泛应用于几何测量、文物修复、逆向工程等领域[1,2]. 结构光测量近年来也被应用于自动驾驶，而对车辆和障碍物的实时感知是IOV（车联网）的研究热点，也是实现自动驾驶和无人驾驶的重要前提[三]. 对于汽车的道路环境感知，激光雷达和相机是使用最广泛的传感设备。激光雷达探测距离长，但三维成像分辨率低，成本高制约了其应用，而单台没有辅助照明的摄像机无法计算出道路环境的三维轮廓[4,5]. 借助于不可见光源，单个摄像机也可以基于结构光轮廓术进行道路环境重建。

它将结构光图案投影到待测表面上，然后由物体表面对图案进行调制，相机通过解调变形结构光图案的相位信息来采集变形的结构光图案并恢复高度图[6,7]. 傅里叶变换轮廓术是一种经典的结构光相位解调算法，它将结构光模式从空间域转换到频域，并使用适当的滤波器去除频域中的高频分量和0 Hz分量，其余基频分量通过IFFT（快速傅里叶逆变换）恢复到空间域[8]. 然后，根据恢复的结构光图案的复数形式解调相位信息[9]. 然而，解调相位被包裹在\（（-\pi，\pi）\），并且需要空间信息等辅助方法，以便可以展开相位来计算被测对象的三维形状[10].

在工程应用中，傅里叶变换轮廓术可以用单次结构光模式重建三维轮廓，具有测量速度快的优点，便于在线测量和动态测量。然而，傅里叶变换方法的滤波器参数设置和相位展开算法比较困难，限制了其准确性和鲁棒性。

在这项工作中，提出了一种用于结构光轮廓测量的新型双通混合模型。该方法基于UNet，删除神经网络中最深的卷积层以减少可学习参数的数量，并在解码端添加一个swin变换器路径以提高模型的全局感知能力。实验结果表明，该方法可以缩小模型尺寸，高精度地重建三维轮廓[11].

2相关工作

在结构光三维轮廓术的理论研究中，Wang et al[12]开发了一种基于光纤干涉的新型表面结构光投影（SSLP），通过二维连续小波变换，可以从小波脊中准确解调包裹相位，然后根据相位-高度映射关系计算出测量的路面纹理高程。提出了一种基于傅里叶正交结构光模式投影和希尔伯特变换的改进三维物体形状恢复的组合方法[13]它可以抑制变形条纹图案的背景强度，实验结果证明在复杂物体的重建中具有较好的性能。在[14]他们利用二维实墨西哥帽小波函数构造了二维连续复小波，并结合单值解析二维希尔伯特变换，实验表明，该方法在单次条纹图轮廓测量中具有较高的相位精度。

目前，在照明硬件和结构光图案设计方面也有许多研究改进。在[15]为了在微观尺度上应用结构光轮廓术，他们提出了带有LED光源的Gates干涉仪配置，以投影无散斑噪声和很长景深的结构光图案，并且该系统可以在微观物体表面获得优异的正弦结构光。线性结构光模式不能唯一地代表具有表面不连续性的物体引起的横向位移，Mandapalli等人[16]建议使用径向对称的圆形结构光图案作为结构光图案，以准确无歧义地绘制突发高度不连续物体的表面轮廓，实验结果表明，该方法可以用于4倍动态范围甚至更低结构光频率的物体的重建。

然而，传统的结构光三维轮廓术在工程应用中难以实现有效的三维重建。目前，深度神经网络广泛应用于图像处理[17,18,19]因此，将深度学习应用于结构光模式分析以实现快速三维轮廓测量已成为一个新的研究热点。许多学者对具有深度学习的结构光三维轮廓术进行了初步研究。许多早期的研究将神经网络用于结构光轮廓术中的一个步骤，如结构光模式去噪、相位提取和相位展开。在[20]利用FMENet将两个具有不同相移的低调制模式转换为一组三相移的高调制条纹。Yu等人[21]提出了一种基于CNN的相位恢复新技术，该技术使用端到端的深度卷积神经网络将单个或两个模式转换为相位恢复所需的模式，并通过数值和实验验证了其在动态三维测量中的适用性。在[22]他们使用UNet将彩色结构光图案转换为多个三频相移灰度图案，从中可以精确地重建3D形状。现在，有很多工作是直接在端到端高度图上进行的。在[23]，构建了一个具有10个卷积层的网络，用于从结构光图案中提取全场高度。乔等人[24]利用深度可分离卷积建立深度神经网络，可以减少模型可学习参数的数量，且三维重建精度不降低。在CNN的结构设计中，有许多基于UNet的研究工作。Nguyen等人[25]比较了不同类型的端到端网络，实验结果证明了UNet重建结果的高精度。Nguyen等人[26]使用端到端的神经网络通过将单个斑点图像转换为相应的3D点云来重建3D轮廓。

除了端到端全卷积网络（FCN）之外，还有大量利用多径神经网络结构的研究。乔等人[24]提出了一种多路径CNN，可直接从单色条纹图像预测高分辨率、无串扰的绝对相位，从而实现更精确的相位恢复和更稳健的相位展开。对于不同类型的多路径CNN模型，Cywinska等人[27]评估路径数和滤波器数对重建结果的RMSE（根平方误差）以及时间消耗的影响；然后，他们给出了推荐的参数。Nguyen等人[28]使用多路径神经网络将由条纹和/或散斑图案组成的多个（通常是两个）灰度图像变换为3D深度图，并融合多个特征图以获得具有精度增强的最终输出的多个输出。在[29]设计了一种新颖的双感知块结构，并将其嵌入到多径结构中，以充分利用局部层并融合多个离散正弦信号，即使在较小的数据样本训练时也能获得较高的重建结果。

值得注意的是，尽管基于深度学习的结构光三维测量研究很多，但受深度神经网络层数的限制，用于高分辨率三维重建的轻量级模型很少，卷积的弱长距离交互能力也影响网络的重建精度[30,31].

三方法

对于不同结构光轮廓术的原理，傅里叶变换轮廓术具有最低的计算复杂度，并且变形的结构光图案我(u个, v（v）)相机拍摄的图像可以写为：

$$\begin｛aligned｝I（u，v）=a（u，v）+b（u，v）\cos[\varphi（u，v）+2\pi f_{0}u]\结束{对齐}$$

(1)

哪里一(u个, v（v）)是像素的背景光强度(u个, v（v）),b条(u个, v（v）)是结构光模式的振幅，（f）₀是条纹结构光的基频，以及\（\varphi（u，v）\）是由表面高度调制的相位振幅小时(u个, v（v）). 然后，小时(u个, v（v）)表示为：

$$\begin{aligned}h（u，v）=\frac{l{0}\varphi（u，v）}{2\pif_{0}天}\结束{对齐}$$

(2)

哪里天表示相机和投影仪之间的中心距离，以及\（l_0\）表示参考平面与相机之间的距离，两者都是结构光器件的几何参数。

转换等式中的三角函数1成指数形式，让\（c（u，v）=frac{1}{2} b条（u，v）\exp（i \varphi（u，v）），相位振幅\（\varphi（u，v）\）被测表面调制可以表示为：

$$\begin{aligned}\varphi（u，v）=\frac{Im[c（u，v）\exp（i2\pi f_{0}u)]}{Re[c（u，v）\exp（i2\pi f_｛0｝u)]}\结束{对齐}$$

(3)

相位振幅\（\varphi（u，v）\）通过方程式计算。三包装范围为\（（-\pi，\pi）\）; 相位展开后，最终高度图小时(u个, v（v）)可以通过公式2[32].

3.1结构光模式的全局特征提取

目前，对于基于深度神经网络的结构光测量算法，大多是编码器-解码器框架。通过预处理网络从输入的结构光模式中提取特征图，然后将其放入解码器中生成高度信息。

在编码器中，为了提取结构光模式的特征图，需要采集全局特征，特别是当被测表面存在不连续的部分时。目前的方法是：（1）通过降低卷积层特征图的分辨率（缩小比例），例如下采样操作（例如，池层），网络可以获得原始模式远距离位置之间的特征信息。然而，卷积层的输出表示不同空间位置的特征信息，并将模式分割为网格以获得每个部分的局部特征。在编码和解码过程中，模式大小的缩放会导致信息的丢失，从而降低三维重建的精度，或者依赖于更深的卷积和池运算[33]. （2） 另一种方法是扩张卷积，与池化层增加感受野但丢失信息的问题相比，扩张卷积网络可以避免下采样操作[34]. 通过增加膨胀率，膨胀卷积在卷积核的元素之间插入空白，从而将核扩大到更大的感受野。然而，扩张卷积的采样过程是稀疏的，而网络中叠加了多个扩张卷积，对于物体边缘和小尺度物体，一些丢失的像素将失去信息的连续性和特征图之间的相关性，从而导致三维重建精度的降低[35].

目前，现有的研究大多基于深度卷积层来提取结构光模式的全局特征图，这导致网络的可学习参数数量庞大，训练时间长，部署困难。因此，为了高效准确地进行三维重建，关键的一步是基于有限神经层的网络获取更多的全局信息[36,37].

对于全局特征地图提取，自关注在获取大规模交互性方面有很大的改进，其主要操作是获取隐藏单元计算值的加权平均值。此外，自关注机制可以在不增加参数的情况下获得广泛的交互，这有助于减少网络模型的可学习参数数量。这对于高分辨率结构光轮廓术的大规模建模具有重要意义[38,39].

目前，变压器使用自我注意来获取远程交互信息。与CNN相比，该变换器所需计算资源较少，在NLP、图像分类等方面取得了优异的性能[40,41]，已成为深度学习领域的研究热点。转换器的底层结构类似于ResNet，它将图像划分为多个指定大小的补丁，这导致了两个缺点：首先，边界像素无法使用补丁外的相邻像素进行图像恢复；其次，恢复的图像可能会与每个补丁周围的边界伪影混合[42].

作为一种改进的视觉变换器，swin变换器采用了一种基于移位窗口和层次化表达的新型通用结构。与以前的视觉变换器相比，swin变换器引入了局部性的思想，并使用移位窗口计算非重合块的自聚焦，这也大大降低了计算量[43,44].

3.2双路混合子模块

卷积具有良好的局部感知能力，但它缺乏远程信息的交互，这将失去结构光模式的全局特征。如果网络仅依赖更深的卷积层和池层来扩展接受域，则会导致大量可学习参数和网络的过拟合。纯变压器或swin变压器网络在模式的全球感知方面具有明显的优势，但在细分面片时丢失了图案细节信息[45]. 在[46]提出了一种混合网络结构，利用卷积运算和自关注机制来增强表示学习，可以显著提高基本网络在可比参数复杂度下的表示能力。受此启发，我们提出了一个用于特征学习的双通路混合子模块，其中有两个并行子路径，局部和全局特征分别由卷积路径和swin变换器路径表示，每个卷积块都有其相应的并行swin变换块用于特征交互[47]. 双通道混合子模块的示意图如图所示1.

图1

双通道混合子模块图

在双路混合子模块的卷积路径中，特征映射\（fi\）前一个子模块的输出直接传输到卷积路径进行局部特征提取，该特征也通过FC（特征耦合）下行块进行序列化，并间接发送到swin transformer路径进行全局特征提取。输出全局功能\（p_s\）旋转变压器的转换为3D形式\（u\）（H）\（_j）W公司\（_j）C类\（_j）)通过FC Up块，它与输出特性耦合\（f_c\）从卷积层到平均层。在Average层的后面有一个UpSampling2D层和一个Dense层，其目的是保持特征维数与编码器的剩余信息一致。特征信息和残差信息串联后，用作输入\（f_j）下一个子模块[48,49].

在swin变换器路径中，张量\（p_i\）前一个子模块的输出和从卷积层传递的2D特征图也通过Average层耦合，然后传递到当前swin transformer块进行全局特征提取。张量\（p_s\）来自swin变换器的gets有两个分支：一个耦合到卷积路径以提供全局特征信息，另一个通过补丁扩展层上采样并传递给下一个子模块以进行进一步的全局特征表示。

FC-Down块由补丁提取层、补丁嵌入层和LayerNormalization层以及3D特征映射组成\（fi\）通过补丁提取层将其序列化为2D补丁。这些补丁通过补丁嵌入层进行标记化，并保持与前一个相似的维度\（PI\）; 在层归一化层之后，可以避免梯度的消失。在FC Up块中，在补丁扩展2D层之后，序列化的全局功能\（p_s\）被重塑为3D形式；然后，其维数由11卷积层补充，然后通过BatchNormalization层输出。

利用该双通道混合子模块，对于不同尺度的特征地图，卷积路径和swin变换路径可以分别提取局部和全局特征，这两种不同的特征通过耦合块进行了强融合。通过混合子模块，可以有效地减少神经网络的层数，获得高精度的三维重建。

3.3提出的双通路混合解码网络

基于上述双通混合子模块，我们提出了一种用于单次结构光轮廓测量的新型双通解码网络，该网络是对经典UNet的改进[50]，最终的网络架构如图所示2.

图2

拟建网络结构图

编码器中有三个卷积块，由两个33卷积层、两个BatchNormalization层和一个MaxPooling层组成。在卷积块之间，MaxPooling层执行2次下采样。与UNet中的4个下采样卷积块和一个底部卷积块相比，该网络消除了最深的卷积块，以减小模型的总体尺寸，并且全局特征信息被提取出来并由解码器中的混合子模块表示。同时，每个卷积块还输出跳转到解码器的剩余信息，避免了反向传播过程中梯度的消失[51].

解码器由4个串联的双路混合子模块组成，主要代表结构光模式的局部和全局特征，并分别通过UpSampling层和Patch扩展层缩放两条路径中的特征图。需要注意的是，在解码器中，每个卷积块由一个33卷积层和一个BatchNormalization层组成，而每个swin transformer块由两个swing transformer层组成。

模型中的输出层是11个卷积，最终的3D高度图以线性回归的形式输出。

4实验和分析

为了验证所提出的网络在结构光轮廓术中的有效性，我们将我们的方法与现有的方法进行了比较，包括经典的UNet和不同的烧蚀模型。大量实验证明了该方法在三维重建中的可行性和轻量级。

实验硬件平台是一台服务器，由NVIDIA Tesla P100 GPU、64GB ram和Intel Xeon 4110 CPU组成。我们选择的软件工具是Python 3.8和深度学习框架TensorFlow。

4.1目视评估和准确性评估

对于数据集的选择，我们使用中提到的实际数据集[25]这是从真实石膏雕塑的结构光图案中收集到的，并使用相移法测量地面真实情况。为了扩大样本数量，通过随机旋转和平移这些石膏雕塑来扩展数据集。

训练集中的结构光模式总数为500，验证集的数目为100。对于UNet和拟议网络的训练，让批大小=2，初始学习率设置为0.0001。经过200个周期的训练，我们在测试集中随机选择结构光模式进行三维重建预测。最终视觉结果如图所示三.

图3

不同雕塑的3D重建：一,天基本事实；b条,e（电子）UNet结果；c（c）,（f）拟议网络的结果

对于图中对比实验的视觉性能三第一列是雕塑的地面实况，第二列是UNet的三维重建结果，第三列是建议网络的结果。在我们的主观分析中，与图三b、 图中衣服的大部分褶皱三c可能会暴露。这表明，将全局特征添加到卷积路径中是有用的，因此所提出的网络可以获得更丰富的高度图细节并充分显示整体效果，这可以有效地提高三维重建的精度。

为了定量比较不同网络的三维重建误差，我们选择比较图三b和c。我们以相移法测得的高度图的地面实况为参考，对两个网络的重建结果进行最小二乘拟合，以便在（0255）范围内缩放重建高度图。不同网络的最终绝对误差如下所示：

图4

不同网络的测量误差：一UNet；b条建议的网络

图4图中显示了不同网络的误差比较，图中曲面拟合后，UNet的高度图部分偏离了地面真实情况4a.UNet的平均误差为8.34 RMSE/像素，建议的网络为7.79 RMSE/象素；对于最大误差，与UNet相比，该网络减少了8%。

4.2烧蚀实验

除此之外，为了验证混合网络中局部特征和全局特征相互融合的重要性，我们设计了两个简化的单向特征融合网络，并与所提出的网络进行了比较。这两个简化的双路径混合网络的图如图所示5.

图5

简化双通路混合网络的结构比较：一杂交-A；b条混合动力-B

在单向特征融合网络A（Hybrid-A）中，与之前提出的网络相比，我们删除了一些混合子模块中的FC-Up块。只有在最后一个混合子模块中，旋转变压器路径的全局特征信息通过FC Up块融合回卷积路径，而其他混合子模块仅将卷积路径通过FC Down块的局部特征信息融合到旋转变压器路径。

对于另一个与Hybrid-A相反的单向特征融合网络B（Hybrid-B），在第一个混合子模块中，卷积路径的局部特征信息通过FC Down块融合到swin transformer路径，随后的混合子模块只将全局特征信息从swin变换器路径传回卷积路径，而没有将局部特征信息传回swin变换者路径。

这两个简化网络在同一数据集上进行训练，与建议网络和UNet的定量比较结果如表所示1.

表1不同结构网络的性能比较

图6

简化双通路混合网络的性能比较：一所述结构化光图案；b条基本事实；c（c）杂交-A的结果；天杂交-B的结果

通过对不同网络重建结果的归一化MAE，我们可以发现，所提出的网络和Hybrid-A的性能优于UNet，而Hybrid-A的性能最差。图中两个简化的双通路混合网络的视觉性能比较6，Hybrid-B比Hybrid A有更多的失真细节。

5结果和讨论

与UNet相比，所提出的网络的可学习参数比UNet少60%，两个简化网络的参数也比UNet少很多，这有助于降低计算消耗和硬件部署的难度。

在Hybrid-A和Hybrid-B的结构比较中，我们发现，如果只从卷积路径中提取一次深层特征图进行全局特征表示，即使全局特征多次反馈到卷积路径，网络的反向传播仍然存在梯度消失的问题，这导致混合网络泛化能力弱，三维重建精度下降。在Hybrid-A中，swin transformer路径可以反复从卷积路径中提取局部特征信息，并将其与前一swin transpormer层的全局特征融合，就像ResNet的剩余跳跃连接一样，这样可以避免模型的梯度消失，有助于提高三维重建精度[52,53].

从上述两个双通路混合网络的对比实验中，对于深度神经网络中全局和局部特征信息的融合，我们可以得出结论，与从摆动变压器块单向获得的全局特征相比，解码器可以从不同层的卷积路径中获取不同尺度的局部特征信息，从而更好地提高预测性能。这也证明了旋转变压器等多关注机制在结构光三维重建中的积极作用。

6结论

为了设计一种轻量级结构光三维重建网络，在研究多关注机制的基础上，提出了一种双通路混合网络。与经典的UNet相比，我们消除了最深卷积块以减少网络的总学习参数。同时，为了提高网络的全局感知能力，在解码器中添加了一个swin transformer路径以进行全局特征表示，双向融合子模块对卷积路径的局部特征进行了强融合。实验结果表明，该网络的可学习参数比UNet少60%。对于卷积路径的局部特征和swin变换路径的全局特征之间的融合方向，通过烧蚀实验中两个简化的混合网络验证了其对模型泛化能力的影响。通过这些实验，这种双通路混合网络框架为结构光三维重建和自动驾驶中的工程应用提供了一种新的思路。