1.简介
在使用隧道掘进机(TBM)建造隧道的过程中,与隧道表面接触的岩石被TBM切割头压碎,产生大量不同粒径的灰尘。灰尘通过喷雾和通风抑尘系统与细水雾混合,形成不均匀的薄雾,散落在TBM刀盘周围,造成不寻常的环境,如所示图1。光学系统在这种环境下的图像采集过程带来了一些挑战,例如对比度降低、特征模糊和颜色失真。这些因素影响了在隧道中使用图像功能(包括目标检测)的基于视觉的应用程序的质量[1],三维重建[2]、和测量[三]任务。 图像去噪已经引起了研究人员的极大关注,因此提出了几种解决该问题的方法。一般来说,这些方法分为两类:基于先验的和基于深度学习的。
基于先验的图像去噪方法利用统计知识和手工特征恢复无雾图像。大气散射模型(ASM)[4]是第一个提出的模型,通过分析和计算图像特征作为先验信息来估计传输图。暗通道优先(DCP)[5]通过局部块提取暗元素信息以确定传输图,但可能会在提取块的边缘产生估计错误,并在天空和白色弱纹理区域中产生光晕伪影。最近,一种改进的DCP算法[6]提出了基于偏振大气光的DCP算法,该算法能够更准确地评估全球环境光,提高了DCP算法的图像去噪能力。然而,该算法使用的偏振状态估计模型不适用于隧道施工中的非均匀霾,且去雾后的图像是暗的[7]该理论将雾线和边界正则化(BR)相结合,直接估计传输图,避免了图像阻塞,但在处理浓雾时可能会失效。基于Gamma校正先验(IDGCP)的图像去噪[8]使用gamma校正先验(GCP),基于全局策略优化场景反照率,并用更好的颜色和纹理细节恢复无阴影图像。图像去叠和曝光(IDE)[9]增加ASM中的光吸收系数以处理图像黑暗,但在非均匀雾霾环境中可能表现不佳。这些方法可能无法恢复受浓雾或非均匀雾影响的图像,计算成本高昂,并可能导致暗或低饱和度问题。 最近,深度学习方法在图像去噪方面表现出了突出的性能。DehazeNet公司[10]首次将卷积神经网络应用于dehaze图像,通过特征提取、多尺度映射、局部极值和非线性回归网络结构设计得到传输图,然后应用大气散射模型获得dehaze影像。Ren等人[11]考虑到不同尺度信息对去叠问题的影响,设计了多尺度CNN网络(MSCNN),该网络由粗尺度网络用于预测整体透射率图和细尺度网络用于局部细化结果组成,并获得了较好的去叠效果。DehazeNet公司[10]和MSCNN[11]采用集成学习的方法分别估计透射率图和大气光,容易造成误差积累,不能最大限度地减少重建损失,且其去噪效果有限。AOD-网络[12]意识到这一问题,因此改变了大气散射模型,将透射率t和大气光照值A合并为一个新的变量K,并建立了随输入雾霾图像变化的自适应深度模型。LD净值[13]基于AOD-Net体系结构和去噪模型,添加CVR模块对颜色直方图进行像素级平均和归一化,以减少图像去噪后的颜色失真问题。这些方法避免了在估计透射率之前进行人工设计所带来的误差,但在浓雾中的性能并不令人满意。本质上,基于大气光的图像退化模型无法准确描述复杂散射环境的成像机理。与使用大气散射模型的集成学习方法相比,基于端到端去噪方法设计的网络的输出不再是待去噪图像的传输图,而是输入图像到清晰图像的直接映射关系。金融流量账户净值[14]将通道注意与像素注意机制相结合,提出了一种端到端的特征融合注意网络,直接获取去模糊图像。网格DehazeNet[15]设计了一种基于信道注意机制的多尺度网格去噪网络。它使用残差密集块作为基本单元,可以更好地利用每个卷积层学习到的特征。上述方法在合成雾霾数据集上取得了较好的评价分数,但在面对非均匀浓雾图像时效果并不好,会出现局部雾霾残留和颜色失真等问题。 本文的主要贡献如下:
- (1)
针对隧道环境中非均匀雾场的图像去噪问题,提出了一种基于传输学习的双分支生成对抗网络。
- (2)
构建了一个烟雾场模拟试验台,再现了隧道粉尘和照明的分布,并在该试验台上生成了一个小样本烟雾图像数据集tunnel-haze。
- (3)
在隧道模拟雾尘环境和脱雾条件下,对刀具模型进行了双目视觉立体匹配磨损测量,证明了所提出的脱雾网络在隧道雾尘环境中具有潜在的工程应用价值。
文章的其余部分组织如下:第2节介绍了网络的结构和创建数据集的过程。之后,第3节提供了有关实验验证的详细信息。最后,第4节是本文的总结。 2.方法
在这一节中,介绍了本文提出的双分支对流层去叠网络(ADN)和薄雾图像数据集Tunnel-haze的生成。首先,介绍了ADN的总体结构第2.1节.英寸第2.2节详细介绍了知识转移分支。多尺度密集残余分支随后解释为第2.3节中详细描述了该网络中使用的损失函数第2.4节.英寸第2.5节介绍了薄雾图像数据集Tunnel-haze的生成。 2.1. 概述
本文使用GAN的概念[16]在去噪过程中,去噪网络充当生成器,学习模糊图像中的雾度特征分布,并在真实清晰图像的监督下生成清晰图像。为了区分真假图像,将网络生成的恢复的清晰图像和真实的清晰图像输入到设计的鉴别器中。这会激励生成器不断改进其性能,从而产生始终更接近真实清晰图像分布的输出结果。鉴别器的结构与pix2pix中的类似[17],网络更深,最大通道数扩展到1024个。 双分支架构的设计允许使用来自同一输入的不同特征,然后使用适当的融合策略组合这些特征。这提高了图像去叠的性能,因为它允许来自两个分支的综合信息。图2说明了这一过程,其中haze图像通过两个子网络分支,即知识转移和多尺度密集残差子网络。然后通过通道连接将每个分支的结果特征映射连接起来。最后,通过后处理卷积层和tanh激活函数生成清晰的图像。 各分支机构的网络结构详细阐述如下。
2.2. 知识转移处
KTDN中的网络模型结构启发了知识分支转移框架[18]. 该框架由两部分组成:编码器和解码器。编码器用于提取图像特征,而解码器包括上采样层、注意模块和用于有效图像重建的细节增强模块。此外,在编码器和解码器之间添加了一个跳跃连接,通过保存和传输编码器提取的特征来简化重建过程。 Res2Net编码器。Res2Net公司[19]是ResNet的变体[20]在残差块中使用分组多尺度卷积的架构,这有助于获得细粒度特征。该体系结构已被证明能够为图像分类和对象检测等视觉任务提供卓越的结果。本文中的编码器使用Res2Net101网络结构的前四部分来提取雾霾图像特征。此外,还利用ImageNet上Res2Net101的预训练参数导入模型的训练结果。使用预训练参数可以加快模型的收敛速度,降低训练成本。 功能注意模块。网络结构融合了受SE Block启发的渠道注意力[21]加强渠道连接。这使得可以为每个卷积信道自适应分配资源权重,特别是用最大的信息量增强与危险相关的特征。为了解决雾或灰尘在图像像素上的非均匀分布,利用了像素注意力。这会为图像特征的每个像素生成不同的权重,使网络能够集中于纹理、颜色和雾度区域等有效信息。频道注意力和像素注意力相结合,形成注意力模块,如所示图3通道注意是一种机制,用于确定神经网络中各种通道特征映射的重要性。它通过为每个通道分配权重来实现这一点,以指示它们的重要性。与关注频道内的单个特征点不同,频道关注度将每个频道的特征图的相应权重相乘,以确定不同的关注度级别。像素注意机制通过使模型能够自动选择像素或重要区域来提高计算机视觉任务的性能。事实证明,它对于管理较大的图像或复杂场景特别有用,因为它有助于模型集中精力并提取关键信息。结合这两种注意机制可以提高网络的性能。 细节增强模块。解码雾霾图像后,将添加细节增强模块,如所示图4此模块是一个多尺度金字塔池块,它使用全局平均池层将要素图子采样为四种不同的尺度(1/4、1/8、1/16和1/32)。通过这样做,它可以学习不同的感受野,并更有效地恢复图像像素块的细节和纹理。然后,使用1×1卷积将不同尺度的特征图的多通道信息组合成单个通道。最后,将原始特征图和多尺度特征图连接起来,以集成上下文信息。 2.3. 多尺度致密残余分支
在上一节中,知识转移分支主要使用预训练权重提取低频基本特征。然而,大量的跳过连接会丢失大量重要信息,这对于恢复清晰图像的局部细节是必要的。仅仅依靠单个分支,在复杂、非均质的脱胶环境中处理脱胶问题非常困难。因此,并行添加了多尺度、稠密残差子网络。该部分提取的精细图像特征可以作为知识转移子网络的补充信息。因此,该网络可以在小规模数据集上提供增强的性能。
残差密集块(RDB)已被证明可以有效地生成分辨率提高的高质量图像[22]减少图像模糊[15]. RDB采用密集连接,允许每个卷积层接收前一层的输出作为附加输入,从而实现更好的特征提取和不同级别特征之间的更强连接。这为清晰图像重建提供了更多信息。密集连接后,将通道连接起来以自适应地保留特征。最后,加入残差连接,融合同一特征地图上的局部浅层信息和深层信息。这种方法提高了网络的深度,同时保持了便利性。请参阅图5以进行说明。 多尺度密集剩余支路是由三通道并联组成的网络。输入的雾度图像首先经过两个卷积层来提取其浅层特征,或者我们称之为学习输入。该过程的结果是降采样,形成三个较小的分支,以便学习不同的尺度特征。每个较小的分支都由五个多尺度致密残余块体组成,这些残余块体通过长期、连续的致密连接连接在一起。每个剩余致密块的输出特征图数量保持不变。随后在每个分支的末尾添加一个注意模块,以自适应地为输出特征图的特定像素区域和不同特征通道分配权重。下一步是利用从每个分支获得的结果,通过上采样和级联操作在不同级别上实现特征融合。这是通过使用Pixel Shuffle实现的,与传统的线性插值方法相比,Pixel Shuffle提供了更好的视觉效果。与通常使用池层的下采样不同,卷积层用于减少信息丢失。此外,在每个分支的末端和浅层输入之间包含一个全局剩余连接,以减少模型复杂性和过拟合。三个分支中剩余感测块的输入和输出信道均设置为32,卷积层配置为具有六层。
2.4. 损失函数
为了正确训练网络并将每个层的参数引导到正确的方向,我们设计了一个包含四个成分的损失函数,该函数有助于测量网络生成的脱氮图像与实际清晰图像之间的差异。损失函数[23]如下所示:哪里;;是每个损失函数的超参数权重。是多尺度结构相似性(MS-SSIM)损失;是感知损失;是对抗性的损失。 平滑L1损失。平滑L1损失[24]提供L1损失和L2损失的好处,从而提高强度和更快收敛。这有助于保持对网络生成的输出图像的亮度和颜色的良好影响。哪里和分别是真实的清晰图像和薄雾图像;是与设计的网络模型相对应的从输入到输出的映射函数;N个表示图像中的像素数。 多尺度结构相似性损失。为了根据人类视觉感知提高网络的去雾效果,我们实现了多尺度结构相似性(MS-SSIM)[25]网络训练中的功能丢失。该损失函数考虑了图像的分辨率,有助于更有效地保留高频细节。让和表示以像素为中心的两个通用大小的窗口分别在去阴影图像和无阴影图像中。使用高斯滤波器和,并计算得出的平均值,,标准偏差,和协方差.像素的SSIM定义为:哪里我()表示亮度和反恐精英()代表合同和结构措施,C类1,C类2是两个变量,用于稳定分母为弱的除法。 感知损失。与仅依赖像素损失相比,将感知损失用作广义结构化输出损失有可能提高模型的性能。通过结合这种方法,模型可以在训练时更有效地重建精细细节。这项特殊研究使用了VGG16网络模型,该模型在ImageNet上进行了预训练[26],作为损耗网络。为了计算感知损耗,使用该网络的L1损耗。哪里在-VGG16网络的第层,以及,是激活-第层。 对手损失。对手损失[27]帮助恢复具有更精细纹理的图像。其损失函数可描述为:哪里是鉴别器的输出,表示网络输出的无模糊图像被视为真实清晰图像的概率。 2.5. 隧道-HAZE数据集的构建
用于深度学习的数据集通过记录场景对象的特征和散射介质的分布信息,在模型训练中起着至关重要的作用。图像去叠中最常用的数据集包括RESIDE[28]数据集,这是一个基于大气散射模型的合成烟雾数据集,以及O-haze[29]和NH-HAZE[30]数据集,是以室内和室外景观为特征的人工非均匀雾霾场景数据集。这些数据集以计算机生成的烟雾、真实场景中均匀分布的烟雾或烟雾发生器模拟的烟雾为特征。然而,它们可能无法充分反映人工光源、颜色差、对比度低以及隧道环境中灰尘分布不均匀的特点。 根据现场试验和研究,观察到在没有防尘措施的情况下,TBM隧道中的岩石粉尘浓度可以达到1000 mg/m三[31],粉尘颗粒主要集中在1–10μm和50–127μm的间隔内,平均粒径为55μm[31]. 为了创建一个模拟隧道雾霾环境的数据集,我们使用隧道环境模拟实验平台开发了一个名为tunnel haze的小样本数据集(图6). 该数据集由10个不同的场景组成,这些场景具有不同的光和散射介质浓度,生成了98张雾霾图像和22张相应的清晰图像。其中一些图像如所示图7,其中模糊图像中的散射介质在场景中是非均匀分布的。 每个场景的制作都是在雾尘环境生成室中进行的。雾尘环境发生室的内壁贴上深色粗糙的牛皮纸来模拟隧道壁,并使用可调LED矿灯条来模拟隧道的真实场景照明条件。我们模拟了两种散射介质环境:灰尘和水雾。场景中的粉尘环境模拟是通过空气压缩机吹石英、砂岩和花岗岩粉末实现的,颗粒直径分别为18μm、38μm和45μm。水雾环境模拟由YWQ-180烟雾发生器实现,该烟雾发生器将水和酒精雾化成直径为1-2μm的悬浮颗粒。通过调节离心抽取风机,可以实现散射介质和场景之间的充分混合以及随后的清洁过程。我们使用佳能EOS70D单反相机和FCJ200光散射粉尘浓度测量仪同时记录了现场雾霾环境的过程。拍摄时间设置为3分钟,拍摄距离在0.8到1.2米之间。拍摄不同的朦胧场景时,相机参数设置为相同的水平。最后,截取视频,生成1440×1080像素的PNG格式场景图像;每个场景包含三个不同浓度的粉尘环境图像,如所示图8. 3.实验
在本节中,首先介绍了实现细节,包括数据集介绍、训练参数设置和实验环境。然后将该方法的性能与其他脱胶方法进行了定量和定性的比较。为了验证该方法的有效性,在模拟隧道中测量了圆盘刀具的磨损,验证了其工程应用价值。
3.1. 实施详细信息
在本文中,我们分别在合成数据集和实际数据集上训练和评估所提出的网络。使用来自RESIDE数据集的OTS子集和SOTS室外子集对合成数据集进行训练和测试。实际数据集包括NTIRE挑战中使用的数据集和上述生成的隧道环境模拟数据集tunnel-HAZE。NTIRE数据集使用2020年和2021年NH-HAZE数据集,共包含80对图片。共选择70对进行训练,5对进行验证,5对测试。在Tunnel-HAZE数据集中,80张雾度图像用于训练,10张用于验证,10张用作测试。
为了减少对GPU运行缓存的需求,提高训练速度,在训练过程中对训练集图像进行随机裁剪,得到256×256个图像块作为网络输入。由于Tunnel-HAZE数据集中的图像数量较少,我们使用数据增强方法将原始图像随机旋转90°、180°或270°,并将其水平和垂直翻转,以增加样本数量和多样性。在训练过程中,dehazing网络和鉴别器都采用Adam优化器,将β1和β2分别设置为0.9和0.999,eps设置为1×10−8,初始学习率lr为1×10−4.数据的批量大小为4,总训练历元设置为800,当历元达到200、400和600时,学习率lr减少0.5倍。此外,为了在网络训练的初始阶段保持数值稳定性,开明初始化[32]用于初始化鉴别器的学习参数。 在本文中,所有实验都是在NVIDIA 3090 24 G GPU上进行的,并使用PyTorch 1.7.1(Python 3.8)框架。
3.2. 结果对比分析
为了更直观、更具体地评估所提模型的性能,本节将ADN与RESIDE数据集、NH-HAZE 2020–2021联合数据集和Tunnel-HAZE数据集上相同方向的各种高级去叠算法进行了比较。这些算法是DCP[5],AOD净值[12]、FFA-Net[14]、GridDehazeNet[15]和DWGAN[18]. 本文建立了三种评价方法来评价不同去噪算法的去噪质量和效率,包括定性视觉效果比较、定量结果比较和推理时间比较。 3.2.1. 定性视觉效果比较
各种去模糊算法的定性视觉效果的比较主要基于人眼对去模糊图像与真实清晰图像相比的清晰度、颜色和亮度的感知。图9,图10和图11描述了不同去噪算法在三个数据集上的测试结果。总的来说,实验方法在处理合成均匀霾图像时显示出明显的去噪效果。与四个端到端深度网络相比,DCP和AOD-Net等基于物理模型的去雾方法表现出超过真实清晰图像的去雾能力。然而,当处理NH-haze测试集中的真实非均匀雾度图像时,DCP和AOD-Net首先失败,只能有效地去除图像边缘的一些雾度。在Tunnel-haze测试集中,只有DWGAN和所提出的方法对非均匀雾度图像保持良好的去噪能力。 本文提出的去噪网络在三个测试集上取得了良好的视觉效果,尤其是在处理真实的非均匀霾图像时;它恢复了更重要的细节;对比度最接近真实清晰的图像。DCP算法的去雾图像亮度较暗,天空和白色弱纹理区域出现严重的颜色失真和伪影。它对非均匀雾图像无效,如所示图9和图10(2b)。AOD-Net和DCP算法类似。GridDehazeNet和FFA具有相似的特性,对非均匀雾霾图像有一定的影响,但在恢复的清晰图像中丢失了大量的高频细节(石路缺乏纹理图10(3d,3e),并且存在明显的颜色投射和颜色失真问题(如所示图11d、 这两根柱子的颜色是黄色的图10(5d,5e)与地面真实图像不对应)。DWGAN网络的去噪效果仅次于本文提出的算法,但在年Tunnel-HAZE数据集上的测试结果中存在明显的噪声问题图11. 我们跟踪了DDAP中的实验[33]并对本文提出的方法进行了更多的测试。本文提出的去噪网络在实际隧道环境中拍摄的雾霾图像上进行了测试。我们不断在同一位置拍摄,以获得模糊图像和无模糊、清晰的图像。对于隧道中的前两张模糊图像,我们等待隧道中的通风和除雾系统清除烟雾,然后再拍摄清晰的图像。在接下来的两张人物照片中,由于他们处于一个相对狭窄的空间中,我们使用了特定的通风设备来消除环境中的烟雾并拍摄清晰的图像。与其他方法相比,去噪后的图像也显示出良好的效果。去叠后图像的颜色和对比度更接近真实、清晰的图像。DCP算法的去模糊图像整体较暗,尤其是当面对隧道环境中的照明条件时。墙壁和低亮度区域出现严重的黑暗效果,如所示图12(1b、2b)。当面对真实隧道环境的薄雾图像时,AOD-Net在墙上和黑暗区域有瑕疵,如所示图12(1c,2c)。GridDehazeNet在一些地区产生了模糊效果。FFA恢复的图像在隧道和地面上有大面积的暗块,图像的许多细节都丢失了,如所示图12(2e、3e)。DWGAN网络会产生大量噪音,并在墙壁和地面位置产生伪影,如所示图12(1f、2f、4f)。本文提出的方法具有更好的视觉效果,保留了图像的更多细节,并且产生的伪影更少。 本文提出的去噪方法在具有浓雾的真实图像上进行了测试。我们使用了BeDDE数据集和重量级区域的选定图像。BeDDE包含从中国23个省会城市收集的208对图像。对于每个城市,都提供了来自同一地点的一幅清晰图像和多幅模糊图像。在该步骤中,在40天的时间内,在每天8:00至9:00之间的时间收集固定地点的图像。这些收集在一年内同时在中国34个省会城市进行,并选择这些城市的代表性场景作为收集地点。从这些捕获的图像中选择清晰的图像。该方法在处理浓雾时显示出一些去噪效果,对比度最接近真实、清晰的图像。DCP算法会导致图像亮度变暗,并且在遇到重雾时显示不太明显的去雾效果。AOD-Net在去除浓雾时会丢失大量图像特征,如所示图13(2c、4c、5c)。GridDehaze在大雾天气下不完全脱毛,仅在附近雾霾较少的地区表现出脱毛效果。此方法模糊了原始图像特征,并在某些区域生成了一些白色斑块,如所示图13(1天、4天、5天)。FFA在解叠时会在天空区域引入一些伪影,如图13(e1、e4、e5)。此外,在脱毛过程中,它会在高层区域产生白斑,如图所示图13(e4、e5)。DWGAN在去模糊时会导致颜色失真,并在天空区域引入明显的瑕疵,某些区域会显示黑点,如所示图13(f2,f4)。 3.2.2. 定量结果比较
本文使用图像恢复中常用的客观指标,即峰值信噪比(PSNR)和结构相似性(SSIM),评估了不同的去叠算法[34]. PSNR的范围为0到40,SSIM的范围是0到1,值越高,表示脱氮图像和清晰图像之间的差异越小。统计结果如所示表1.本文方法在PSNR和SSIM上具有最佳值。在NH-HAZE数据集上超过第二名0.8 dB和0.031 dB,在Tunnel-HAZE数据集中超过4.07 dB和0.032 dB,这符合主观视觉效果的比较判断。对于合成数据集,本文网络的PSNR性能略低于FFA去噪网络。本文提出的方法在实际隧道环境中捕获模糊图像时优于其他方法。与第二位方法相比,它的PSNR值高2.92 dB,与第二名方法相比,SSIM值高0.017 dB。当面对具有严重烟雾的真实模糊图像时,与第二位方法相比,本文提出的方法获得了1.64 dB的高PSNR值,与第二位方法相比获得了0.063 dB的高SSIM值。 3.2.3. 推断时间比较
我们使用800×600像素的测试图像比较了不同算法在同一硬件上的运行时间,以定量评估其效率。此比较结果显示在表2. 与列出的其他算法相比,所提出的算法具有最大的参数规模,但在单图像运行速度方面仅优于FFA-Net。该算法有两个分支,分支一参数占最终方法的93.9%,分支二参数占整个算法的83.2%,尽管其参数比例较低。RDB块中的密集连接产生了高计算消耗,导致每个映像的运行时间更长。总的来说,该算法以一定的运行效率为代价来提高网络性能。单幅图像运行时间为0.147秒,在可接受范围内。
3.3. 烧蚀研究
本节分析和评估了两种分支结构(即转移学习和对抗学习模块)在拟议网络模型训练中的重要性。本研究比较了四种模型在Tunnel-HAZE数据集上的训练结果:单一知识转移分支模型、未导入预训练模型参数的单一知识转移分枝模型、未引入对抗模块的网络模型以及最终的完整网络模型。比较是横向进行的。
根据的比较结果图14和表3可以看出,与使用开明初始化的分支I相比,ImageNet中具有预训练参数的分支I在去雾图像的质量上有了显著的提高,PSNR和SSIM也得到了相应的提高。将双分支网络与单分支网络的结果进行比较,可以发现双分支网络结构对雾度图局部细节的恢复和清晰度有更好的效果,这也反映在评价指标中,说明了双分支网络结构的优越性。最后,通过比较第3(d)列和第3(e)列中的局部放大图像,证明了GAN双分支网络恢复的图像具有更清晰的边缘轮廓和颜色保真度。 3.4. 刀具磨损测量
在实验中,选择了一个17英寸的圆盘切割器作为测量对象,并按1:2的比例设计了切割器模型。为了模拟实际条件下刀环的不同磨损程度,测量包括在刀体上组装不同外径的刀环。刀环由金属材料制成,整个刀具模型通过3D打印生成。刀具模型的三维模型和物理对象如所示图15. 完成刀具模型后,按照中所述的相同方式构建视觉拍摄、图像处理和环境模拟系统第2.5节利用所提出的双支路对抗性去噪网络对切割机的雾霾图像进行去噪。该模型基于Tunnel-HAZE数据集进行训练。烟雾的质量浓度测量值为936 mg/m三表明其属于浓雾类。脱胶过程的结果如所示图16经过去杂处理后,在原始图像中捕捉到的刀具表面的模糊轮廓特征得到了清晰的恢复。此外,切割机后面出现的一些模糊物体也部分恢复。 训练有素的RAFT-Stereo[35]在立体校正后,向刀具图像对馈送以生成视差图。然后,利用视差图、重投影矩阵和左摄像机的校正图像作为掩模,重建刀具的三维点云。图17显示了三种不同环境下刀环外缘磨损的点云测量结果(6mm)。将两个测量工具环拟合的最小二乘圆柱表面之间的半径差作为测量值。测量的平均值以及与实际值的比较如所示表4. 刀环的真实磨损量由其半径的差异决定,如所示表4当实际磨损量为6 mm时,在无雾环境下进行测量,得出平均值6.127 mm,标准偏差1.059 mm,与真实值相比,相对误差为2.1%。在多雾、多尘的环境中,点云的平均测量值为6.589mm,标准偏差为1.598mm,相对误差为9.8%。应用本文设计的去噪网络后,点云的平均测量值为6.305mm,标准偏差为1.091mm,相对误差为4.9%。当实际磨损量为8 mm时,在无雾环境下进行测量,得出平均值8.145 mm,标准偏差为1.075 mm,与真实值相比,相对误差为1.8%。在雾多尘的环境中,点云的平均测量值为8.730毫米,标准偏差为1.617毫米,相对误差为9.1%。应用去噪网络后,点云的平均测量值为8.361mm,标准偏差为1.112mm,相对误差为4.5%。总体而言,在无烟环境下,点云测量精度为98.0%,表明双目视觉测量方法具有较高的可靠性。除杂过程将平均相对误差降低4.7%,平均标准偏差降低0.507mm,从而提高了测量精度。这一改进表明,重建点云的表面平整度得到了改善。解叠过程有效地恢复了一些模糊和损坏的图像特征,有助于提高三维重建点云的质量。 4.结论
本文介绍了一种解决隧道非均匀散射环境下图像去噪问题的新方法。该方法是一种基于GAN的双分支去噪网络。它使用知识转移分支和多尺度密集残差分支并行地恢复隧道环境中的雾度图。此外,还制作了一个名为Tunnel-HAZE的数据集来支持隧道场景去叠。将结果与现有方法进行比较,发现所提出的去雾网络在该应用中更有效,并且可以提高隧道视觉系统的鲁棒性。
由于缺少有关对象的可识别数据,该算法无法实现恢复完全被浓雾笼罩的图像的最佳结果。未来的研究方向将主要集中在满足实时去噪的要求和提高算法的效率。