杂志的下一篇文章
数字孪生兄弟的性能提升
期刊上的上一篇文章
1g CH甲烷排放量测量方法的不确定度量化4小时−1
 
 
订购文章重印
字体类型:
宋体 佐治亚州 宋体,Verdana
字体大小:
澳大利亚 澳大利亚 澳大利亚
行距:
列宽:
背景:
第条

隧道施工中非均质Dehazing的对抗性双分支网络

大连理工大学机械工程学院,大连116024
*
信件应寄给的作者。
传感器 2023,23(22), 9245;https://doi.org/10.3390/s23229245
收到的提交文件:2023年9月27日/修订日期:2023年10月25日/接受日期:2023年11月10日/发布日期:2023年11月17日
(本条属于本节传感器网络)

摘要

:
由于存在非均匀雾场和低对比度目标,隧道施工区对视觉技术的使用提出了重大挑战。然而,现有的去叠算法泛化能力较弱,在这种情况下会导致去叠失败、不完全去叠或颜色失真。因此,本文提出了一种对抗性双分支卷积神经网络(ADN)来应对上述挑战。ADN利用知识传递子网络和多尺度稠密残差子网络的两个分支对模糊图像进行处理,然后对通道进行聚合。然后,该输入通过鉴别器判断真假,从而激励网络提高性能。此外,根据隧道内粉尘分布不均匀和人工光源的特点,建立了隧道雾场模拟数据集(tunnel-haze)。与现有先进去噪算法的对比实验表明,PSNR(峰值信噪比)和SSIM(结构相似性)分别提高了4.07dB和0.032dB。此外,在模拟隧道环境中进行的双目测量实验表明,与雾霾图像相比,测量结果的相对误差减少了50.5%。结果证明了该方法在隧道施工中的有效性和应用潜力。

1.简介

在使用隧道掘进机(TBM)建造隧道的过程中,与隧道表面接触的岩石被TBM切割头压碎,产生大量不同粒径的灰尘。灰尘通过喷雾和通风抑尘系统与细水雾混合,形成不均匀的薄雾,散落在TBM刀盘周围,造成不寻常的环境,如所示图1。光学系统在这种环境下的图像采集过程带来了一些挑战,例如对比度降低、特征模糊和颜色失真。这些因素影响了在隧道中使用图像功能(包括目标检测)的基于视觉的应用程序的质量[1],三维重建[2]、和测量[]任务。
图像去噪已经引起了研究人员的极大关注,因此提出了几种解决该问题的方法。一般来说,这些方法分为两类:基于先验的和基于深度学习的。
基于先验的图像去噪方法利用统计知识和手工特征恢复无雾图像。大气散射模型(ASM)[4]是第一个提出的模型,通过分析和计算图像特征作为先验信息来估计传输图。暗通道优先(DCP)[5]通过局部块提取暗元素信息以确定传输图,但可能会在提取块的边缘产生估计错误,并在天空和白色弱纹理区域中产生光晕伪影。最近,一种改进的DCP算法[6]提出了基于偏振大气光的DCP算法,该算法能够更准确地评估全球环境光,提高了DCP算法的图像去噪能力。然而,该算法使用的偏振状态估计模型不适用于隧道施工中的非均匀霾,且去雾后的图像是暗的[7]该理论将雾线和边界正则化(BR)相结合,直接估计传输图,避免了图像阻塞,但在处理浓雾时可能会失效。基于Gamma校正先验(IDGCP)的图像去噪[8]使用gamma校正先验(GCP),基于全局策略优化场景反照率,并用更好的颜色和纹理细节恢复无阴影图像。图像去叠和曝光(IDE)[9]增加ASM中的光吸收系数以处理图像黑暗,但在非均匀雾霾环境中可能表现不佳。这些方法可能无法恢复受浓雾或非均匀雾影响的图像,计算成本高昂,并可能导致暗或低饱和度问题。
最近,深度学习方法在图像去噪方面表现出了突出的性能。DehazeNet公司[10]首次将卷积神经网络应用于dehaze图像,通过特征提取、多尺度映射、局部极值和非线性回归网络结构设计得到传输图,然后应用大气散射模型获得dehaze影像。Ren等人[11]考虑到不同尺度信息对去叠问题的影响,设计了多尺度CNN网络(MSCNN),该网络由粗尺度网络用于预测整体透射率图和细尺度网络用于局部细化结果组成,并获得了较好的去叠效果。DehazeNet公司[10]和MSCNN[11]采用集成学习的方法分别估计透射率图和大气光,容易造成误差积累,不能最大限度地减少重建损失,且其去噪效果有限。AOD-网络[12]意识到这一问题,因此改变了大气散射模型,将透射率t和大气光照值A合并为一个新的变量K,并建立了随输入雾霾图像变化的自适应深度模型。LD净值[13]基于AOD-Net体系结构和去噪模型,添加CVR模块对颜色直方图进行像素级平均和归一化,以减少图像去噪后的颜色失真问题。这些方法避免了在估计透射率之前进行人工设计所带来的误差,但在浓雾中的性能并不令人满意。本质上,基于大气光的图像退化模型无法准确描述复杂散射环境的成像机理。与使用大气散射模型的集成学习方法相比,基于端到端去噪方法设计的网络的输出不再是待去噪图像的传输图,而是输入图像到清晰图像的直接映射关系。金融流量账户净值[14]将通道注意与像素注意机制相结合,提出了一种端到端的特征融合注意网络,直接获取去模糊图像。网格DehazeNet[15]设计了一种基于信道注意机制的多尺度网格去噪网络。它使用残差密集块作为基本单元,可以更好地利用每个卷积层学习到的特征。上述方法在合成雾霾数据集上取得了较好的评价分数,但在面对非均匀浓雾图像时效果并不好,会出现局部雾霾残留和颜色失真等问题。
本文的主要贡献如下:
(1)
针对隧道环境中非均匀雾场的图像去噪问题,提出了一种基于传输学习的双分支生成对抗网络。
(2)
构建了一个烟雾场模拟试验台,再现了隧道粉尘和照明的分布,并在该试验台上生成了一个小样本烟雾图像数据集tunnel-haze。
(3)
在隧道模拟雾尘环境和脱雾条件下,对刀具模型进行了双目视觉立体匹配磨损测量,证明了所提出的脱雾网络在隧道雾尘环境中具有潜在的工程应用价值。
文章的其余部分组织如下:第2节介绍了网络的结构和创建数据集的过程。之后,第3节提供了有关实验验证的详细信息。最后,第4节是本文的总结。

2.方法

在这一节中,介绍了本文提出的双分支对流层去叠网络(ADN)和薄雾图像数据集Tunnel-haze的生成。首先,介绍了ADN的总体结构第2.1节.英寸第2.2节详细介绍了知识转移分支。多尺度密集残余分支随后解释为第2.3节中详细描述了该网络中使用的损失函数第2.4节.英寸第2.5节介绍了薄雾图像数据集Tunnel-haze的生成。

2.1. 概述

本文使用GAN的概念[16]在去噪过程中,去噪网络充当生成器,学习模糊图像中的雾度特征分布,并在真实清晰图像的监督下生成清晰图像。为了区分真假图像,将网络生成的恢复的清晰图像和真实的清晰图像输入到设计的鉴别器中。这会激励生成器不断改进其性能,从而产生始终更接近真实清晰图像分布的输出结果。鉴别器的结构与pix2pix中的类似[17],网络更深,最大通道数扩展到1024个。
双分支架构的设计允许使用来自同一输入的不同特征,然后使用适当的融合策略组合这些特征。这提高了图像去叠的性能,因为它允许来自两个分支的综合信息。图2说明了这一过程,其中haze图像通过两个子网络分支,即知识转移和多尺度密集残差子网络。然后通过通道连接将每个分支的结果特征映射连接起来。最后,通过后处理卷积层和tanh激活函数生成清晰的图像。
各分支机构的网络结构详细阐述如下。

2.2. 知识转移处

KTDN中的网络模型结构启发了知识分支转移框架[18]. 该框架由两部分组成:编码器和解码器。编码器用于提取图像特征,而解码器包括上采样层、注意模块和用于有效图像重建的细节增强模块。此外,在编码器和解码器之间添加了一个跳跃连接,通过保存和传输编码器提取的特征来简化重建过程。
Res2Net编码器。Res2Net公司[19]是ResNet的变体[20]在残差块中使用分组多尺度卷积的架构,这有助于获得细粒度特征。该体系结构已被证明能够为图像分类和对象检测等视觉任务提供卓越的结果。本文中的编码器使用Res2Net101网络结构的前四部分来提取雾霾图像特征。此外,还利用ImageNet上Res2Net101的预训练参数导入模型的训练结果。使用预训练参数可以加快模型的收敛速度,降低训练成本。
功能注意模块。网络结构融合了受SE Block启发的渠道注意力[21]加强渠道连接。这使得可以为每个卷积信道自适应分配资源权重,特别是用最大的信息量增强与危险相关的特征。为了解决雾或灰尘在图像像素上的非均匀分布,利用了像素注意力。这会为图像特征的每个像素生成不同的权重,使网络能够集中于纹理、颜色和雾度区域等有效信息。频道注意力和像素注意力相结合,形成注意力模块,如所示图3通道注意是一种机制,用于确定神经网络中各种通道特征映射的重要性。它通过为每个通道分配权重来实现这一点,以指示它们的重要性。与关注频道内的单个特征点不同,频道关注度将每个频道的特征图的相应权重相乘,以确定不同的关注度级别。像素注意机制通过使模型能够自动选择像素或重要区域来提高计算机视觉任务的性能。事实证明,它对于管理较大的图像或复杂场景特别有用,因为它有助于模型集中精力并提取关键信息。结合这两种注意机制可以提高网络的性能。
细节增强模块。解码雾霾图像后,将添加细节增强模块,如所示图4此模块是一个多尺度金字塔池块,它使用全局平均池层将要素图子采样为四种不同的尺度(1/4、1/8、1/16和1/32)。通过这样做,它可以学习不同的感受野,并更有效地恢复图像像素块的细节和纹理。然后,使用1×1卷积将不同尺度的特征图的多通道信息组合成单个通道。最后,将原始特征图和多尺度特征图连接起来,以集成上下文信息。

2.3. 多尺度致密残余分支

在上一节中,知识转移分支主要使用预训练权重提取低频基本特征。然而,大量的跳过连接会丢失大量重要信息,这对于恢复清晰图像的局部细节是必要的。仅仅依靠单个分支,在复杂、非均质的脱胶环境中处理脱胶问题非常困难。因此,并行添加了多尺度、稠密残差子网络。该部分提取的精细图像特征可以作为知识转移子网络的补充信息。因此,该网络可以在小规模数据集上提供增强的性能。
残差密集块(RDB)已被证明可以有效地生成分辨率提高的高质量图像[22]减少图像模糊[15]. RDB采用密集连接,允许每个卷积层接收前一层的输出作为附加输入,从而实现更好的特征提取和不同级别特征之间的更强连接。这为清晰图像重建提供了更多信息。密集连接后,将通道连接起来以自适应地保留特征。最后,加入残差连接,融合同一特征地图上的局部浅层信息和深层信息。这种方法提高了网络的深度,同时保持了便利性。请参阅图5以进行说明。
多尺度密集剩余支路是由三通道并联组成的网络。输入的雾度图像首先经过两个卷积层来提取其浅层特征,或者我们称之为学习输入。该过程的结果是降采样,形成三个较小的分支,以便学习不同的尺度特征。每个较小的分支都由五个多尺度致密残余块体组成,这些残余块体通过长期、连续的致密连接连接在一起。每个剩余致密块的输出特征图数量保持不变。随后在每个分支的末尾添加一个注意模块,以自适应地为输出特征图的特定像素区域和不同特征通道分配权重。下一步是利用从每个分支获得的结果,通过上采样和级联操作在不同级别上实现特征融合。这是通过使用Pixel Shuffle实现的,与传统的线性插值方法相比,Pixel Shuffle提供了更好的视觉效果。与通常使用池层的下采样不同,卷积层用于减少信息丢失。此外,在每个分支的末端和浅层输入之间包含一个全局剩余连接,以减少模型复杂性和过拟合。三个分支中剩余感测块的输入和输出信道均设置为32,卷积层配置为具有六层。

2.4. 损失函数

为了正确训练网络并将每个层的参数引导到正确的方向,我们设计了一个包含四个成分的损失函数,该函数有助于测量网络生成的脱氮图像与实际清晰图像之间的差异。损失函数[23]如下所示:
= 1 S公司 + α M(M) S公司 - S公司 S公司 M(M) + β 第页 e(电子) c(c) + γ d日 v(v)
哪里 α = 0.5 ; β = 0.01 ; γ = 0.005 是每个损失函数的超参数权重。 M(M) S公司 - S公司 S公司 M(M) 是多尺度结构相似性(MS-SSIM)损失; 第页 e(电子) c(c) 是感知损失; d日 v(v) 是对抗性的损失。
平滑L1损失。平滑L1损失[24]提供L1损失和L2损失的好处,从而提高强度和更快收敛。这有助于保持对网络生成的输出图像的亮度和颜色的良好影响。
1 S公司 = 1 N个 N个 S公司 1 ( t吨 (f) P(P) ( 小时 z(z) ) )
S公司 1 ( Z轴 ) = { 0.5 Z轴 2 如果 | Z轴 | < 1 | Z轴 | 0.5 o个 t吨 小时 e(电子)  
哪里 t吨 小时 z(z) 分别是真实的清晰图像和薄雾图像; (f) P(P) ( ) 是与设计的网络模型相对应的从输入到输出的映射函数;N个表示图像中的像素数。
多尺度结构相似性损失。为了根据人类视觉感知提高网络的去雾效果,我们实现了多尺度结构相似性(MS-SSIM)[25]网络训练中的功能丢失。该损失函数考虑了图像的分辨率,有助于更有效地保留高频细节。 X(X) Y(Y) 表示以像素为中心的两个通用大小的窗口 分别在去阴影图像和无阴影图像中。使用高斯滤波器 X(X) Y(Y) ,并计算得出的平均值 μ X(X) , μ Y(Y) ,标准偏差 σ X(X) , σ Y(Y) 和协方差 σ X(X) Y(Y) .像素的SSIM 定义为:
S公司 S公司 M(M) ( X(X) , Y(Y) ) = 2 μ X(X) μ Y(Y) + C类 1 μ X(X) 2 + μ Y(Y) 2 + C类 1 2 σ X(X) Y(Y) + C类 2 σ X(X) 2 + σ Y(Y) 2 + C类 2 = ( ) c(c) ( )
M(M) S公司 - S公司 S公司 M(M) ( ) = 1 M(M) α ( ) j个 = 1 M(M) [ c(c) j个 ( ) ] β j个
哪里( )表示亮度和反恐精英( )代表合同和结构措施,C类1,C类2是两个变量,用于稳定分母为弱的除法。
感知损失。与仅依赖像素损失相比,将感知损失用作广义结构化输出损失有可能提高模型的性能。通过结合这种方法,模型可以在训练时更有效地重建精细细节。这项特殊研究使用了VGG16网络模型,该模型在ImageNet上进行了预训练[26],作为损耗网络。为了计算感知损耗,使用该网络的L1损耗。
百分比 = 1 N个 1 C类 H(H) | ϕ ( (f) P(P) ( 小时 z(z) ) ) ϕ ( t吨 ) |
哪里 C类 ,   H(H) ,   -VGG16网络的第层,以及, ϕ ( ) 是激活 -第层。
对手损失。对手损失[27]帮助恢复具有更精细纹理的图像。其损失函数可描述为:
d日 v(v) = n个 = 1 N个 日志 ( (f) P(P) ( 小时 z(z) ) )
哪里 ( ) 是鉴别器的输出,表示网络输出的无模糊图像被视为真实清晰图像的概率。

2.5. 隧道-HAZE数据集的构建

用于深度学习的数据集通过记录场景对象的特征和散射介质的分布信息,在模型训练中起着至关重要的作用。图像去叠中最常用的数据集包括RESIDE[28]数据集,这是一个基于大气散射模型的合成烟雾数据集,以及O-haze[29]和NH-HAZE[30]数据集,是以室内和室外景观为特征的人工非均匀雾霾场景数据集。这些数据集以计算机生成的烟雾、真实场景中均匀分布的烟雾或烟雾发生器模拟的烟雾为特征。然而,它们可能无法充分反映人工光源、颜色差、对比度低以及隧道环境中灰尘分布不均匀的特点。
根据现场试验和研究,观察到在没有防尘措施的情况下,TBM隧道中的岩石粉尘浓度可以达到1000 mg/m[31],粉尘颗粒主要集中在1–10μm和50–127μm的间隔内,平均粒径为55μm[31]. 为了创建一个模拟隧道雾霾环境的数据集,我们使用隧道环境模拟实验平台开发了一个名为tunnel haze的小样本数据集(图6). 该数据集由10个不同的场景组成,这些场景具有不同的光和散射介质浓度,生成了98张雾霾图像和22张相应的清晰图像。其中一些图像如所示图7,其中模糊图像中的散射介质在场景中是非均匀分布的。
每个场景的制作都是在雾尘环境生成室中进行的。雾尘环境发生室的内壁贴上深色粗糙的牛皮纸来模拟隧道壁,并使用可调LED矿灯条来模拟隧道的真实场景照明条件。我们模拟了两种散射介质环境:灰尘和水雾。场景中的粉尘环境模拟是通过空气压缩机吹石英、砂岩和花岗岩粉末实现的,颗粒直径分别为18μm、38μm和45μm。水雾环境模拟由YWQ-180烟雾发生器实现,该烟雾发生器将水和酒精雾化成直径为1-2μm的悬浮颗粒。通过调节离心抽取风机,可以实现散射介质和场景之间的充分混合以及随后的清洁过程。我们使用佳能EOS70D单反相机和FCJ200光散射粉尘浓度测量仪同时记录了现场雾霾环境的过程。拍摄时间设置为3分钟,拍摄距离在0.8到1.2米之间。拍摄不同的朦胧场景时,相机参数设置为相同的水平。最后,截取视频,生成1440×1080像素的PNG格式场景图像;每个场景包含三个不同浓度的粉尘环境图像,如所示图8.

3.实验

在本节中,首先介绍了实现细节,包括数据集介绍、训练参数设置和实验环境。然后将该方法的性能与其他脱胶方法进行了定量和定性的比较。为了验证该方法的有效性,在模拟隧道中测量了圆盘刀具的磨损,验证了其工程应用价值。

3.1. 实施详细信息

在本文中,我们分别在合成数据集和实际数据集上训练和评估所提出的网络。使用来自RESIDE数据集的OTS子集和SOTS室外子集对合成数据集进行训练和测试。实际数据集包括NTIRE挑战中使用的数据集和上述生成的隧道环境模拟数据集tunnel-HAZE。NTIRE数据集使用2020年和2021年NH-HAZE数据集,共包含80对图片。共选择70对进行训练,5对进行验证,5对测试。在Tunnel-HAZE数据集中,80张雾度图像用于训练,10张用于验证,10张用作测试。
为了减少对GPU运行缓存的需求,提高训练速度,在训练过程中对训练集图像进行随机裁剪,得到256×256个图像块作为网络输入。由于Tunnel-HAZE数据集中的图像数量较少,我们使用数据增强方法将原始图像随机旋转90°、180°或270°,并将其水平和垂直翻转,以增加样本数量和多样性。在训练过程中,dehazing网络和鉴别器都采用Adam优化器,将β1和β2分别设置为0.9和0.999,eps设置为1×10−8,初始学习率lr为1×10−4.数据的批量大小为4,总训练历元设置为800,当历元达到200、400和600时,学习率lr减少0.5倍。此外,为了在网络训练的初始阶段保持数值稳定性,开明初始化[32]用于初始化鉴别器的学习参数。
在本文中,所有实验都是在NVIDIA 3090 24 G GPU上进行的,并使用PyTorch 1.7.1(Python 3.8)框架。

3.2. 结果对比分析

为了更直观、更具体地评估所提模型的性能,本节将ADN与RESIDE数据集、NH-HAZE 2020–2021联合数据集和Tunnel-HAZE数据集上相同方向的各种高级去叠算法进行了比较。这些算法是DCP[5],AOD净值[12]、FFA-Net[14]、GridDehazeNet[15]和DWGAN[18]. 本文建立了三种评价方法来评价不同去噪算法的去噪质量和效率,包括定性视觉效果比较、定量结果比较和推理时间比较。

3.2.1. 定性视觉效果比较

各种去模糊算法的定性视觉效果的比较主要基于人眼对去模糊图像与真实清晰图像相比的清晰度、颜色和亮度的感知。图9,图10图11描述了不同去噪算法在三个数据集上的测试结果。总的来说,实验方法在处理合成均匀霾图像时显示出明显的去噪效果。与四个端到端深度网络相比,DCP和AOD-Net等基于物理模型的去雾方法表现出超过真实清晰图像的去雾能力。然而,当处理NH-haze测试集中的真实非均匀雾度图像时,DCP和AOD-Net首先失败,只能有效地去除图像边缘的一些雾度。在Tunnel-haze测试集中,只有DWGAN和所提出的方法对非均匀雾度图像保持良好的去噪能力。
本文提出的去噪网络在三个测试集上取得了良好的视觉效果,尤其是在处理真实的非均匀霾图像时;它恢复了更重要的细节;对比度最接近真实清晰的图像。DCP算法的去雾图像亮度较暗,天空和白色弱纹理区域出现严重的颜色失真和伪影。它对非均匀雾图像无效,如所示图9图10(2b)。AOD-Net和DCP算法类似。GridDehazeNet和FFA具有相似的特性,对非均匀雾霾图像有一定的影响,但在恢复的清晰图像中丢失了大量的高频细节(石路缺乏纹理图10(3d,3e),并且存在明显的颜色投射和颜色失真问题(如所示图11d、 这两根柱子的颜色是黄色的图10(5d,5e)与地面真实图像不对应)。DWGAN网络的去噪效果仅次于本文提出的算法,但在年Tunnel-HAZE数据集上的测试结果中存在明显的噪声问题图11.
我们跟踪了DDAP中的实验[33]并对本文提出的方法进行了更多的测试。本文提出的去噪网络在实际隧道环境中拍摄的雾霾图像上进行了测试。我们不断在同一位置拍摄,以获得模糊图像和无模糊、清晰的图像。对于隧道中的前两张模糊图像,我们等待隧道中的通风和除雾系统清除烟雾,然后再拍摄清晰的图像。在接下来的两张人物照片中,由于他们处于一个相对狭窄的空间中,我们使用了特定的通风设备来消除环境中的烟雾并拍摄清晰的图像。与其他方法相比,去噪后的图像也显示出良好的效果。去叠后图像的颜色和对比度更接近真实、清晰的图像。DCP算法的去模糊图像整体较暗,尤其是当面对隧道环境中的照明条件时。墙壁和低亮度区域出现严重的黑暗效果,如所示图12(1b、2b)。当面对真实隧道环境的薄雾图像时,AOD-Net在墙上和黑暗区域有瑕疵,如所示图12(1c,2c)。GridDehazeNet在一些地区产生了模糊效果。FFA恢复的图像在隧道和地面上有大面积的暗块,图像的许多细节都丢失了,如所示图12(2e、3e)。DWGAN网络会产生大量噪音,并在墙壁和地面位置产生伪影,如所示图12(1f、2f、4f)。本文提出的方法具有更好的视觉效果,保留了图像的更多细节,并且产生的伪影更少。
本文提出的去噪方法在具有浓雾的真实图像上进行了测试。我们使用了BeDDE数据集和重量级区域的选定图像。BeDDE包含从中国23个省会城市收集的208对图像。对于每个城市,都提供了来自同一地点的一幅清晰图像和多幅模糊图像。在该步骤中,在40天的时间内,在每天8:00至9:00之间的时间收集固定地点的图像。这些收集在一年内同时在中国34个省会城市进行,并选择这些城市的代表性场景作为收集地点。从这些捕获的图像中选择清晰的图像。该方法在处理浓雾时显示出一些去噪效果,对比度最接近真实、清晰的图像。DCP算法会导致图像亮度变暗,并且在遇到重雾时显示不太明显的去雾效果。AOD-Net在去除浓雾时会丢失大量图像特征,如所示图13(2c、4c、5c)。GridDehaze在大雾天气下不完全脱毛,仅在附近雾霾较少的地区表现出脱毛效果。此方法模糊了原始图像特征,并在某些区域生成了一些白色斑块,如所示图13(1天、4天、5天)。FFA在解叠时会在天空区域引入一些伪影,如图13(e1、e4、e5)。此外,在脱毛过程中,它会在高层区域产生白斑,如图所示图13(e4、e5)。DWGAN在去模糊时会导致颜色失真,并在天空区域引入明显的瑕疵,某些区域会显示黑点,如所示图13(f2,f4)。

3.2.2. 定量结果比较

本文使用图像恢复中常用的客观指标,即峰值信噪比(PSNR)和结构相似性(SSIM),评估了不同的去叠算法[34]. PSNR的范围为0到40,SSIM的范围是0到1,值越高,表示脱氮图像和清晰图像之间的差异越小。统计结果如所示表1.本文方法在PSNR和SSIM上具有最佳值。在NH-HAZE数据集上超过第二名0.8 dB和0.031 dB,在Tunnel-HAZE数据集中超过4.07 dB和0.032 dB,这符合主观视觉效果的比较判断。对于合成数据集,本文网络的PSNR性能略低于FFA去噪网络。本文提出的方法在实际隧道环境中捕获模糊图像时优于其他方法。与第二位方法相比,它的PSNR值高2.92 dB,与第二名方法相比,SSIM值高0.017 dB。当面对具有严重烟雾的真实模糊图像时,与第二位方法相比,本文提出的方法获得了1.64 dB的高PSNR值,与第二位方法相比获得了0.063 dB的高SSIM值。

3.2.3. 推断时间比较

我们使用800×600像素的测试图像比较了不同算法在同一硬件上的运行时间,以定量评估其效率。此比较结果显示在表2.
与列出的其他算法相比,所提出的算法具有最大的参数规模,但在单图像运行速度方面仅优于FFA-Net。该算法有两个分支,分支一参数占最终方法的93.9%,分支二参数占整个算法的83.2%,尽管其参数比例较低。RDB块中的密集连接产生了高计算消耗,导致每个映像的运行时间更长。总的来说,该算法以一定的运行效率为代价来提高网络性能。单幅图像运行时间为0.147秒,在可接受范围内。

3.3. 烧蚀研究

本节分析和评估了两种分支结构(即转移学习和对抗学习模块)在拟议网络模型训练中的重要性。本研究比较了四种模型在Tunnel-HAZE数据集上的训练结果:单一知识转移分支模型、未导入预训练模型参数的单一知识转移分枝模型、未引入对抗模块的网络模型以及最终的完整网络模型。比较是横向进行的。
根据的比较结果图14表3可以看出,与使用开明初始化的分支I相比,ImageNet中具有预训练参数的分支I在去雾图像的质量上有了显著的提高,PSNR和SSIM也得到了相应的提高。将双分支网络与单分支网络的结果进行比较,可以发现双分支网络结构对雾度图局部细节的恢复和清晰度有更好的效果,这也反映在评价指标中,说明了双分支网络结构的优越性。最后,通过比较第3(d)列和第3(e)列中的局部放大图像,证明了GAN双分支网络恢复的图像具有更清晰的边缘轮廓和颜色保真度。

3.4. 刀具磨损测量

在实验中,选择了一个17英寸的圆盘切割器作为测量对象,并按1:2的比例设计了切割器模型。为了模拟实际条件下刀环的不同磨损程度,测量包括在刀体上组装不同外径的刀环。刀环由金属材料制成,整个刀具模型通过3D打印生成。刀具模型的三维模型和物理对象如所示图15.
完成刀具模型后,按照中所述的相同方式构建视觉拍摄、图像处理和环境模拟系统第2.5节利用所提出的双支路对抗性去噪网络对切割机的雾霾图像进行去噪。该模型基于Tunnel-HAZE数据集进行训练。烟雾的质量浓度测量值为936 mg/m表明其属于浓雾类。脱胶过程的结果如所示图16经过去杂处理后,在原始图像中捕捉到的刀具表面的模糊轮廓特征得到了清晰的恢复。此外,切割机后面出现的一些模糊物体也部分恢复。
训练有素的RAFT-Stereo[35]在立体校正后,向刀具图像对馈送以生成视差图。然后,利用视差图、重投影矩阵和左摄像机的校正图像作为掩模,重建刀具的三维点云。图17显示了三种不同环境下刀环外缘磨损的点云测量结果(6mm)。将两个测量工具环拟合的最小二乘圆柱表面之间的半径差作为测量值。测量的平均值以及与实际值的比较如所示表4.
刀环的真实磨损量由其半径的差异决定,如所示表4当实际磨损量为6 mm时,在无雾环境下进行测量,得出平均值6.127 mm,标准偏差1.059 mm,与真实值相比,相对误差为2.1%。在多雾、多尘的环境中,点云的平均测量值为6.589mm,标准偏差为1.598mm,相对误差为9.8%。应用本文设计的去噪网络后,点云的平均测量值为6.305mm,标准偏差为1.091mm,相对误差为4.9%。当实际磨损量为8 mm时,在无雾环境下进行测量,得出平均值8.145 mm,标准偏差为1.075 mm,与真实值相比,相对误差为1.8%。在雾多尘的环境中,点云的平均测量值为8.730毫米,标准偏差为1.617毫米,相对误差为9.1%。应用去噪网络后,点云的平均测量值为8.361mm,标准偏差为1.112mm,相对误差为4.5%。总体而言,在无烟环境下,点云测量精度为98.0%,表明双目视觉测量方法具有较高的可靠性。除杂过程将平均相对误差降低4.7%,平均标准偏差降低0.507mm,从而提高了测量精度。这一改进表明,重建点云的表面平整度得到了改善。解叠过程有效地恢复了一些模糊和损坏的图像特征,有助于提高三维重建点云的质量。

4.结论

本文介绍了一种解决隧道非均匀散射环境下图像去噪问题的新方法。该方法是一种基于GAN的双分支去噪网络。它使用知识转移分支和多尺度密集残差分支并行地恢复隧道环境中的雾度图。此外,还制作了一个名为Tunnel-HAZE的数据集来支持隧道场景去叠。将结果与现有方法进行比较,发现所提出的去雾网络在该应用中更有效,并且可以提高隧道视觉系统的鲁棒性。
由于缺少有关对象的可识别数据,该算法无法实现恢复完全被浓雾笼罩的图像的最佳结果。未来的研究方向将主要集中在满足实时去噪的要求和提高算法的效率。

作者贡献

概念化,J.H。;方法论,Z.S。;软件,Z.S。;验证,Z.S.和Z.M。;形式分析,F.Y。;调查,Z.W。;资源,Z.M。;数据管理,F.Y.和Z.W。;书面原稿编制,Z.S。;写作-审查和编辑,Z.S.和Z.M。;可视化,F.Y。;监管,J.H。;项目管理,J.H。;资金收购,J.H.所有作者都阅读并同意手稿的出版版本。

基金

本研究由国家自然科学基金资助,批准号52275236;辽宁省“揭牌引领”重大科技专项,批准号2022JH1/10400031。

机构审查委员会声明

不适用。

知情同意书

不适用。

数据可用性声明

根据作者的合理要求,可以获得支持本研究结果的数据。

利益冲突

作者声明没有利益冲突。

工具书类

  1. 陈,Z。;王,X。;风扇,T。;Xu,L.Color–用于烟雾中目标检测的深度多任务学习。神经计算。申请。 2020,32, 6591–6599. [谷歌学者] [交叉参考]
  2. 张杰。;齐,X。;Hlaing Myint,S。;Wen,Z.深度学习-增强物联网智能城市中去黑化图像的3D重建。计算。马特。Contin公司。 2021,68, 2807–2824. [谷歌学者] [交叉参考]
  3. Wang,J。;马,H。;Li,B.基于双目视觉的工件三维尺寸测量。《智能机器人与应用学报》,ICIRA 2019,中国沈阳,2019年8月8-11日;施普林格国际出版社:瑞士商会,2019;第392-404页。[谷歌学者]
  4. Narasimhan,S.G.公司。;Nayar,S.K.Vision和Atmosphere。国际期刊计算。视觉。 2002,48, 233–254. [谷歌学者] [交叉参考]
  5. He,K。;Sun,J。;Tang,X.使用暗通道优先去除单图像模糊。IEEE传输。模式分析。机器。智力。 2011,33, 2341–2353. [谷歌学者] [交叉参考] [公共医学]
  6. 刘,S。;李毅。;李,H。;王,B。;Wu,Y。;Zhang,Z.利用偏振大气光估计进行视觉图像去噪。应用。科学。 2023,13, 10909. [谷歌学者] [交叉参考]
  7. 伯曼,D。;Treibitz,T。;Avidan,S.使用Haze-Lines进行单幅图像去噪。IEEE传输。模式分析。机器。智力。 2020,42, 720–734. [谷歌学者] [交叉参考] [公共医学]
  8. Ju,M。;丁,C。;郭义杰。;Zhang,D.IDGCP:基于Gamma校正先验的图像去噪。IEEE传输。图像处理。 2020,29, 3104–3118. [谷歌学者] [交叉参考] [公共医学]
  9. Ju,M。;丁,C。;Ren,W。;Yang,Y。;张,D。;Guo,Y.J.IDE:使用增强大气散射模型进行图像去叠和曝光。IEEE传输。图像处理。 2021,30, 2180–2192. [谷歌学者] [交叉参考] [公共医学]
  10. 蔡,B。;Xu,X。;贾凯。;清,C。;Tao,D.DehazeNet:单图像去雾的端到端系统。IEEE传输。图像处理。 2016,25, 5187–5198. [谷歌学者] [交叉参考] [公共医学]
  11. Ren,W。;刘,S。;张,H。;潘,J。;曹,X。;Yang,M.-H.基于多尺度卷积神经网络的单图像去噪。2016年10月11日至14日,荷兰阿姆斯特丹,《2016年计算机视觉会议录》;施普林格:瑞士查姆,2016年;第154-169页。[谷歌学者]
  12. 李,B。;彭,X。;王,Z。;徐,J。;Feng,D.AOD-Net:All-in-One Dehazing Network.2017年IEEE国际计算机视觉会议(ICCV)论文集,意大利威尼斯,2017年10月22日至29日;第4780–4788页。[谷歌学者]
  13. 乌拉,H。;穆罕默德,K。;Irfan,M。;Anwar,S。;萨贾德,M。;艾姆兰,A.S。;de Albuquerque,V.H.C.Light-DehazeNet:一种用于单一图像去噪的新型轻量级CNN架构。IEEE传输。图像处理。 2021,30, 8968–8982. [谷歌学者] [交叉参考] [公共医学]
  14. 秦,X。;王,Z。;白,Y。;谢,X。;Jia,H.FFA-Net:用于单一图像去噪的特征融合注意网络。AAAI公司 2020,34, 11908–11915. [谷歌学者] [交叉参考]
  15. 刘,X。;马云(Ma,Y.)。;Shi,Z。;Chen,J.GridDehazeNet:基于注意力的图像去噪多尺度网络。2019年IEEE/CVF国际计算机视觉会议(ICCV)会议记录,2019年10月27日至11月2日,韩国首尔;第7313–7322页。[谷歌学者]
  16. 古德费罗,I。;Pouget-Abadie,J。;米尔扎,M。;徐,B。;Warde-Farley,D。;Ozair,S。;科尔维尔,A。;Bengio,Y.生成性对抗网络。Commun公司。ACM公司 2020,63, 139–144. [谷歌学者] [交叉参考]
  17. 伊索拉,P。;朱建勇。;周,T。;Efros,A.A.使用条件对抗网络进行图像到图像的翻译。2017年7月21日至26日在美国夏威夷州火奴鲁鲁举行的2017 IEEE计算机视觉和模式识别会议(CVPR)会议记录;第5967–5976页。[谷歌学者]
  18. Wu,H。;刘杰。;谢毅。;曲,Y。;Ma,L.非齐次去叠的知识转移去叠网络。2020年IEEE/CVF计算机视觉和模式识别研讨会会议记录,美国华盛顿州西雅图,2020年6月14日至19日;第1975-1983页。[谷歌学者]
  19. 高,S.-H。;郑,M.-M。;Zhao,K。;张晓云。;杨,M.-H。;Torr,P.Res2Net:一种新的多尺度主干架构。IEEE传输。模式分析。机器。智力。 2021,43, 652–662. [谷歌学者] [交叉参考] [公共医学]
  20. He,K。;张,X。;任,S。;Sun,J.图像识别的深度剩余学习。2016年6月27日至30日在美国内华达州拉斯维加斯举行的2016 IEEE计算机视觉和模式识别会议(CVPR)会议记录;第770-778页。[谷歌学者]
  21. 胡,J。;沈,L。;Sun,G.挤压和励磁网络。2018年IEEE/CVF计算机视觉和模式识别会议记录,美国犹他州盐湖城,2018年6月18日至23日;第7132-7141页。[谷歌学者]
  22. Zhang,Y。;田,Y。;孔,Y。;钟,B。;Fu,Y.图像超分辨率的剩余稠密网络。2018年IEEE/CVF计算机视觉和模式识别会议记录,美国犹他州盐湖城,2018年6月18日至23日;第2472-2481页。[谷歌学者]
  23. 傅,M。;刘,H。;Yu,Y。;陈,J。;Wang,K.DW-GAN:非均匀去叠的离散小波变换GAN。2021年6月19日至25日,美国田纳西州纳什维尔,2021年IEEE/CFF计算机视觉和模式识别研讨会会议记录;第203-212页。[谷歌学者]
  24. 李,F。;Di,X。;赵,C。;郑毅。;Wu,S.FA-GAN:一个具有非均匀脱氮融合鉴别器的特征注意GAN。SIViP公司 2022,16, 1243–1251. [谷歌学者] [交叉参考]
  25. A.阿里。;Ghosh,A。;Chaudhuri,S.S.LIDN:一种新型的光不变图像去噪网络。工程应用。Artif公司。智力。 2023,126, 106830. [谷歌学者] [交叉参考]
  26. 邓,J。;Dong,W。;Socher,R。;李立杰。;李凯。;Fei-Fei,L.ImageNet:一个大尺度层次图像数据库。2009年IEEE计算机视觉和模式识别会议论文集,2009年6月20日至25日,美国佛罗里达州迈阿密;第248-255页。[谷歌学者]
  27. 周,W。;杨,X。;左,C。;Wang,Y。;Peng,B.Dense-HR-GAN:用于结冰风洞环境中图像去噪的高分辨率GAN模型。应用。科学。 2023,13, 5171. [谷歌学者] [交叉参考]
  28. 李,B。;Ren,W。;傅,D。;陶,D。;冯,D。;曾伟。;Wang,Z.标杆单幅图像去噪及其他。IEEE传输。图像处理。 2019,28, 492–505. [谷歌学者] [交叉参考] [公共医学]
  29. Ancuti,首席执行官。;安库蒂,C。;蒂莫夫特,R。;De Vleeschouwer,C.O-HAZE:真实朦胧和无朦胧户外图像的Dehazing基准。2018年6月18日至22日在美国犹他州盐湖城举行的2018 IEEE/CVF计算机视觉和模式识别研讨会(CVPRW)会议记录;第867-875页。[谷歌学者]
  30. Ancuti,首席执行官。;安库蒂,C。;Timofte,R.NH-HAZE:非均匀模糊和无模糊图像的图像去噪基准。2020年IEEE/CVF计算机视觉和模式识别研讨会会议记录,美国华盛顿州西雅图,2020年6月14日至19日;第1798-1805页。[谷歌学者]
  31. 郭杰。;李,A。;王,T。;高,R。;Wu,D。;Yin,Y。;李,J。;Hu,J.隧道施工期间扬尘二次污染和最佳通风速度的参数化建模研究。环境。波卢特。 2023,335, 122239. [谷歌学者] [交叉参考] [公共医学]
  32. He,K。;张,X。;任,S。;Sun,J.深入研究整流器:在ImageNet分类方面超越人类水平的表现。2015年IEEE国际计算机视觉会议(ICCV)会议记录,智利圣地亚哥,2015年12月7-13日;第1026–1034页。[谷歌学者]
  33. 李,Z。;Shu,H。;Zheng,C.使用拉普拉斯金字塔和高斯金字塔的多尺度单图像去噪。IEEE传输。图像处理。 2021,30, 9270–9279. [谷歌学者] [交叉参考] [公共医学]
  34. 王,Z。;波维克,A.C。;谢赫,H.R。;Simoncelli,E.P.图像质量评估:从错误可见性到结构相似性。IEEE传输。图像处理。 2004,13, 600–612. [谷歌学者] [交叉参考] [公共医学]
  35. Lipson,L。;三通,Z。;Deng,J.RAFT立体声:用于立体声匹配的多级递归场变换。2021年12月1日至3日在英国伦敦举行的2021年国际3D视觉会议(3DV)会议记录;第218-227页。[谷歌学者]
图1。隧道环境。
图1。隧道环境。
传感器23 09245 g001
图2。所提方法的网络结构。
图2。所提方法的网络结构。
传感器23 09245 g002
图3。注意模块。()特征注意模块(FAM);(b条)频道注意块(CA);(c(c))像素注意块(PA)。
图3。注意模块。()特征注意模块(FAM);(b条)频道注意块(CA);(c(c))像素注意块(PA)。
传感器23 09245 g003
图4。增强模块。
图4。增强型模块。
传感器23 09245 g004
图5。残留物致密块状。
图5。残留物致密块状。
传感器23 09245 g005
图6。隧道雾尘环境模拟实验平台。
图6。隧道雾尘环境模拟实验平台。
传感器23 09245 g006
图7。Tunnel-HAZE数据集图像。()地面实况图像;(b条)模糊图像。
图7。Tunnel-HAZE数据集图像。()地面实况图像;(b条)模糊图像。
传感器23 09245 g007
图8。不同粉尘浓度的图像。()基本事实;(b条)轻尘;(c(c))中等粉尘;(d日)灰尘很大。
图8。不同粉尘浓度的图像。()基本事实;(b条)轻尘;(c(c))中等粉尘;(d日)灰尘很大。
传感器23 09245 g008
图9。对SOTS数据集上通过各种方法获得的定性结果进行可视化比较。()朦胧图像;(b条)DCP;(c(c))AOD-Net;(d日)GridDehaze;(e(电子))FFA;((f))DWGAN;()ADN(我们的);(小时)无阴影地面真实图像。
图9。对SOTS数据集上通过各种方法获得的定性结果进行可视化比较。()朦胧图像;(b条)DCP;(c(c))AOD-Net;(d日)GridDehaze;(e(电子))FFA;((f))DWGAN;()ADN(我们的);(小时)无阴影地面真实图像。
传感器23 09245 g009
图10。对NH-HAZE数据集上通过各种方法获得的定性结果进行目视比较。()朦胧图像;(b条)DCP;(c(c))AOD-Net;(d日)GridDehaze;(e(电子))FFA;((f))DWGAN;()ADN(我们的);(小时)无阴影地面真实图像。
图10。对NH-HAZE数据集上通过各种方法获得的定性结果进行目视比较。()朦胧图像;(b条)DCP;(c(c))AOD-Net;(d日)GridDehaze;(e(电子))FFA;((f))DWGAN;()ADN(我们的);(小时)无阴影地面真实图像。
传感器23 09245 g010
图11。对Tunnel-HAZE数据集上通过各种方法获得的定性结果进行目视比较。()朦胧图像;(b条)DCP;(c(c))AOD-Net;(d日)GridDehaze;(e(电子))FFA;((f))DWGAN;()ADN(我们的);(小时)无阴影地面真实图像。
图11。对Tunnel-HAZE数据集上通过各种方法获得的定性结果进行目视比较。()朦胧图像;(b条)DCP;(c(c))AOD-Net;(d日)GridDehaze;(e(电子))FFA;((f))DWGAN;()ADN(我们的);(小时)无阴影地面真实图像。
传感器23 09245 g011
图12。在真实隧道环境中通过单独方法获得的定性结果的视觉比较。()朦胧图像;(b条)DCP;(c(c))AOD-Net;(d日)GridDehaze;(e(电子))FFA;((f))DWGAN;()ADN(我们的);(小时)无阴影地面真实图像。
图12。在实际隧道环境中,对通过各种方法获得的定性结果进行目视比较。()朦胧图像;(b条)DCP;(c(c))AOD-Net;(d日)网格Dehaze;(e(电子))FFA;((f))DWGAN;()ADN(我们的);(小时)无阴影地面真实图像。
传感器23 09245 g012
图13。目视比较通过各种方法在浓雾图像上获得的定性结果。()朦胧图像;(b条)DCP;(c(c))AOD网络;(d日)GridDehaze;(e(电子))FFA;((f))DWGAN;()ADN(我们的);(小时)无阴影地面真实图像。
图13。目视比较通过各种方法在浓雾图像上获得的定性结果。()朦胧图像;(b条)DCP;(c(c))AOD网络;(d日)GridDehaze;(e(电子))FFA;((f))DWGAN;()ADN(我们的);(小时)无阴影地面真实图像。
传感器23 09245 g013
图14。烧蚀实验结果。()朦胧图像;(b条)第一分部;(c(c))培训前分支机构一;(d日)无GAN的双分支;(e(电子))AND(我们的);((f))无阴影地面真实图像。
图14。烧蚀实验结果。()朦胧图像;(b条)第一分部;(c(c))培训前分支机构一;(d日)无GAN的双分支;(e(电子))AND(我们的);((f))无阴影地面真实图像。
传感器23 09245 g014
图15。刀具型号。()三维模型;(b条)实物。
图15。刀具型号。()三维模型;(b条)物理对象。
传感器23 09245 g015
图16。刀具图像。()切割机烟雾图像;(b条)刀具脱胶图像。
图16。刀具图像。()切割机烟雾图像;(b条)刀具脱胶图像。
传感器23 09245 g016
图17。切割点云6 mm磨损测量。()磨损测量的清晰图像;(b条)磨损测量的模糊图像;(c(c))磨损测量的去杂图像。
图17。切割点云6 mm磨损测量。()磨损测量的清晰图像;(b条)磨损测量的模糊图像;(c(c))磨损测量的去杂图像。
传感器23 09245 g017
表1。脱胶效果评价指标。
表1。脱胶效果评价指标。
住宅-OTSNH-HAZE公司HAZE隧道真实隧道环境浓雾图像
峰值信噪比SSIM公司峰值信噪比SSIM公司峰值信噪比SSIM公司峰值信噪比SSIM公司峰值信噪比SSIM公司
DCP公司16.930.82311.560.59216.410.68512.930.38711.940.510
AOD-网络19.990.81813.030.62219.380.78314.500.34216.710.714
网格Dehaze28.490.93216.350.67422.400.84112.140.31913.960.761
金融流量账户30.560.93317.520.77222.120.81313.250.41912.640.651
DWGAN公司28.040.94020.170.79026.180.88513.110.50615.820.729
ADN(我们的)28.940.95220.970.82130.250.91716.030.52317.460.792
表2。运行时间比较。
表2。运行时比较。
AOD-网络金融流量账户净值网格DehazeDWGAN公司ADN(我们的)分支机构I二级分行
推断时间0.017秒0.378秒0.078秒0.095秒0.147秒
模型参数6345440万200万5150万5250万4930万320万
浮点数(×109)32100360250890160740
表3。不同模型结构对性能的影响。
表3。不同模型结构对性能的影响。
培训前鉴别器峰值信噪比SSIM公司
分支机构I22.450.788
分支机构I28.280.886
双分支28.360.905
双分支30.250.917
表4。刀点云磨损测量结果。
表4。刀点云磨损测量结果。
点云真实磨损/mm测量平均值/mm标准偏差/mm相对误差总体平均误差
清晰的图像66.1271.0592.1%2.0%
88.1451.0751.8%
薄雾图像66.5891.5989.8%9.5%
88.7301.6179.1%
去杂图像66.2951.0914.9%4.7%
88.3611.1124.5%
免责声明/出版商注释:所有出版物中包含的声明、意见和数据仅为个人作者和贡献者的声明、观点和数据,而非MDPI和/或编辑的声明、看法和数据。MDPI和/或编辑对内容中提及的任何想法、方法、说明或产品造成的任何人员或财产伤害不承担任何责任。

分享和引用

MDPI和ACS样式

施,Z。;霍,J。;孟,Z。;杨,F。;王,Z。隧道施工中非均质Dehazing的对抗性双分支网络。传感器 2023,23, 9245.https://doi.org/10.3390/s23229245

AMA风格

史Z,霍J,孟Z,杨F,王Z。隧道施工中非均匀脱层的对抗性双分支网络。传感器. 2023; 23(22):9245.https://doi.org/10.3390/s23229245

芝加哥/图拉宾风格

石、子路、霍俊洲、孟志超、范阳和王泽江。2023.“隧道施工中非均质脱层的对抗性双分支网络”传感器23,22号:9245。https://doi.org/10.3390/s23229245

请注意,从2016年第一期开始,该杂志使用文章编号而不是页码。请参阅更多详细信息在这里.

文章指标

返回页首顶部