期刊上的下一篇文章
智能工厂气体废物监测的开源IIoT解决方案
期刊上的上一篇文章
无线视网膜修复系统的双向通信数字电源控制器
 
 
订购文章重印
字体类型:
宋体 佐治亚州 宋体,Verdana
字体大小:
Aa公司 Aa公司 Aa公司
行距:
列宽:
背景:
第条

一种新的红外图像条纹噪声去除模型

1
中国科学院长春光机物理研究所,长春130033
2
中国科学院大学,北京100049
*
信件应寄给的作者。
传感器 2022,22(8), 2971;https://doi.org/10.3390/s22082971
收到的提交文件:2022年3月12日/修订日期:2022年4月2日/接受日期:2022年4月11日/发布日期:2022年4月13日
(本条属于本节传感和成像)

摘要

:
由于红外探测器和读出电路的不均匀性,红外图像往往带有明显的条纹噪声。这些条纹噪声极大地影响了图像质量,给后续图像处理增加了困难。与现有的红外条纹噪声消除算法相比,该方法充分利用了条纹噪声分量与实际信息分量之间的差异,将条纹方向上的梯度稀疏性和条纹噪声的全局稀疏性作为正则项,并将组件在条纹方向上的稀疏性视为保真度项。在此基础上,提出了一种基于边缘对比度的自适应边缘保持算子(AEPO)来保护图像边缘,从而防止边缘细节的丢失。最终解由交替方向乘数法(ADMM)求得。为了验证该方法的有效性,我们进行了许多实际实验,从主观判断和客观指标两个方面将其与现有方法进行了比较。实验结果证明了该方法的优越性。

1.简介

红外探测器的读出电路高度不一致。探测器的非均匀性通常在图像中表现为条纹噪声,这直接影响成像质量,甚至会阻碍后续图像处理[1,2,]即图像分类、目标检测和目标识别。因此,研究如何在保留图像细节的同时去除条纹噪声是非常重要的。本文的目的是从目标红外图像中分离出条纹噪声分量,并获得保留图像细节的信息分量。
近年来,许多学者致力于去除图像中的条纹噪声,并提出了各种方法,如频域滤波、小波变换、统计匹配和全变分法。
1987年,Quarmby根据条纹噪声与目标信息在频域中的频率差,采用空间频域滤波器去除条纹噪声[4]. 很快,引入了小波变换来消除条纹噪声[5,6,7]. 例如,一种对比方法是多尺度引导滤波器(MSGF)[8]. 通过小波变换,在去除条纹噪声之前,将目标图像分为高频和低频分量,这是由于小波变换能够描述信号的局部频率分量。然而,条带噪声的频域滤波有两个局限性:首先,该策略不能轻易区分条带噪声和目标信息,除非条带噪声是高度规则的。其次,当目标信息相对复杂时,该策略可以去除边缘和纹理信息。因此,原始信息可能会丢失,甚至可能会出现瑕疵。
另一种流行的去除条纹噪声的方法是统计匹配,这在工程中经常使用。该方法最初应用于MOS-B的海洋数据,假设海面上每个像素的响应应输出相等的电平[9]. 在此假设下,获得了每个像素的输出特征,包括增益系数和偏置系数。然后,根据这些参数进行校正,得到去噪后的目标图像。后来,一些学者将局部常数统计约束与神经网络相结合[10],或与梯度均衡(WAGE)相耦合的小波变换[11],以消除条纹噪音。前者将每行像素视为具有相同的标准偏差和平均值,并将这些值作为局部通道统计的中值,从而校正图像非均匀性引起的条纹噪声。后者将条纹噪声分量集中在小波变换的每个垂直分量中,并通过列均衡去除条纹噪声。然而,当条纹噪声分布不均匀时,这种方法没有考虑强边缘信息,不能有效地去除噪声。
最近,出现了一类基于总变差最小化的流行方法。这一类中最早的方法是由Antonin Chambolle于2004年提出的。这些方法构造一个代价函数来导出表示理想图像特征的最小化方程,并通过梯度下降法求解使方程最小化的理想图像[12]. 然后,一些学者采用原始图像和去噪图像之间差异的L1形式作为代价函数[13]优化去噪。一些学者将上述三种方法结合起来去除噪声,提出了带噪声的全变分耦合导引滤波器(TVGF)。首先,采用频域滤波方法提取高频条纹噪声分量。其次,采用全变分模型实现梯度均衡,消除强干扰噪声。最后,以平滑图像为指导消除条纹噪声[14].
现有的红外图像条纹噪声去除方法大多侧重于图像的去噪程度,但很少考虑条纹噪声的结构特征,更不用说图像边缘与条纹噪声的区别了。因此,目前许多红外图像条纹噪声去除算法要么去噪能力不足(去噪后的图像仍有残余噪声),要么去噪性能过强(去噪图像丢失信息)。在以往的研究中,红外图像中的条纹噪声被视为固定模式噪声,即加性噪声。换句话说,假设原始图像包含两种成分:噪声和信息[15,16,17]. 去噪问题可以看作是从原始图像中提取噪声分量,即噪声分量的估计。针对以上问题,本文尝试将红外条纹噪声的先验信息与边缘提取相结合,以提高去噪效果,同时保留边缘信息。
本文采用通常用作误差函数的L1-模来表示红外图像的条纹噪声特征。由于其条纹特性,噪声分量在结构和方向上明显不同于信息分量。在研究了噪声分量的方向性和交叉性之后,提出了一种新的基于优化的红外图像条纹噪声去除模型,该模型能够自适应地保留边缘。此外,利用交替方向乘法器法(ADMM)求解模型[18,19]. 建议的方法具有以下优点:
1.利用条纹噪声独特的方向性、交叉性和结构特性,构建了一个凸优化模型。该模型充分利用了条纹噪声类的先验信息和实际信息分量,提高了噪声分离效果。
2.基于条纹噪声的全局稀疏性和梯度稀疏性,本文采用L1-矩阵来约束条纹噪声的总体稀疏性和沿条纹方向的梯度稀疏性。这有助于解决最佳结果。
3.提出了一种自适应边缘保持算子(AEPO),保证了优化过程中边缘不会被过度平滑或扭曲。

2.前期工作

条纹噪声在方向性和结构上与其他噪声不同。根据这些独特的性质,本节重点设计正则项来去除红外图像中的噪声。

2.1. 条纹噪声模型

在红外图像去噪领域,条纹噪声被广泛认为是具有较强结构性和方向性的加性噪声。基于优化的去噪方法强调根据条纹噪声或目标图像的特性设计适当的正则项。
第一步是用数学方法描述原始图像与条纹噪声分量和信息分量的相关性:
( , j个 ) = D类 ( , j个 ) + N个 ( , j个 )
哪里 ( , j个 ) , D类 ( , j个 ) 、和 N个 ( , j个 ) 是红外探测器输出的原始图像,[d=Li.]无噪图像的信息分量去除条纹噪声后的信息分量,以及像素处的条纹噪声分量 ( , j个 ) 分别是。由于我们的策略考虑了整个图像(1)可以重写为矩阵:
= D类 + N个
哪里, , D类 、和 N个 是的离散向量 ( , j个 ) , D类 ( , j个 ) 、和 N个 ( , j个 ) 分别是。从条纹噪声的特性开始 N个 提出了一种基于优化的条纹噪声去噪方法。该方法可以从原始图像中去除条纹噪声,并尽可能地保留图像中的有效信息。图1说明了该方法的过程。

2.2. 条纹噪声的特性

为了改进红外图像中条纹噪声的去噪,必须充分理解该主题的所有先验知识,并用相应的正则项约束这些噪声的特征。图2图3显示条纹噪声的一些特性。可以看出,条纹噪声分量比原始图像中的信息分量更有方向性和结构规则性。
(1) 方向性
图2显示了原始图像中条纹噪声分量和信息分量之间的特性差异。比较图2d带有图2f、 很明显,条纹噪声分量的垂直梯度要比信息分量平滑得多。比较图2e带有图2g、 很明显,条纹噪声分量的水平梯度不如信息分量的平滑。此外,条纹噪声的梯度域在垂直方向上是稀疏的。为了区分条纹噪声分量和信息分量,需要将稀疏性约束到垂直梯度场中。L0-范数是描述稀疏性的最佳工具[20,21]. 因此,可以将以下定期公式建立为:
P(P) 1 ( N个 ) = d日 N个 0
哪里 d日 是垂直方向的卷积梯度算子。由于L0-范数不是非凸的,因此该项稀疏地用非凸L1-范数代替L0-范表示[22,23]. 因此,我们将此常规术语表示为:
P(P) 1 ( N个 ) = d日 N个 1
这种基于优化的方法通常使用原始图像和噪声分量之间的平方根误差(RMSE)或平方误差作为保真度项[24],使图像不会因过度去噪而失真。保真度术语可以表示为:
P(P) 2 ( N个 ) = N个 2 2
或者:
P(P) 2 ( N个 ) = 2 N个 2 1 / 2
N个 本质上是信息组件 D类 上述保真度术语均不具有信息组件的属性 D类 或噪声成分 N个 考虑到。如所示图2在原始图像的水平梯度域和条纹噪声分量中存在明显的条纹。同时,信息分量的水平梯度域相对平滑。因此,这被用作保真度术语。换句话说,信息分量的水平梯度被描述为原始图像和噪声分量之间水平梯度差的L1形式:
P(P) 2 ( N个 ) = d日 x个 d日 x个 N个 1
哪里 d日 x个 是水平方向上的卷积梯度算子。此外,图3b表明,L1-norm中每行信息组件的L1-norms占原始图像水平梯度的一小部分。因此,这个正则项可以确保水平方向上的平滑度。然而,在优化过程中,垂直边缘可能被过度平滑,导致边缘信息的丢失。为了防止这个问题,图像边缘被预先识别,边缘像素被分配了一个小权重算子,非边缘像素被指定了一个大权重算子。那么,公式(7)可以修改为:
P(P) 2 ( N个 ) = Ω e(电子) d日 e(电子) d日 x个 d日 x个 N个 1
哪里 Ω 边缘 为原始图像中的边缘像素指定不同的权重:
Ω 边缘 ( , j个 ) = α , 如果 ( , j个 ) 边缘 像素 1 , 其他的
哪里 α 是一个常量。此外,获取 α 在公式中引入(34).
(2) 结构化
如所示图2c、 红外图像中的条纹噪声存在于柱状结构中。无条纹区域中的像素等于零。因此,条纹噪声分量可以视为稀疏矩阵,由L0-范数表示:
P(P) ( N个 ) = N个 0
类似于中描述的垂直梯度域中的稀疏矩阵第2.1节,L0-范数不是非凸的。因此,正则项可以用非凸L1-形式表示:
P(P) ( N个 ) = N个 1
如所示图3a、 每列噪声分量的L1-模在原始图像的垂直梯度L1-模中所占比例很小,能够实现稀疏性约束。

2.3. AEPO实验

使用公式(8)英寸第2.2节对垂直于条纹方向的目标红外图像的实际信息分量,通过检测梯度域的稀疏性,得到信息分量的保真度项。然而,该保真度项实际上通过垂直于条纹方向的平滑操作实现了约束效果。在优化过程中,边缘像素很容易垂直于条纹方向过度平滑,导致信息丢失。为了克服这个问题,本文提出了一种基于边缘对比度的AEPO。该算子的目的是通过优化过程自适应地调整边缘像素的权重,防止这些像素的过度平滑导致的信息丢失。
通过实验总结了AEPO值与边缘像素对比度之间的关系。采用结构相似性(SSIM)这一全面参考的评价指标,对AEPO在不同边缘对比度下的去噪效果进行了测量[25,26].
图4显示了这些实验的细节。图4a表示没有任何条纹噪声的参考图像;图4b提供包含随机条纹噪声的图像;图4c显示结合了参考图像和噪声的测试图像。为了充分验证AEPO值与边缘对比度之间的关系,从原始图像中选择30个边缘像素作为对象,手动调整边缘对比度后求解这些像素的平均SSIM。在此基础上,探讨了如何优化AEPO。图4d、 不同颜色的曲线反映了AEPO值在不同边缘像素对比度下对SSIM的影响。实验结果清楚地表明,当边缘对比度保持不变时,存在AEPO的最优值,从而使边缘像素的去噪效果最佳。随着边缘对比度的下降,最佳AEPO的值降低。

3.方法

根据条纹噪声的性质和上一节确定的正则项,本节最终确定了红外图像条纹噪声去除模型,并详细说明了如何通过ADMM求解该模型。在条纹噪声分离过程中,我们的模型基于边缘对比度获得了一个AEPO。这样,在不牺牲边缘信息的情况下提取噪声分量。

3.1. 模型

上述分析揭示了红外图像的噪声成分和信息成分在结构和方向性方面的巨大差异。三个术语 P(P) 1 ( N个 ) , P(P) 2 ( N个 ) 、和 P(P) ( N个 ) 可以组合以获得最终的条带噪声优化模型:
N个 = 参数 最小值 N个 λ 1 d日 N个 1 + λ 2 N个 1 + λ Ω e(电子) d日 e(电子) d日 x个 d日 x个 N个 1
哪里, λ 1 , λ 2 、和 λ 用来平衡不同的定期条款。首先,条纹噪声分量 N个 最小化公式(12)已解决。然后,通过以下变换可以估计去噪后的信息分量:
D类 = N个

3.2. ADMM优化

求二阶导数是优化上述收敛矩阵的最直接方法。然而,正则化模型的正则项(12)基于L1-norm的,不是连续可微的,这使得推导变得困难。作为一种流行的机器学习工具,ADMM为L1-形式的正则项提供了有效的解决方案。本质上,该算法通过块坐标对零件进行无约束优化(12). 具体解决过程如下所述。
对于这三个正则项,引入三个辅助变量来替换这些正则项,即:, G公司 = d日 N个 ,   T型 = N个 、和 U型 = d日 x个 d日 x个 N个 然后,公式的最小化(12)等于:
参数 最小值 N个 , G公司 , U型 λ 1 G公司 1 + λ 2 T型 1 + λ Ω 边缘 U型 1 . t吨 . G公司 = d日 N个 ,   T型 = N个 ,   U型 = d日 x个 d日 x个 N个
凸优化问题(14)可进一步转换为增广拉格朗日函数:
参数 最小值 N个 , G公司 , U型 λ 1 G公司 1 + λ 2 T型 1 + λ W公司 边缘 U型 1 + 1 T型 d日 N个 G公司 + 2 T型 ( N个 T型 ) + T型 d日 x个 d日 x个 N个 U型 + ρ 1 2 d日 N个 G公司 2 2 + ρ 2 2 N个 T型 2 2 + ρ 2 d日 x个 d日 x个 N个 U型 2 2
哪里, 1 , 2 、和 分别是三个约束的拉格朗日乘子; ρ 1 , ρ 2 、和 ρ 是三个惩罚。那么,公式(15)可以转换为四个子项进行迭代求解:
a。 G公司 问题
G公司 = 参数 最小值 G公司 λ 1 G公司 1 + 1 T型 d日 N个 G公司 + ρ 1 2 d日 N个 G公司 2 2
根据公式(12)参考中[27],用于解决 X(X) 使得以下公式最小化:
参数 最小值 X(X) X(X) B类 2 2 + 2 λ X(X) 1
可以直接得出:
X(X) = 软的 ( B类 , λ ) = 签名 ( B类 ) 最大值 ( | B类 | λ , 0 )
因此,公式(16)可以转换为:
G公司 = 参数 最小值 G公司 λ 1 G公司 1 + ρ 1 2 d日 N个 G公司 + 1 ρ 1 2 2
遵循公式的求解原则(17),可通过以下方式解决:
G公司 k个 + 1 = 软的 d日 N个 k个 + 1 k个 ρ 1 , λ 1 ρ 1
哪里,k个是迭代次数。
b。 T型 问题
T型 = 参数 最小值 T型 λ 2 T型 1 + 2 T型 ( N个 T型 ) + ρ 2 2 N个 T型 2 2
类似于 G公司 问题,可以解决:
T型 k个 + 1 = 软的 N个 k个 + 2 k个 ρ 2 , λ 2 ρ 2
c。 U型 问题
U型 = 参数 最小值 U型 λ Ω e(电子) d日 e(电子) U型 1 + T型 d日 x个 d日 x个 N个 U型 + ρ 2 d日 x个 d日 x个 N个 U型 2 2
可以解决以下问题:
U型 k个 + 1 = 软的 d日 x个 d日 x个 N个 k个 + k个 ρ , λ Ω e(电子) d日 e(电子) ρ
d。 N个 问题:
N个 = 参数 最小值 N个 1 T型 d日 N个 G公司 + 2 T型 ( N个 T型 ) + T型 d日 x个 d日 x个 N个 U型 + ρ 1 2 d日 N个 G公司 2 2 + ρ 2 2 N个 T型 2 2 + ρ 2 d日 x个 d日 x个 N个 U型 2 2
公式(25)可以简化为:
N个 = 参数 最小值 N个 ρ 1 2 d日 N个 G公司 + 1 ρ 1 2 2 + ρ 2 2 N个 T型 + 2 ρ 2 2 2 + ρ 2 d日 x个 d日 x个 N个 U型 + ρ 2 2
这是一个具有可微性的二次优化问题。它相当于求解以下线性系统。通过直接推导公式(26):
ρ 1 d日 T型 d日 N个 k个 + 1 + ρ 2 N个 k个 + 1 + ρ d日 x个 T型 d日 x个 N个 k个 + 1 = ρ 1 d日 T型 G公司 k个 + 1 1 ρ 1 + ρ 2 T型 k个 + 1 2 ρ 2 + ρ d日 x个 T型 d日 x个 U型 k个 + 1 + ρ
其中⊗表示卷积。涉及卷积的公式很难求解。本文引入傅里叶变换,将时域卷积转换为频域乘法:
ρ 1 F类 d日 T型 F类 d日 + ρ 2 + ρ F类 d日 x个 T型 F类 d日 x个 F类 N个 k个 + 1 = ρ 1 F类 d日 T型 . F类 G公司 k个 + 1 1 ρ 1 + ρ 2 F类 T型 k个 + 1 2 ρ 2 + ρ F类 d日 x个 T型 . F类 d日 x个 U型 k个 + 1 + ρ
通过矩阵的左除,我们得到:
F类 N个 k个 + 1 = ρ 1 F类 d日 T型 . F类 G公司 k个 + 1 1 ρ 1 + ρ 2 F类 T型 k个 + 1 2 ρ 2 + ρ F类 d日 x个 T型 . F类 d日 x个 U型 k个 + 1 + ρ . / ρ 1 F类 d日 T型 . F类 d日 + ρ 2 + ρ F类 d日 x个 T型 . F类 d日 x个
然后,公式的傅里叶逆变换(29)实现了条纹噪声表达式 N个 :
N个 k个 + 1 = F类 1 ρ 1 F类 d日 T型 F类 G公司 k个 + 1 1 ρ 1 + ρ 2 F类 T型 k个 + 1 2 ρ 2 + ρ F类 d日 x个 T型 . F类 d日 x个 U型 k个 + 1 + ρ . / ρ 1 F类 d日 T型 F类 d日 + ρ 2 + ρ F类 d日 x个 T型 . F类 d日 x个
其中.*是两个矩阵的点乘;./是两个矩阵的点除法; F类 ( ) 是傅里叶变换; F类 ( ) 是傅里叶逆变换。注意,矩阵的完整卷积将改变其大小。在计算过程中进行规范化是非常必要的。每次迭代后,拉格朗日乘数必须更新为[28]:
1 k个 + 1 = 1 k个 + ρ 1 d日 N个 k个 + 1 G公司 k个 + 1 2 k个 + 1 = 2 k个 + ρ 2 N个 k个 + 1 T型 k个 + 1 k个 + 1 = k个 + ρ d日 x个 d日 x个 N个 k个 + 1 U型 k个 + 1
最后,噪声分量 N个 k个 + 1 得到原始图像的,并通过 D类 = N个 k个 + 1 .

3.3. AEPO公司

根据中的实验第2.3节,我们了解到AEPO的选择对条纹噪声去除算法的有效性有很大影响。图4a–d表明,为了优化去噪效果,AEPO值必须随着边缘对比度的增加而增加。
为了量化边缘像素的对比度,定义了标准化边缘对比度的公式:
C类 e(电子) d日 e(电子) ( , j个 ) = | ( , j个 ) E类 ( N个 B类 H(H) ( , j个 ) ) | / 2 n个 100 %
哪里, C类 边缘 ( , j个 ) 是行中像素的边缘对比度 和列 j个 图像; N个 B类 H(H) ( , j个 ) 是像素的相邻像素 ( , j个 ) 垂直于条纹噪声的方向; E类 ( ) 是平均运算;n个是图像的数字。此外,我们可以获得 E类 ( N个 B类 H(H) ( , j个 ) ) 如下公式所示:
E类 ( N个 B类 H(H) ( , j个 ) ) = [ ( , j个 + 1 ) + ( , j个 1 ) ] / 2
通过上述实验,可以通过以下方法优化不同边缘对比度的AEPO:
Ω e(电子) d日 e(电子) ( , j个 ) = β e(电子) c(c) e(电子) d日 e(电子) e(电子) 1 + θ
哪里 β θ 是规范化参数和e(电子)是自然对数。

4.实验结果

在我们的实验中,在三个不同的图像数据集上将我们的方法与三种最先进的方法进行了比较。对比方法是针对条纹噪声的多尺度引导滤波器(MSGF)[7],小波变换与梯度均衡(WAGE)相结合用于条纹噪声[11],以及带条噪声的全变差耦合导向滤波器(TVGF)[14]. 为了进一步证明该方法的有效性,在对比实验中添加了烧蚀实验,即非AEPO方法。所有图像数据均使用LUSTER TB640-CL冷冻中波前红外相机拍摄,分辨率为640×512。所有实验都是在MATLAB(R2020 b)上运行的,使用一台具有8 GB RAM和AMD Ryzen 7 2700X Eight-Core的计算机[电子邮件保护]千兆赫。
对实验数据进行了主观和客观评价。主观评价的目标是去噪图像的边缘细节和去噪程度。对于实际数据的实验,由于没有可供参考的真实图像,因此我们选择了无参考的降噪评估指标(NR)[29,30],平均相对偏差(MRD)[30,31]和图像失真(ID)[32,33]. NR的定义如公式所示(35),这反映了去噪图像的整体性能。MRD的定义如公式所示(36),反映了在无条纹区域中保留图像信息的能力。ID的定义如公式所示(37),表示去噪后图像的失真程度。去噪效果与NR和ID呈正相关,与MRD呈负相关。
N个 = N个 0 / N个 1 N个 = = 0 k个 意思是 P(P) 单位
哪里 N个 0 N个 1 代表…的价值N个分别在原始图像和去噪图像中。 单位 是条纹产生的频率分量。N个是平均功率谱中条纹噪声的总功率。
M(M) D类 = 1 M(M) N个 = 1 M(M) N个 z(z) × 100 %
哪里 z(z) 是点的像素值分别在原始图像和去除条纹噪声后的图像中。此外, M(M) N个 表示选定区域中所有像素的数量。
D类 = S公司 1 / S公司 0 S公司 = j个 1 N个 1 意思是 P(P) 单位 j个
哪里 S公司 0 S公司 1 代表…的价值S公司分别在原始图像和去噪图像中。 单位 j个 是由没有条纹的原始图像引起的频率分量。S公司代表平均功率谱中干净图像的总功率。

4.1. 参数分析

图4作为一个例子,对这三个正则项进行了敏感性分析,目的是验证关键参数对我们的方法的重要性。对于这样的参考实验,使用全参考评估度量来更好地反映算法的去噪性能。作为全参考评价指标的代表,峰值信噪比(PSNR)通常被广泛用于确定参数,因为它可以反映图像的去噪效果。因此,我们选择PSNR度量来评估此实验,以证明参数选择的有效性。首先, λ 1 根据经验设置为1。图5显示了PSNR和常规术语之间的关系 λ 2 λ [34]. 中的结果图5证明所选的 λ 2 λ 确实影响了去噪性能。在其他实验中也得到了类似的结果。根据实验结果,确定 λ 1 = 1 , λ 2 = 0.7 λ = 1.2 。至于罚款,其数值根据经验设定为 ρ 1 = ρ 2 = ρ = 0.15 .在公式中(12),的最佳值 β θ 落入 [ 0.15 , 0.20 ] 、和 [ 0.4 , 0.5 ] 分别是。在我们的实验中,这两个参数根据经验设置为 β = 0.18 θ = 0.46 分别是。

4.2. 实验内容

为了证明本文提出的方法的通用性和有效性,选取了四幅不同场景的红外图像作为实验对象。第一幅图像如所示图6a、 它包含一个与背景有较大灰度差异的人,以及一个垂直边缘与背景有较小灰度差异的对象。第二幅图像如所示图6b、 它包含几栋对着天空的建筑,与条纹噪声的灰度值略有不同。此外,还有大量小型垂直要素。第三幅图像如所示图6c、 其中包含一栋建筑,其特征没有明显的垂直纹理。第四幅图像如所示图6d、 主要由复杂建筑组成。除了正常的建筑物外,在原始图像中还可以观察到云和塔吊等微观物体。在这四幅图像中,存在着灰度差异不同的条纹噪声、微小的垂直边缘特征和各种纹理特征。我们的方法所取得的优异结果可以充分说明。

4.2.1. 烧蚀实验

本节显示了我们提出的方法的烧蚀实验。如所示图7a、 b、非AEPO方法和我们的方法都显示出良好的去噪性能。然而,图7a显示垂直边缘特征明显模糊(被红色虚线包围)。图7c、 d将用不同方法去噪的图像中所有行的平均功率谱密度(MPSD)与原始图像中所有行的MPSD进行比较,其中横坐标是归一化频率,纵坐标是所有行的MPSD。可以观察到图7c比in稍微光滑一些图7d(用红色虚线包围)。这一现象证实了图7a、 b。
如所示图8a、 b、非AEPO方法和我们的方法都具有良好的去噪性能。然而,图8a显示了建筑物上垂直边缘特征的明显模糊(由红色虚线包围)。可以观察到图8c比中的略光滑图8d(用红色虚线包围)。这一现象证实了图8a、 d。
如所示图9a、 b、非AEPO方法和我们的方法都有效地去除了原始图像中的条纹噪声。然而,我们可以从中看到图9a建筑顶部的垂直边缘特征明显模糊(被红色虚线包围)。可以观察到图9c比中的略光滑图9d(用红色虚线包围)。此现象与中算法的性能一致图9a、 b。
如所示图10a、 b、非AEPO方法和我们的方法在去除条纹噪声方面都有很好的性能。然而,我们可以从中看到图10a建筑的垂直边缘特征明显模糊(被红色虚线包围)。可以观察到图10c比中的略光滑图10d(用红色虚线包围)。这与图10a、 b。

4.2.2. 对比实验

为了验证该方法的有效性,在含有条纹噪声的图像上进行了几次实验。第一次实验于年报道图11。如所示图11a、 MSGF去噪效果相对较差,不能有效识别和去除横向梯度变化较小的不规则条纹噪声。如所示图11b、 WAGE方法仍然留下少量的条纹噪声未被去除。如所示图11c、 TVGF在水平方向对原始图像进行了过平滑处理。因此,人的边缘和物体的垂直特征非常模糊。如所示图11d、 该方法在尽可能保留边缘纹理信息的同时,有效地去除了不规则条纹噪声。图11e–h将用不同方法去噪的图像中所有行的平均功率谱密度(MPSD)与原始图像中所有行的MPSD进行比较,其中横坐标是归一化频率,纵坐标是所有行的MPSD。图11e、 f在原始图像中大脉冲的位置清晰地显示出小脉冲,表明一些条纹噪声没有被消除。图11g、 h在MDSP中表现良好,这与图11a–d。比较充分证明了我们的方法在去除条纹噪声方面的优越性。
第二个实验报告于图12。原始图像是一幅红外图像,其中包含几座对着天空的建筑物。图像中的对象与背景的灰度差很小,很难通过频域滤波区分建筑物边缘和条纹噪声。如所示图12a、 b、MSGF和WAGE虽然保留了边缘,但降噪效果较差,并且在背景中留下了清晰的条纹噪声。如所示图12c、 由于建筑物边缘像素的过度平滑,TVGF导致信息丢失。如所示图12d、 我们的方法消除了条纹噪音,保留了建筑物的边缘和细节。中的MDSP图12e–h与我们方法的性能一致。上述结果进一步证明了我们方法的优越性。
第三个实验报告于图13。原始图像描绘了一栋具有垂直结构的建筑。如所示图13a、 b、MSGF和WAGE在所有方法中表现最差。图像的边缘和细节得到了保留,但噪声并没有被有效地消除。如所示图13c、 尽管TVGF具有良好的去噪效果,但它导致了边缘特征的明显衰减。此外,如所示图13d、 我们的方法保留了图像的边缘信息,同时有效地实现了条纹噪声的去除。中的MDSP图13e–h与我们方法的性能一致。上述结果为我们的方法的优越性提供了更多证据。
上一次实验报告于图14。如所示图14a、 b、MSGF和WAGE被其他方法所掩盖,因为它们无法消除一些条纹噪声。如所示图14c、 用TVGF方法去噪后的图像边缘被不同程度的模糊(被红色虚线包围)。中的MDSP图14e–h与我们方法的性能一致。上述结果充分反映了我们方法的优越性。
表1比较了四种方法去噪后图像的NR、MRD和ID值。每个指标的最佳值以粗体显示。
如所示表1,我们的方法在NR和MRD方面效果最好,这反映了对条纹图像进行去噪的能力。从ID来看,我们的方法也取得了相当好的效果。一些方法由于无法完全去除噪声,并且只保留了原始图像的部分信息,因此具有较高的ID。通过主观观察图11,图12,图13图14,用我们的方法去噪的图像没有严重失真,保留了边缘细节,ID值接近1。这些结果证明了我们的方法在去除条纹噪声方面是很好的。

5.结论

基于L1-模和AEPO的稀疏表示,提出了一种红外图像条纹噪声去除模型。该模型充分利用了红外图像中条纹噪声与红外图像中其他成分在方向、横向和结构上的差异,并用L1-模很好地描述了红外图像的稀疏性。AEPO聚焦于边缘像素,能够合理地分离和去除条纹噪声,并能很好地保留原始图像的边缘信息。引入经典的ADMM算法求解该模型。最后,通过大量实验证明了我们方法的优越性。尽管如此,在条纹噪声去除领域仍然存在一些问题。我们提出的方法在处理对角条纹噪声或强条纹噪声时存在缺陷;在未来,我们将致力于从红外图像中去除这些噪声。

作者贡献

方法学,M.L。;软件,S.N。;书面原稿准备、M.L.、T.N.和L.H。;写作-评论和编辑,C.H.和L.Q.所有作者都阅读并同意手稿的出版版本。

基金

本研究得到了国家自然科学基金(No.62105328)的资助。

机构审查委员会声明

不适用。

知情同意书

不适用。

数据可用性声明

由于本研究的性质,本研究的参与者不同意公开共享他们的数据,因此无法获得支持数据。

致谢

我们感谢匿名评论员的宝贵意见和建议。

利益冲突

作者声明没有利益冲突。

工具书类

  1. 曹毅。;他,Z。;杨,J。;曹毅。;Yang,M.Y.,红外成像系统中使用一维水平差分统计的空间自适应列固定模式噪声校正。IEEE光子学杂志。 2017,9, 7803513. [谷歌学者] [交叉参考]
  2. 刘,C。;隋,X。;顾,G。;Chen,Q.非制冷长波红外相机长期稳定性的无快门非均匀性校正。测量。科学。Technol公司。 2017,29, 25402. [谷歌学者] [交叉参考]
  3. 陈,B.Y。;X·冯。;Wu,R.H。;郭,Q。;王,X。;Ge,S.M.带边缘补偿的自适应小波滤波器用于遥感图像去噪。IEEE接入 2019,7, 91966–91979. [谷歌学者] [交叉参考]
  4. Quarmby,N.A.SPOT HRV图像的噪声去除。《国际遥感杂志》。 1987,8, 1229–1234. [谷歌学者] [交叉参考]
  5. Chen,J.S。;朱,B.Q。;Shao,Y.基于小波变换的多传感器图像去噪。远程传感器信息。 2003,2, 6–9. [谷歌学者]
  6. Choubey,S.B.公司。;乔贝,A。;南丹,D。;Mahajan,A.使用两阶段图像去噪检测多囊卵巢综合征。特质。信号 2021,38, 1217–1227. [谷歌学者] [交叉参考]
  7. 曹玉林。;何,Z.W。;杨J.X。;叶,X.P。;Cao,Y.P.一种基于小波分解和引导滤波的非制冷长波红外相机多尺度非均匀性校正方法。信号处理。图像通信。 2017,60, 13–21. [谷歌学者] [交叉参考]
  8. K.R.Bhatele。;基于提出的纹理特征提取方法和混合集成学习的Bhadauria,S.S.胶质瘤分割和分类系统。特质。信号 2020,37, 989–1001. [谷歌学者] [交叉参考]
  9. Diani,M。;巴尔达奇,A。;Corsini,G.红外海军监视系统中的联合条带噪声去除和背景杂波消除。IEEE程序。视觉。图像信号处理。 2001,148, 407–412. [谷歌学者] [交叉参考]
  10. 隋,J。;金·W。;董,L.Q。;Wang,X.红外线扫描仪的一种新的非均匀性校正算法。《红外成像系统学报:设计、分析、建模和测试十七》,佛罗里达州奥兰多,美国,2006年5月16日;第6207卷,第62070Y页。[谷歌学者]
  11. 王,E.D。;江,P。;Hou,X.K。;Zhu,Y.L。;Peng,L.Y.基于小波分析和梯度均衡的红外条纹校正算法。申请。科学。 2019,9, 1993. [谷歌学者] [交叉参考] [绿色版本]
  12. Chambolle,A.全变差最小化算法及其应用。数学杂志。成像视觉。 2004,20, 89–97. [谷歌学者]
  13. 何,Z.W。;曹永平。;Dong,Y.F。;杨J.X。;曹玉林。;Tisse,C.L.《非制冷长波红外探测器基于单图像的非均匀性校正:一种深度学习方法》。申请。选择。 2018,57,D155–D164。[谷歌学者] [交叉参考]
  14. Wang,医学博士。;江,P。;李,X.P。;Cao,H。基于小波分解和全变分制导滤波的红外条纹校正算法。《欧洲药典》选项。Soc.快速出版。 2020,16, 1. [谷歌学者] [交叉参考] [绿色版本]
  15. 哈雷,S。;辛格,M。;Kaushik,B.K.红外成像系统可重构体系结构中的实时非均匀性校正算法和实现。国防科学。J。 2019,69, 179–184. [谷歌学者] [交叉参考]
  16. Sheng,Y.C。;邓,X。;金,W.Q。;周,F。;王,X。;Mi,F.W。;Xiao,S。红外遥感系统中使用调制内部校准源的在轨非均匀性校正方法。远程传感器。 2018,10, 830. [谷歌学者] [交叉参考] [绿色版本]
  17. Kłosowski,M。;Sun,Y.C.时间模式CMOS图像传感器中的固定模式噪声降低和线性改善。传感器 2020,20, 5921. [谷歌学者] [交叉参考]
  18. 谢伟山。;Yang,Y.F。;Zhou,B.基于电视的二阶MR图像重建的ADMM算法。数字。算法 2014,67, 827–843. [谷歌学者] [交叉参考]
  19. Xu,J.C。;Wang,N。;徐,Z.W。;Xu,K.Q.基于加权l(p)范数稀疏误差约束的ADMM图像去噪。数学。问题。工程师。 2019,2019, 1262171. [谷歌学者] [交叉参考] [绿色版本]
  20. Guo博士。;涂,Z。;王J.C。;肖,M。;杜,X.F。;Qu,X.B.使用多类字典学习和l0规范正则化去除椒盐噪声。算法 2018,12, 7. [谷歌学者] [交叉参考] [绿色版本]
  21. 顾义堂。;简,J。;Mei,S.L.L(0)范数约束LMS算法在稀疏系统辨识中的应用。IEEE信号处理。莱特。 2009,16, 774–777. [谷歌学者]
  22. 杨,P.X。;Chen,M.J.基于L-1范数的图像恢复非局部总变异。下巴。J.Liq.克里斯特。显示。 2017,32, 635–641. [谷歌学者] [交叉参考]
  23. 穆萨维,A。;高Z.M。;Han,L.S。;Lim,A.带L1范数正则化的二次曲面支持向量机。arXiv公司 2019,arXiv:1908.08616。[谷歌学者] [交叉参考]
  24. Saxena,A。;Patidar,K。一种改进的基于线性阈值的域去噪方法。国际高级技术期刊。工程勘探。 2013,2, 163. [谷歌学者]
  25. 孙义杰。;黄,T.Z。;马,T.H。;Chen,Y.基于联合稀疏约束和迭代支持检测的遥感图像条纹检测和去条纹。远程传感器。 2019,11, 608. [谷歌学者] [交叉参考] [绿色版本]
  26. 陈,Y。;He,W。;横屋,N。;Huang,T.Z。基于加权群稀疏正则化低阶张量分解的高光谱图像复原。IEEE传输。赛博。 2020,50, 3556–3570. [谷歌学者] [交叉参考]
  27. 赖特,S.J。;罗德岛诺瓦克。;Figueiredo,M.A.T.通过可分离近似进行稀疏重建。IEEE国际事务。信号处理。 2008,57, 2479–2493. [谷歌学者] [交叉参考] [绿色版本]
  28. 博伊德,S。;北卡罗来纳州帕里赫。;朱,E。;佩莱托,B。;Eckstein,J.通过交替方向乘数法进行分布式优化和统计学习。已找到。Trends®马赫数。学习。 2011,, 1–122. [谷歌学者]
  29. Shen,H.F。;Zhang,L.P.一种基于地图的遥感图像去纹理和修复算法。IEEE传输。地质科学。远程传感器。 2009,47, 1490–1500. [谷歌学者]
  30. 王J.L。;黄,T.Z。;马,T.H。;赵,X.L。;Chen,Y.用于斜条纹去除的剪切低阶模型。申请。数学。计算。 2019,360, 167–180. [谷歌学者] [交叉参考]
  31. 曾庆杰。;秦,H.L。;严,X。;Yang,T.W.傅里叶域异常检测和光谱融合,用于去除TIR图像的条纹噪声。远程传感器。 2020,12, 3714. [谷歌学者] [交叉参考]
  32. Li,Q.Y。;钟,R.F。;Wang,Y.一种使用自适应矩匹配和单向总变差的轨道高光谱图像去纹理方法。远程传感器。 2019,11, 2098. [谷歌学者] [交叉参考] [绿色版本]
  33. 陈,Y。;黄,T.Z。;邓J.L。;Zhao,X.L。;Wang,M.Group基于稀疏性的遥感图像条带噪声去除正则化模型。神经计算 2017,267, 95–106. [谷歌学者] [交叉参考]
  34. 关J.T。;赖,R。;Xiong,A.学习用于去除单幅图像条纹噪声的时空特征。IEEE接入 2019,7, 144489–144499. [谷歌学者] [交叉参考]
图1。拟议方法的框图。
图1。拟议方法的框图。
传感器22 02971 g001
图2。信息组件和条纹噪声之间的区别:()原始图像;(b条)信息组件;(c(c))噪声成分;(d日)噪声分量的垂直梯度;(e(电子))噪声分量的水平梯度;((f))信息分量的垂直梯度;()信息组件的水平梯度。
图2。信息组件和条纹噪声之间的区别:()原始图像;(b条)信息组件;(c(c))噪声成分;(d日)噪声分量的垂直梯度;(e(电子))噪声分量的水平梯度;((f))信息分量的垂直梯度;()信息成分的水平梯度。
传感器22 02971 g002
图3。信息分量的L1-形式比例与条纹噪声的差异:()原始图像垂直梯度的L1-norm中每列噪声分量的L1-name的比例;(b条)原始图像水平渐变的L1-norm中每行信息组件的L1-name的比例。
图3。信息分量的L1-形式比例与条纹噪声的差异:()原始图像垂直梯度的L1-norm中每列噪声分量的L1-name的比例;(b条)原始图像水平渐变的L1-norm中每行信息组件的L1-name的比例。
传感器22 02971 g003
图4。AEPO实验:()参考图像;(b条)噪声图像;(c(c))测试图像;(d日)SSIM与AEPO和边缘对比度的相关性。
图4。AEPO实验:()参考图像;(b条)噪声图像;(c(c))测试图像;(d日)SSIM与AEPO和边缘对比度的相关性。
传感器22 02971 g004
图5。定期条款对PSNR的影响:()之间的关系 λ 2 和PSNR;(b条)之间的关系 λ 和PSNR。
图5。定期条款对PSNR的影响:()之间的关系 λ 2 和PSNR;(b条)之间的关系 λ 和PSNR。
传感器22 02971 g005
图6。实验图像:()一个人;(b条)天空中的建筑物;(c(c))一栋建筑;(d日)复杂的建筑。
图6。实验图像:()一个人;(b条)建筑对着天空;(c(c))单一建筑;(d日)复杂的建筑。
传感器22 02971 g006
图7。消融实验对人的图像的去噪效果:()非AEPO;(b条)我们的方法;(c(c))非AEPO;(d日)我们的方法。
图7。消融实验对人的图像的去噪效果:()非AEPO;(b条)我们的方法;(c(c))非AEPO;(d日)我们的方法。
传感器22 02971 g007
图8。消融实验对天空中建筑物图像的去噪效果:()非AEPO;(b条)我们的方法;(c(c))非AEPO;(d日)我们的方法。
图8。消融实验对天空中建筑物图像的去噪效果:()非AEPO;(b条)我们的方法;(c(c))非AEPO;(d日)我们的方法。
传感器22 02971 g008
图9。烧蚀实验对单个建筑物图像的去噪效果:()非AEPO;(b条)我们的方法;(c(c))非AEPO;(d日)我们的方法。
图9。消融实验对单个建筑物图像的去噪效果:()非AEPO;(b条)我们的方法;(c(c))非AEPO;(d日)我们的方法。
传感器22 02971 g009
图10。消融实验对复杂建筑物图像的去噪效果:()非AEPO;(b条)我们的方法;(c(c))非AEPO;(d日)我们的方法。
图10。消融实验对复杂建筑物图像的去噪效果:()非AEPO;(b条)我们的方法;(c(c))非AEPO;(d日)我们的方法。
传感器22 02971 g010
图11。不同方法对人物图像的去噪效果:()MSGF;(b条)工资;(c(c))TVGF;(d日)我们的方法;(e(电子))MSGF;((f))工资;()TVGF;(小时)我们的方法。
图11。不同方法对人的图像的去噪效果:()MSGF;(b条)工资;(c(c))TVGF;(d日)我们的方法;(e(电子))MSGF;((f))工资;()TVGF;(小时)我们的方法。
传感器22 02971 g011
图12。不同方法对天空中建筑物图像的去噪效果:()MSGF;(b条)工资;(c(c))TVGF;(d日)我们的方法;(e(电子))MSGF;((f))工资;()TVGF;(小时)我们的方法。
图12。不同方法对天空中建筑物图像的去噪效果:()MSGF;(b条)工资;(c(c))TVGF;(d日)我们的方法;(e(电子))MSGF;((f))工资;()TVGF;(小时)我们的方法。
传感器22 02971 g012
图13。不同方法对单个建筑物图像的去噪效果:()MSGF;(b条)工资;(c(c))TVGF;(d日)我们的方法;(e(电子))MSGF;((f))工资;()TVGF;(小时)我们的方法。
图13。不同方法对单个建筑物图像的去噪效果:()MSGF;(b条)工资;(c(c))TVGF;(d日)我们的方法;(e(电子))消息f;((f))工资;()TVGF;(小时)我们的方法。
传感器22 02971 g013
图14。不同方法对复杂建筑物图像的去噪效果:()MSGF;(b条)工资;(c(c))TVGF;(d日)我们的方法;(e(电子))MSGF;((f))工资;()TVGF;(小时)我们的方法。
图14。不同方法对复杂建筑物图像的去噪效果:()MSGF;(b条)工资;(c(c))TVGF;(d日)我们的方法;(e(电子))MSGF;((f))工资;()TVGF;(小时)我们的方法。
传感器22 02971 g014
表1。不同方法对不同图像的度量。
表1。不同方法对不同图像的度量。
图像公制MSGF公司WAGE公司TVGF公司非AEPO我们的方法
一个人 数量 2.02 2.51 3.58 4.01 4.07
物料需求侧 ( % ) 2.95 3.72 4.53 3.52 3.01
身份证件 0.999 0.992 0.975 0.980 0.989
对着天空的建筑 数量 2.29 2.79 3.45 3.91 3.96
物料需求侧 ( % ) 3.94 4.36 5.47 4.45 4.11
身份证件 0.999 0.991 0.971 0.978 0.986
一栋建筑 数量 3.31 3.36 3.41 3.48 3.53
物料需求侧 ( % ) 2.74 2.56 3.40 2.96 2.47
身份证件 0.999 0.993 0.977 0.985 0.991
复杂建筑物 数量 3.05 3.16 3.40 3.36 3.42
物料需求侧 ( % ) 3.08 2.47 4.10 3.54 2.21
身份证件 0.999 0.993 0.980 0.988 0.994
出版商备注:MDPI对公布的地图和机构关联中的管辖权主张保持中立。

分享和引用

MDPI和ACS样式

李,M。;Nong,S。;聂,T。;Han,C。;黄,L。;曲,L。一种新的红外图像条纹噪声去除模型。传感器 2022,22, 2971.https://doi.org/10.3390/s22082971

AMA风格

李明,农S,聂T,韩C,黄L,曲L。一种新的红外图像条纹噪声去除模型。传感器. 2022; 22(8):2971.https://doi.org/10.3390/s22082971

芝加哥/图拉宾风格

李、明轩、农神开、聂挺、韩成山、黄亮和曲立新。2022.“一种新的红外图像条纹噪声去除模型”传感器22,第8期:2971。https://doi.org/10.3390/s22082971

请注意,从2016年第一期开始,该杂志使用文章编号而不是页码。请参阅更多详细信息在这里.

文章指标

返回页首顶部