1.简介
红外探测器的读出电路高度不一致。探测器的非均匀性通常在图像中表现为条纹噪声,这直接影响成像质量,甚至会阻碍后续图像处理[1,2,三]即图像分类、目标检测和目标识别。因此,研究如何在保留图像细节的同时去除条纹噪声是非常重要的。本文的目的是从目标红外图像中分离出条纹噪声分量,并获得保留图像细节的信息分量。 近年来,许多学者致力于去除图像中的条纹噪声,并提出了各种方法,如频域滤波、小波变换、统计匹配和全变分法。
1987年,Quarmby根据条纹噪声与目标信息在频域中的频率差,采用空间频域滤波器去除条纹噪声[4]. 很快,引入了小波变换来消除条纹噪声[5,6,7]. 例如,一种对比方法是多尺度引导滤波器(MSGF)[8]. 通过小波变换,在去除条纹噪声之前,将目标图像分为高频和低频分量,这是由于小波变换能够描述信号的局部频率分量。然而,条带噪声的频域滤波有两个局限性:首先,该策略不能轻易区分条带噪声和目标信息,除非条带噪声是高度规则的。其次,当目标信息相对复杂时,该策略可以去除边缘和纹理信息。因此,原始信息可能会丢失,甚至可能会出现瑕疵。 另一种流行的去除条纹噪声的方法是统计匹配,这在工程中经常使用。该方法最初应用于MOS-B的海洋数据,假设海面上每个像素的响应应输出相等的电平[9]. 在此假设下,获得了每个像素的输出特征,包括增益系数和偏置系数。然后,根据这些参数进行校正,得到去噪后的目标图像。后来,一些学者将局部常数统计约束与神经网络相结合[10],或与梯度均衡(WAGE)相耦合的小波变换[11],以消除条纹噪音。前者将每行像素视为具有相同的标准偏差和平均值,并将这些值作为局部通道统计的中值,从而校正图像非均匀性引起的条纹噪声。后者将条纹噪声分量集中在小波变换的每个垂直分量中,并通过列均衡去除条纹噪声。然而,当条纹噪声分布不均匀时,这种方法没有考虑强边缘信息,不能有效地去除噪声。 最近,出现了一类基于总变差最小化的流行方法。这一类中最早的方法是由Antonin Chambolle于2004年提出的。这些方法构造一个代价函数来导出表示理想图像特征的最小化方程,并通过梯度下降法求解使方程最小化的理想图像[12]. 然后,一些学者采用原始图像和去噪图像之间差异的L1形式作为代价函数[13]优化去噪。一些学者将上述三种方法结合起来去除噪声,提出了带噪声的全变分耦合导引滤波器(TVGF)。首先,采用频域滤波方法提取高频条纹噪声分量。其次,采用全变分模型实现梯度均衡,消除强干扰噪声。最后,以平滑图像为指导消除条纹噪声[14]. 现有的红外图像条纹噪声去除方法大多侧重于图像的去噪程度,但很少考虑条纹噪声的结构特征,更不用说图像边缘与条纹噪声的区别了。因此,目前许多红外图像条纹噪声去除算法要么去噪能力不足(去噪后的图像仍有残余噪声),要么去噪性能过强(去噪图像丢失信息)。在以往的研究中,红外图像中的条纹噪声被视为固定模式噪声,即加性噪声。换句话说,假设原始图像包含两种成分:噪声和信息[15,16,17]. 去噪问题可以看作是从原始图像中提取噪声分量,即噪声分量的估计。针对以上问题,本文尝试将红外条纹噪声的先验信息与边缘提取相结合,以提高去噪效果,同时保留边缘信息。 本文采用通常用作误差函数的L1-模来表示红外图像的条纹噪声特征。由于其条纹特性,噪声分量在结构和方向上明显不同于信息分量。在研究了噪声分量的方向性和交叉性之后,提出了一种新的基于优化的红外图像条纹噪声去除模型,该模型能够自适应地保留边缘。此外,利用交替方向乘法器法(ADMM)求解模型[18,19]. 建议的方法具有以下优点: 1.利用条纹噪声独特的方向性、交叉性和结构特性,构建了一个凸优化模型。该模型充分利用了条纹噪声类的先验信息和实际信息分量,提高了噪声分离效果。
2.基于条纹噪声的全局稀疏性和梯度稀疏性,本文采用L1-矩阵来约束条纹噪声的总体稀疏性和沿条纹方向的梯度稀疏性。这有助于解决最佳结果。
3.提出了一种自适应边缘保持算子(AEPO),保证了优化过程中边缘不会被过度平滑或扭曲。
2.前期工作
条纹噪声在方向性和结构上与其他噪声不同。根据这些独特的性质,本节重点设计正则项来去除红外图像中的噪声。
2.1. 条纹噪声模型
在红外图像去噪领域,条纹噪声被广泛认为是具有较强结构性和方向性的加性噪声。基于优化的去噪方法强调根据条纹噪声或目标图像的特性设计适当的正则项。
第一步是用数学方法描述原始图像与条纹噪声分量和信息分量的相关性:哪里、和是红外探测器输出的原始图像,[d=Li.]无噪图像的信息分量去除条纹噪声后的信息分量,以及像素处的条纹噪声分量分别是。由于我们的策略考虑了整个图像(1)可以重写为矩阵:哪里,,、和是的离散向量、和分别是。从条纹噪声的特性开始提出了一种基于优化的条纹噪声去噪方法。该方法可以从原始图像中去除条纹噪声,并尽可能地保留图像中的有效信息。图1说明了该方法的过程。 2.2. 条纹噪声的特性
为了改进红外图像中条纹噪声的去噪,必须充分理解该主题的所有先验知识,并用相应的正则项约束这些噪声的特征。图2和图3显示条纹噪声的一些特性。可以看出,条纹噪声分量比原始图像中的信息分量更有方向性和结构规则性。 (1) 方向性
图2显示了原始图像中条纹噪声分量和信息分量之间的特性差异。比较图2d带有图2f、 很明显,条纹噪声分量的垂直梯度要比信息分量平滑得多。比较图2e带有图2g、 很明显,条纹噪声分量的水平梯度不如信息分量的平滑。此外,条纹噪声的梯度域在垂直方向上是稀疏的。为了区分条纹噪声分量和信息分量,需要将稀疏性约束到垂直梯度场中。L0-范数是描述稀疏性的最佳工具[20,21]. 因此,可以将以下定期公式建立为:哪里是垂直方向的卷积梯度算子。由于L0-范数不是非凸的,因此该项稀疏地用非凸L1-范数代替L0-范表示[22,23]. 因此,我们将此常规术语表示为: 这种基于优化的方法通常使用原始图像和噪声分量之间的平方根误差(RMSE)或平方误差作为保真度项[24],使图像不会因过度去噪而失真。保真度术语可以表示为: –本质上是信息组件上述保真度术语均不具有信息组件的属性或噪声成分考虑到。如所示图2在原始图像的水平梯度域和条纹噪声分量中存在明显的条纹。同时,信息分量的水平梯度域相对平滑。因此,这被用作保真度术语。换句话说,信息分量的水平梯度被描述为原始图像和噪声分量之间水平梯度差的L1形式:哪里是水平方向上的卷积梯度算子。此外,图3b表明,L1-norm中每行信息组件的L1-norms占原始图像水平梯度的一小部分。因此,这个正则项可以确保水平方向上的平滑度。然而,在优化过程中,垂直边缘可能被过度平滑,导致边缘信息的丢失。为了防止这个问题,图像边缘被预先识别,边缘像素被分配了一个小权重算子,非边缘像素被指定了一个大权重算子。那么,公式(7)可以修改为:哪里为原始图像中的边缘像素指定不同的权重:哪里是一个常量。此外,获取在公式中引入(34). (2) 结构化
如所示图2c、 红外图像中的条纹噪声存在于柱状结构中。无条纹区域中的像素等于零。因此,条纹噪声分量可以视为稀疏矩阵,由L0-范数表示: 类似于中描述的垂直梯度域中的稀疏矩阵第2.1节,L0-范数不是非凸的。因此,正则项可以用非凸L1-形式表示: 如所示图3a、 每列噪声分量的L1-模在原始图像的垂直梯度L1-模中所占比例很小,能够实现稀疏性约束。 2.3. AEPO实验
使用公式(8)英寸第2.2节对垂直于条纹方向的目标红外图像的实际信息分量,通过检测梯度域的稀疏性,得到信息分量的保真度项。然而,该保真度项实际上通过垂直于条纹方向的平滑操作实现了约束效果。在优化过程中,边缘像素很容易垂直于条纹方向过度平滑,导致信息丢失。为了克服这个问题,本文提出了一种基于边缘对比度的AEPO。该算子的目的是通过优化过程自适应地调整边缘像素的权重,防止这些像素的过度平滑导致的信息丢失。 通过实验总结了AEPO值与边缘像素对比度之间的关系。采用结构相似性(SSIM)这一全面参考的评价指标,对AEPO在不同边缘对比度下的去噪效果进行了测量[25,26]. 图4显示了这些实验的细节。图4a表示没有任何条纹噪声的参考图像;图4b提供包含随机条纹噪声的图像;图4c显示结合了参考图像和噪声的测试图像。为了充分验证AEPO值与边缘对比度之间的关系,从原始图像中选择30个边缘像素作为对象,手动调整边缘对比度后求解这些像素的平均SSIM。在此基础上,探讨了如何优化AEPO。在图4d、 不同颜色的曲线反映了AEPO值在不同边缘像素对比度下对SSIM的影响。实验结果清楚地表明,当边缘对比度保持不变时,存在AEPO的最优值,从而使边缘像素的去噪效果最佳。随着边缘对比度的下降,最佳AEPO的值降低。 3.方法
根据条纹噪声的性质和上一节确定的正则项,本节最终确定了红外图像条纹噪声去除模型,并详细说明了如何通过ADMM求解该模型。在条纹噪声分离过程中,我们的模型基于边缘对比度获得了一个AEPO。这样,在不牺牲边缘信息的情况下提取噪声分量。
3.1. 模型
上述分析揭示了红外图像的噪声成分和信息成分在结构和方向性方面的巨大差异。三个术语、和可以组合以获得最终的条带噪声优化模型:哪里,、和用来平衡不同的定期条款。首先,条纹噪声分量最小化公式(12)已解决。然后,通过以下变换可以估计去噪后的信息分量: 3.2. ADMM优化
求二阶导数是优化上述收敛矩阵的最直接方法。然而,正则化模型的正则项(12)基于L1-norm的,不是连续可微的,这使得推导变得困难。作为一种流行的机器学习工具,ADMM为L1-形式的正则项提供了有效的解决方案。本质上,该算法通过块坐标对零件进行无约束优化(12). 具体解决过程如下所述。 对于这三个正则项,引入三个辅助变量来替换这些正则项,即:,、和然后,公式的最小化(12)等于: 凸优化问题(14)可进一步转换为增广拉格朗日函数:哪里,、和分别是三个约束的拉格朗日乘子;、和是三个惩罚。那么,公式(15)可以转换为四个子项进行迭代求解: 根据公式(12)参考中[27],用于解决使得以下公式最小化: 遵循公式的求解原则(17),可通过以下方式解决:哪里,k个是迭代次数。 这是一个具有可微性的二次优化问题。它相当于求解以下线性系统。通过直接推导公式(26):其中⊗表示卷积。涉及卷积的公式很难求解。本文引入傅里叶变换,将时域卷积转换为频域乘法: 然后,公式的傅里叶逆变换(29)实现了条纹噪声表达式:其中.*是两个矩阵的点乘;./是两个矩阵的点除法;是傅里叶变换;是傅里叶逆变换。注意,矩阵的完整卷积将改变其大小。在计算过程中进行规范化是非常必要的。每次迭代后,拉格朗日乘数必须更新为[28]: 最后,噪声分量得到原始图像的,并通过.
3.3. AEPO公司
根据中的实验第2.3节,我们了解到AEPO的选择对条纹噪声去除算法的有效性有很大影响。图4a–d表明,为了优化去噪效果,AEPO值必须随着边缘对比度的增加而增加。 为了量化边缘像素的对比度,定义了标准化边缘对比度的公式:哪里,是行中像素的边缘对比度和列图像;是像素的相邻像素垂直于条纹噪声的方向;是平均运算;n个是图像的数字。此外,我们可以获得如下公式所示: 通过上述实验,可以通过以下方法优化不同边缘对比度的AEPO:哪里和是规范化参数和e(电子)是自然对数。 4.实验结果
在我们的实验中,在三个不同的图像数据集上将我们的方法与三种最先进的方法进行了比较。对比方法是针对条纹噪声的多尺度引导滤波器(MSGF)[7],小波变换与梯度均衡(WAGE)相结合用于条纹噪声[11],以及带条噪声的全变差耦合导向滤波器(TVGF)[14]. 为了进一步证明该方法的有效性,在对比实验中添加了烧蚀实验,即非AEPO方法。所有图像数据均使用LUSTER TB640-CL冷冻中波前红外相机拍摄,分辨率为640×512。所有实验都是在MATLAB(R2020 b)上运行的,使用一台具有8 GB RAM和AMD Ryzen 7 2700X Eight-Core的计算机[电子邮件保护]千兆赫。 对实验数据进行了主观和客观评价。主观评价的目标是去噪图像的边缘细节和去噪程度。对于实际数据的实验,由于没有可供参考的真实图像,因此我们选择了无参考的降噪评估指标(NR)[29,30],平均相对偏差(MRD)[30,31]和图像失真(ID)[32,33]. NR的定义如公式所示(35),这反映了去噪图像的整体性能。MRD的定义如公式所示(36),反映了在无条纹区域中保留图像信息的能力。ID的定义如公式所示(37),表示去噪后图像的失真程度。去噪效果与NR和ID呈正相关,与MRD呈负相关。哪里和代表…的价值N个分别在原始图像和去噪图像中。是条纹产生的频率分量。N个是平均功率谱中条纹噪声的总功率。哪里和是点的像素值我分别在原始图像和去除条纹噪声后的图像中。此外,表示选定区域中所有像素的数量。哪里和代表…的价值S公司分别在原始图像和去噪图像中。是由没有条纹的原始图像引起的频率分量。S公司代表平均功率谱中干净图像的总功率。 4.1. 参数分析
拿图4作为一个例子,对这三个正则项进行了敏感性分析,目的是验证关键参数对我们的方法的重要性。对于这样的参考实验,使用全参考评估度量来更好地反映算法的去噪性能。作为全参考评价指标的代表,峰值信噪比(PSNR)通常被广泛用于确定参数,因为它可以反映图像的去噪效果。因此,我们选择PSNR度量来评估此实验,以证明参数选择的有效性。首先,根据经验设置为1。图5显示了PSNR和常规术语之间的关系和[34]. 中的结果图5证明所选的和确实影响了去噪性能。在其他实验中也得到了类似的结果。根据实验结果,确定,和。至于罚款,其数值根据经验设定为.在公式中(12),的最佳值和落入、和分别是。在我们的实验中,这两个参数根据经验设置为和分别是。 4.2. 实验内容
为了证明本文提出的方法的通用性和有效性,选取了四幅不同场景的红外图像作为实验对象。第一幅图像如所示图6a、 它包含一个与背景有较大灰度差异的人,以及一个垂直边缘与背景有较小灰度差异的对象。第二幅图像如所示图6b、 它包含几栋对着天空的建筑,与条纹噪声的灰度值略有不同。此外,还有大量小型垂直要素。第三幅图像如所示图6c、 其中包含一栋建筑,其特征没有明显的垂直纹理。第四幅图像如所示图6d、 主要由复杂建筑组成。除了正常的建筑物外,在原始图像中还可以观察到云和塔吊等微观物体。在这四幅图像中,存在着灰度差异不同的条纹噪声、微小的垂直边缘特征和各种纹理特征。我们的方法所取得的优异结果可以充分说明。 4.2.1. 烧蚀实验
本节显示了我们提出的方法的烧蚀实验。如所示图7a、 b、非AEPO方法和我们的方法都显示出良好的去噪性能。然而,图7a显示垂直边缘特征明显模糊(被红色虚线包围)。图7c、 d将用不同方法去噪的图像中所有行的平均功率谱密度(MPSD)与原始图像中所有行的MPSD进行比较,其中横坐标是归一化频率,纵坐标是所有行的MPSD。可以观察到图7c比in稍微光滑一些图7d(用红色虚线包围)。这一现象证实了图7a、 b。 如所示图8a、 b、非AEPO方法和我们的方法都具有良好的去噪性能。然而,图8a显示了建筑物上垂直边缘特征的明显模糊(由红色虚线包围)。可以观察到图8c比中的略光滑图8d(用红色虚线包围)。这一现象证实了图8a、 d。 如所示图9a、 b、非AEPO方法和我们的方法都有效地去除了原始图像中的条纹噪声。然而,我们可以从中看到图9a建筑顶部的垂直边缘特征明显模糊(被红色虚线包围)。可以观察到图9c比中的略光滑图9d(用红色虚线包围)。此现象与中算法的性能一致图9a、 b。 如所示图10a、 b、非AEPO方法和我们的方法在去除条纹噪声方面都有很好的性能。然而,我们可以从中看到图10a建筑的垂直边缘特征明显模糊(被红色虚线包围)。可以观察到图10c比中的略光滑图10d(用红色虚线包围)。这与图10a、 b。 4.2.2. 对比实验
为了验证该方法的有效性,在含有条纹噪声的图像上进行了几次实验。第一次实验于年报道图11。如所示图11a、 MSGF去噪效果相对较差,不能有效识别和去除横向梯度变化较小的不规则条纹噪声。如所示图11b、 WAGE方法仍然留下少量的条纹噪声未被去除。如所示图11c、 TVGF在水平方向对原始图像进行了过平滑处理。因此,人的边缘和物体的垂直特征非常模糊。如所示图11d、 该方法在尽可能保留边缘纹理信息的同时,有效地去除了不规则条纹噪声。图11e–h将用不同方法去噪的图像中所有行的平均功率谱密度(MPSD)与原始图像中所有行的MPSD进行比较,其中横坐标是归一化频率,纵坐标是所有行的MPSD。图11e、 f在原始图像中大脉冲的位置清晰地显示出小脉冲,表明一些条纹噪声没有被消除。图11g、 h在MDSP中表现良好,这与图11a–d。比较充分证明了我们的方法在去除条纹噪声方面的优越性。 第二个实验报告于图12。原始图像是一幅红外图像,其中包含几座对着天空的建筑物。图像中的对象与背景的灰度差很小,很难通过频域滤波区分建筑物边缘和条纹噪声。如所示图12a、 b、MSGF和WAGE虽然保留了边缘,但降噪效果较差,并且在背景中留下了清晰的条纹噪声。如所示图12c、 由于建筑物边缘像素的过度平滑,TVGF导致信息丢失。如所示图12d、 我们的方法消除了条纹噪音,保留了建筑物的边缘和细节。中的MDSP图12e–h与我们方法的性能一致。上述结果进一步证明了我们方法的优越性。 第三个实验报告于图13。原始图像描绘了一栋具有垂直结构的建筑。如所示图13a、 b、MSGF和WAGE在所有方法中表现最差。图像的边缘和细节得到了保留,但噪声并没有被有效地消除。如所示图13c、 尽管TVGF具有良好的去噪效果,但它导致了边缘特征的明显衰减。此外,如所示图13d、 我们的方法保留了图像的边缘信息,同时有效地实现了条纹噪声的去除。中的MDSP图13e–h与我们方法的性能一致。上述结果为我们的方法的优越性提供了更多证据。 上一次实验报告于图14。如所示图14a、 b、MSGF和WAGE被其他方法所掩盖,因为它们无法消除一些条纹噪声。如所示图14c、 用TVGF方法去噪后的图像边缘被不同程度的模糊(被红色虚线包围)。中的MDSP图14e–h与我们方法的性能一致。上述结果充分反映了我们方法的优越性。 表1比较了四种方法去噪后图像的NR、MRD和ID值。每个指标的最佳值以粗体显示。 如所示表1,我们的方法在NR和MRD方面效果最好,这反映了对条纹图像进行去噪的能力。从ID来看,我们的方法也取得了相当好的效果。一些方法由于无法完全去除噪声,并且只保留了原始图像的部分信息,因此具有较高的ID。通过主观观察图11,图12,图13和图14,用我们的方法去噪的图像没有严重失真,保留了边缘细节,ID值接近1。这些结果证明了我们的方法在去除条纹噪声方面是很好的。 5.结论
基于L1-模和AEPO的稀疏表示,提出了一种红外图像条纹噪声去除模型。该模型充分利用了红外图像中条纹噪声与红外图像中其他成分在方向、横向和结构上的差异,并用L1-模很好地描述了红外图像的稀疏性。AEPO聚焦于边缘像素,能够合理地分离和去除条纹噪声,并能很好地保留原始图像的边缘信息。引入经典的ADMM算法求解该模型。最后,通过大量实验证明了我们方法的优越性。尽管如此,在条纹噪声去除领域仍然存在一些问题。我们提出的方法在处理对角条纹噪声或强条纹噪声时存在缺陷;在未来,我们将致力于从红外图像中去除这些噪声。