杂志的下一篇文章
RadArnomaly:保护雷达系统免受数据操纵攻击
期刊上的上一篇文章
使用集成生成对抗网络提高钢表面缺陷探测器的精度(EnsGAN-SDD)
 
 
订购文章重印
字体类型:
宋体 佐治亚州 宋体,Verdana
字体大小:
Aa公司 Aa公司 Aa公司
行距:
列宽:
背景:
第条

基于灰度信息的超帧高动态红外成像多积分时间自适应选择方法

北京理工大学光电成像技术与系统教育部重点实验室,北京100081
*
信件应寄给的作者。
传感器 2022,22(11), 4258;https://doi.org/10.3390/s22114258
收到的提交文件:2022年4月16日/修订日期:2022年5月23日/接受日期:2022年5月30日/发布日期:2022年6月2日
(本条属于本节光学传感器)

摘要

:
随着超帧高动态范围红外成像技术的发展,扩展了热成像系统的动态范围,如何选择不同的积分时间以获得包含更多信息的HDR融合图像是一个关键问题。本文提出了一种多积分时间自适应方法,以解决超帧红外图像选择中缺乏客观评价方法的问题,包括以下步骤:使用图像评价指标获得最佳全局曝光图像(最佳积分时间);根据区域生长点对图像进行分割,以获得环境/高温区域,选择灰度最接近红外成像系统中灰度的局部最优图像作为两个相应区域(最低和最高积分时间);最后,对上述三幅图像进行融合和增强,实现HDR红外成像。通过将该方法与现有的一些集成时间选择方法进行比较,并将该方法应用于一些典型的融合方法,通过主观和客观评价,表明该方法比现有算法具有明显的优势,它可以从不同的积分时间序列图像中优化选择图像,形成包含完整图像信息的最佳组合,扩大了红外成像系统的动态范围。

1.简介

在实际红外应用中,当强辐射目标(如太阳、火焰或干扰弹)与周围目标同时存在时,辐射亮度范围很大。此外,对于当前的14位模数(A/D)冷却红外焦平面阵列(IRFPA)热成像系统,即使不考虑S形响应曲线的非线性,等效动态范围也只有约84 dB[1]. 动态范围远小于自然场景的辐射差异。这意味着即使调整了系统的成像参数,也无法避免曝光不足或曝光过度。此外,无法一次捕获场景的所有细节,这将对多个目标检测和识别任务产生非常不利的影响。因此,有必要提出一种高动态范围(HDR)成像方法,以适应全辐射场景的有效成像。
目前用于红外成像的动态范围扩展技术大致可分为基于像素的A/D转换技术和基于超帧的变积分时间成像技术[2]. 前者对每个像素分别进行片上像素级A/D转换,以实现高比特宽、低噪声HDR成像,是一种先进的IRFPA设计方法。然而,检测器过程复杂且难以开发。此外,这一阶段的成本很高。由于其低噪声等效温差(NETD),即使使用18位A/D转换也难以获得满足实际HDR场景要求的场景动态范围。后者基于现有的红外焦平面阵列(IRFPA),使用具有周期循环的可变积分时间超高帧频成像,通过融合具有不同积分时间的低动态范围(LDR)图像来扩展HDR红外成像[]. 仅通过数字图像处理方法来扩展动态范围是一种有效的方法。
超帧HDR成像技术主要涉及两个部分:前端积分时间或响应函数调整;LDR图像的后端HDR融合增强算法。在可见光HDR成像领域,前端处理主要关注基于灰度分析的自适应曝光方法[4,5],如灰度直方图(包括固定组块理论[6,7],模糊逻辑计算权重理论[8,9],和场景区域分割理论[10]). 边缘信息等评价方法[11]和梯度差[12]也对积分时间的调整起到了积极作用。HDR融合方法通常使用一定的权重来计算图像序列的期望输出,以达到融合效果[13,14,15,16,17,18,19]. 例如,Mertens等人[20]提出了一种使用对比度、饱和度和良好曝光度来评估LDR图像的金字塔分解方法,以获得与HDR融合的三个指标相对应的权重图。Zheng等人[21]提出了一种自适应结构分解方法,利用伽玛校正生成一系列图像,对图像进行分割后,计算其对比度、期望信号输出和高斯函数评价下的曝光质量,最后进行HDR融合。与可见光图像不同,红外图像通常对比度低、噪声高、细节不清楚,灰度分布更集中[2]. 在HDR红外成像领域,通常使用LDR图像的积分时变来实现HDR图像融合。对于前端,对于LDR图像的选择仍然没有达成共识。研究人员通常根据先验知识和获取的LDR图像粗略判断响应变化和曝光水平,或者对不同温度目标灰度与介质灰度之间的关系进行实验分析,以确定“最佳”集成时间[2]. 然而,人为选择导致的错误判断以及噪声和盲点导致的图像不均匀性会影响LDR图像选择。由于实时性的限制,成像设备很难将参数快速调整到合适的曝光水平。研究人员希望根据当前帧图像信息调整下一帧的积分时间参数[22],或调整曝光值和积分时间之间的关系[23,24]使用当前图像的全像素灰度平均值与预设的最佳平均灰度值进行比较[25,26]. 这种方法处理流程简单,可以在一定程度上优化图像质量,但忽略了局部灰度的差异,整体效果不佳。因此,研究图像的子区域[27,28,29]和亮度补偿[30]已执行。就HDR红外图像融合方法而言,一些可见光HDR融合方法不一定适用于超帧HDR热成像。基于响应函数的HDR融合方法很常见[1],但更适合HDR测温应用。此外,Li等人[2]针对高动态范围场景中的目标检测与跟踪,提出了一种多积分时间红外HDR图像融合+细节增强级联算法,这是一种非线性融合方法。
本文主要研究超帧HDR红外成像中多积分时间图像非线性融合的积分时间问题。提出了一种基于灰度信息评价和区域生长点分割的红外图像多积分时间自适应方法,以达到“最优”三幅LDR图像的积分时间选择,并将其与多积分时间红外HDR图像融合+细节增强级联算法相结合[2]实现HDR场景红外成像的“最佳”动态范围扩展。
本文的其余部分组织如下:第2节给出了该方法的总体框架,并详细介绍了本文涉及的两个主要子算法。第3节通过将现有的几种选择方法的融合结果与本文的融合结果进行比较,并将所选图像应用于几种典型的融合方法,验证了所提方法的有效性,验证了该方法的通用性。第4节讨论结果。最后,第5节研究结束。

2.材料和方法

通常,红外焦平面探测器具有“S”型响应曲线,当积分时间变化时,红外焦面探测器的正常响应对应于特定的温度范围,如图1a.当融合具有不同积分时间的多个LDR图像时,将响应曲线缝合在一起,以获得更大范围的温度响应输出曲线,如图1b.显然,选择合适的积分时间和合适的LDR图像序列融合方法是影响融合图像动态范围和成像质量的关键因素。如果积分时间间隔较小,则动态范围性能的扩展不明显。如果根据映射关系将响应曲线对应于每个积分时间的法向响应部分在灰度中拉伸,则将“S”形响应曲线转换为近似线性函数,产生的融合图像相当于在一个积分时间内获取更大的温度范围;实现了红外图像动态范围的线性扩展。这种方法通常用于HDR测温成像,因为实际场景中的目标温度通常是不连续的,特别是在存在强辐射目标(如太阳、干扰弹等)的情况下。使用线性融合需要更多的LDR图像。在红外成像中,无需保持辐射的线性。使用基于像素灰度的非线性融合,可以使用梯度[16,17,18,19,31]减少热成像系统获取图像的繁琐过程。

2.1. 基于区域生长点分割的局部最优图像选择

对于热成像相机,低积分时间成像提取高温目标区域的信息。因此,很难有效地获得图像环境温度区域的详细信息。高积分时间成像主要提取环境温度区域的信息,而高温区域的细节会因过度曝光而丢失,这严重影响了图像分割效果。因此,一些经典的分割算法,如边缘检测算法和形态分水岭算法,并不完全适合处理多积分图像序列。如图所示图2随着积分时间的增加,高温区域(电加热器)逐渐从透明变为过度曝光。此外,环境温度区域(衣服褶皱)从模糊变为清晰,并变得有些扭曲。这意味着积分时间的变化将对图像的每个区域产生不同的影响,并且非常高和非常低的积分时间都将导致图像失真。此外,同一场景中物体的辐射亮度往往呈现跳跃分布(如图3),且不容易实时获得相应的温度范围;因此,很难根据温度-灰度曲线进行动态范围的拼接。
区域生长点分割[32]是一种可以应用于红外成像的传统算法。基本方法是定义种子点和决策规则,并向种子添加具有类似属性的相邻像素。目的是形成相应的生长区域。分析HDR IR图像的场景特征,环境温度区域的灰度差别不大。通常,环境温度区域中像素点A和像素点B之间的灰度值差小于任何A和B像素点的灰度值,并且高温区域和环境温度区域之间的差值通常是环境温度区域像素值的两倍以上。图4针对三次积分时间成像的目标场景,给出了LWIR HDR热成像系统的灰度直方图分布。高动态范围场景的直方图具有两个明显的峰值和较大的峰间距离,可以通过对图像像素进行全扫描来将环境温度区域从高温区域分割出来。图5显示了基于简单灰度阈值分割的三个积分时间图像。集成时间T型热成像相机的频率与时钟周期数有关n个.计算如下:
T型 = n个 (f)
哪里(f)是电路的时钟频率;当前实验热成像系统1时钟周期1/(f)约为0.133μs;n个是与时钟周期数相对应的当前积分时间。
积分图像的直方图计算如下:输入图像的灰度T型根据灰度将其分为相等的间隔,称为HD;总共有间隔,其中是灰度的总数。如果成像系统D类位,然后是2D类,每个间隔中下降的像素数计算为N个.基于中等灰度间隔分为两部分。如果系统位宽度为14位,则中等级别为8192。两个搜索间隔是[0,8192]和(819216383]。在第一个搜索间隔中,计数的最大值N个计算出最大值对应的灰度值N个确定为灰度值G公司L(左)在框架的环境温度区域。在上一个搜索间隔中,计数的最大值N个计算出最大值对应的灰度值N个确定为灰度值G公司小时在框架的高温区域中,如下所示:
{ G公司 L(左) = 小时 D类 ( 1 , x个 ) , 最大 ( N个 ( 1 , ) ) , ( 1 , 2 ] G公司 小时 = 小时 D类 ( 1 , ) , 最大 ( N个 ( 1 , j个 ) ) , j个 ( 2 , ]
哪里是直方图间隔的数量,N个是每个间隔中的像素数,x个是对应于最大值的位置N个间隔中的值(1,/2) 和(/2,)分别为;高清是一维元组。
根据直方图分析,G公司小时表示高温区域大多数像素的灰度,以及G公司L(左)表示环境区域中大多数像素的灰度。种子点(0,j个0)确定如下:通过将低积分时间的图像输入图像处理系统,并根据直方图寻找第一个峰值,种子点的灰度可以确定为G公司L(左)。通过读取灰度,灰度为的任何像素G公司L(左)被选为种子点的位置(0,j个0). 对于同一场景,环境区域的位置保持不变,因此其他图像的种子点与上面相同。
初始值 μ 设置为阈值,种子点周围的八个连接区域用作生长计算区域。根据公式(3),将待判断像素分为两个区域,用“0”和“1”表示。标记为“0”的像素被归类为种子区域,并被视为环境温度点;否则,标有“1”的像素被视为高温点,即,
F类 = { 0 , ( , j个 ) μ × ( 0 , j个 0 ) 1 , e(电子) e(电子)
哪里 ( 0 , j个 0 ) 是种子点的灰度,并且 ( , j个 ) 是八连通区域中像素的灰度。
在一轮区域增长操作后,标记为“0”的像素被添加到种子点以形成种子区域。将种子区域的灰度平均化,并用作新的种子灰度值。区域增长继续与种子区域周围的八个连接区域一起进行,直到判断出所有像素。
与使用固定值判断规则的一般区域增长方法不同,阈值 μ 这里使用的是一个变量。图6显示了同一场景的三组积分时间红外8位图像的灰度值分布。中每个图形上的两个标记图6分别是环境温度区域和高温区域的灰度参数。每个标记都包含实例点的坐标和相应的灰度值。在同一场景中,环境温度区域和高温区域的灰度差随积分时间而变化T型,这使得阈值 μ 可变参数而非非恒定参数,表示为 μ ( T型 ) 。这同样适用于灰度参数G公司L(左)(T型)和G公司小时(T型). 阈值 μ ( T型 ) 可以从两个灰度值之间的关系中获得如下:
μ ( T型 ) = [ 1 + G公司 小时 ( T型 ) G公司 小时 ( T型 ) + G公司 L(左) ( T型 ) ]
如前所述,环境温度区域中像素的灰度差不大,因此第二系数, G公司 小时 ( T型 ) G公司 小时 ( T型 ) + G公司 L(左) ( T型 ) (小于1),用于确定从“种子”灰度到高温灰度的范围。这意味着灰度略大于种子点的像素也应被视为环境温度区域的一部分,但该范围不会超过种子点本身的灰度。随着积分时间的增加,环境温度区域的灰度增加,但高温区域基本处于饱和状态,灰度变化不大,第二系数相应减小。这意味着将范围定义为环境区域减小,避免了在高积分时间下将高温区域中的像素划分为环境温度区域的错误。如所示图7对于1995μs的图像,灰度小于种子点1.74倍的像素可以定义为环境温度区域,并取得了良好的分割效果,如所示图7b.然而,如果使用1.2倍,环境温度区域(例如衣服)也被定义为高温区域,如图7a;如果使用3次,则几乎所有像素都被定义为环境温度区域,如中所示图7c。
图像被标记物分割F类分为两个主要范围,R(右)L(左)(T型)和R(右)小时(T型). 在中获得的分割图像图8对应于中场景成像序列的积分时间图2经实验验证,该区域的图像质量(包括清晰度、对比度和良好曝光)以平均灰度为中心,呈抛物线函数,近似开口朝下。当积分时间过高或过低时,部分细节不可见,信号输出所表征的场景信息在中等灰度下最可靠(参见Debevec的[33]详细阐述)。因此,根据分割阈值分割后的区域平均灰度应尽可能接近中等灰度。目标函数的构造图像序列选择如下:
b条 e(电子) = 参数 最小值 T型 | T型 ( , j个 ) ¯ 1 2 × ( 2 w个 1 ) | , ( , j个 ) 第页 e(电子) o个 n个
哪里T型是与积分时间相对应的图像输出T型; T型 ( , j个 ) ¯ 是计算区域的平均灰度; w个 是原始数据的位宽度;区域由表示R(右)L(左)(T型)和R(右)小时(T型)分别是。
通过遍历图像的多积分序列,我们计算出每个图像高温区域的平均灰度, T型 ( , j个 ) ¯ ,使用公式(5)计算平均灰度之间的距离 T型 ( , j个 ) ¯ 中等灰度,这意味着每个与积分时间相对应的图像都将获得其相应的灰度距离。然后,使用气泡排序对这些距离进行排序,并确定距离中等灰度最近的距离;其对应的图像称为高温区域的局部最优图像小时这确保了高温区域的详细成像。环境温度区域的图像选择过程与上述方法类似;唯一的区别是每个图像的环境温度区域的平均灰度, T型 ( , j个 ) ¯ 计算得到了环境温度区域的局部最优图像也就是说,在选择时小时,高温区域R(右)小时应用于“区域”; 选择时,环境温度区域R(右)L(左)应用于“区域”.

2.2. 基于信息评估的最佳全局曝光图像选择

2.2.1. 图像质量评价指标的选择

图像质量的评估是多维的。如果只从一个维度对图像进行评估,那么它将面临一个非通用评估方法的问题。因此,使用多个指标对图像进行综合评价更为合理。
(1)
信息熵
在信息学领域,图像中的所有像素都可以视为离散的信息源。因此,信息熵定义如下:假设图像是×n个像素矩阵,每个像素对应于0到之间的灰度( 2 w个 − 1). 此外,假设每个灰度级的概率为P(P).
P(P) = α × n个
哪里α是每个灰度的像素之和。信息熵表示如下:
小时 ( X(X) ) = = 0 2 w个 1 P(P) ( X(X) ) 日志 [ P(P) ( X(X) ) ] )
哪里 w个 是系统位宽度,并且X(X)第个灰度级。
根据分析,如果曝光时间很长或很短,获得的图像质量就会降低。图像的信息容量和信息熵的值都降低了。如所示图9信息熵与积分时间的关系是一个具有唯一极值点的抛物线函数。此外,极值点在两端是单调的。如果曝光时间合适,图像将具有最高的信息容量值以及信息熵。
(2)
图像渐变
在数学中,梯度是变化率的概念:图像的梯度表征目标边缘的突变程度,有效地测量边缘细节的数量。图像每个点的梯度是一个二维向量,包含x个指示。从其定义来看,梯度仅适用于计算连续函数。因此,对二维离散函数(例如图像)使用有限差分是合适的。原始图像与S公司操作员小时x个小时获取图像x个和的绝对值x个计算得到梯度和。
S公司 = N个 ( | x个 | + | | )
其中S公司操作员小时x个小时具体如下:
小时 x个 = [ 1 0 1 2 0 2 1 0 1 ] , 小时 = [ 1 2 1 0 0 0 1 2 1 ]
(3)
平均灰度和灰度平均方差
平均灰度意思是是一种常见的图像质量评价指标。考虑到图像中所有像素的灰度平均值,将对图像的灰度进行全面分析。计算如下:
e(电子) n个 = 1 N个 = 1 N个 j个 = 1 ( , j个 )
哪里N个分别是图像的宽度和高度。
如果图像的平均灰度远小于中等灰度,则灰度直方图位于左侧,表明积分时间太小,无法有效成像高温区域;如果平均灰度接近饱和灰度,则灰度直方图向右,表明积分时间很长,环境温度区域接近过度曝光。
灰度平均方差标准是图像的所有像素的灰度值与图像的平均灰度值之间的差的总和,计算如下:
t吨 d日 = 1 N个 × = 1 N个 j个 = 1 [ ( , j个 ) 意思是 ] 2
如果灰度平均方差较大,则图像的每个像素的灰度值分布广泛。灰度直方图具有较大且平坦的灰度跨度,所获得的图像具有较大的动态范围和更多的细节。

2.2.2. 基于图像质量评价指标的最佳全局曝光图像选择

通常,自然成像下的图像无法达到最佳指标;上述四个图像评价指标的最佳值可以对应于多积分图像序列的不同图像。因此,需要确定一种排序方法来选择最佳的全局曝光图像。
信息熵指标由大到小排序。图像梯度指示符按绝对值从最大到最小进行排序。平均灰度指示器从中等灰度的最小差异到最大差异进行排序。灰度平均方差指示器按从大到小的顺序排序。最后,对上述排名进行汇总,得出所有形象评价指标的综合排名。获得综合排名第一的图像,被认为是最佳全局曝光图像,如方程(12)所示。
{ u个 第页 n个 k个 = S公司 U型 ( 小时 第页 n个 k个 ,   S公司 第页 n个 k个 ,   第页 n个 k个 ,   S公司 t吨 d日 第页 n个 k个 ) 最大 ( u个 第页 n个 k个 ) n个 t吨 e(电子) 第页 o个 t吨
哪里穆尔等级是图像的综合排名,计算为每个评价指标的排名总和;小时等级是信息熵的排名小时;S公司等级是图像渐变的排名S公司;等级是图像平均灰度的排名意思是;标准等级是图像灰度平均方差的排名标准; 完整的选择是与最大值相对应的积分时间穆尔等级.
拍摄涉及的图像图2作为示例,每个图像评价指标的排名如所示表1。时钟周期为15000的图像可以用作场景的最佳全局图像。评价指标的最佳结果用粗体标记。
由于热成像处理等问题,原始图像的背景噪声较大,像素不良问题突出。因此,在融合之前需要对图像进行预处理,包括去除盲元素、使用盲元素插值算法、噪声滤波和两点校正进行非均匀性校正。

2.3. 图像融合与增强

在本研究中,研究团队提出了多积分时间红外HDR图像融合+细节增强级联算法[2]称为MIF&DE,用于融合和增强图像。步骤如下:
步骤1。输入图像序列,计算每张图像的平均灰度,找到最接近中等灰度的图像,这将被视为曝光最好的图像b条1.
第2步。使用阈值分割在最佳曝光图像中定位强辐射区域。
步骤3。计算图像序列中强辐射区域的平均灰度值,找到最接近中等灰度的图像,并将其视为图像b条2最好暴露在强辐射区域。
步骤4。计算图像的梯度贴图b条1b条2然后将它们映射到各自的目标梯度图,最后形成一个合成目标梯度图。
步骤5。根据高斯函数得到每个图像序列的权值,并根据权值形成目标灰度图。
步骤6。最后,基于目标梯度图和目标灰度图构造目标函数,并最小化目标函数以获得融合图像。
第7步。输入融合后的图像,通过机器学习将图像分为简单块和复杂块,并将简单块合并为简单区域。
步骤8。根据人眼的临界可见偏差计算简单和复杂块的灰度映射表。最后,计算输出灰度,得到融合图像的增强效果。
对于HDR成像,需要分别研究高温/低温目标场景区域和环境温度区域;除了局部效果外,还应考虑整个场景的连续性。因此,我们提出了一种基于灰度信息的多积分时间自适应选择方法,如所示图10整个图像处理过程分为四个模块:图像采集模块、积分图像序列选择模块、图像融合模块和图像增强模块。积分图像序列选择模块包括选择局部最佳图像和选择最佳全局曝光图像,值得注意的是,这两个过程可以并行或垂直执行。
步骤1。调整不同的积分时间以捕获红外图像序列。
第2步。集成图像序列选择模块的输入。
步骤3。使用区域生长点分割选择局部最优图像。通过积分图像序列迭代计算灰度直方图并确定分割阈值;高温区域的区域分割R(右)小时(T型)和环境温度区域R(右)L(左)(T型);并找到各自的最优目标函数,确定环境温度区域的局部最优图像和高温区域的局部最优图像小时.
步骤4。使用灰度信息评估指数选择整体评估指数最佳的图像作为最佳全局曝光图像,该指数可以补偿局部最佳曝光图像中缺少某些细节的情况。
步骤5。输入三个选定的图像,小时、和进入图像融合模块。
步骤6。将融合的HDR图像输入图像增强模块以获得可视化输出。

3.实验对比结果

为了验证该算法的有效性和通用性,选择了两台性能不同的热成像相机拍摄不同的场景。InfraTec的冷却中波热成像相机ImageIR8355(如所示图11a) 成像仪器1使用德国制造,具有以下规格:MCT探测器类型,光谱范围3.7–4.8μm,640×512像素,NETD≤20 mK,14位动态范围。Cedip的冷却中波热成像相机Jade(如所示图11b) 法国制造,用作成像仪器2,具有以下规格:探测器类型InSb,光谱范围3–5.2μm,320×256像素,NETD≤25 mK,14位动态范围。
在热成像相机运行之前,需要进行基于黑体的非均匀校正,以消除探测器图像元素响应的差异。具体操作过程包括使用热成像相机来可视化黑体。为确保黑体处于稳定的工作状态,其温度不应远低于环境温度,也不应超过100°C。应控制黑体温度,从10°C开始,逐步增加至70°C,分5°C步进行。积分时间的上下阈值取决于热成像相机。当黑体图像的大多数像素饱和时,积分时间已达到上限;当不能显示黑体图像时,积分时间已经达到下限。获得了不同温度和积分时间下的黑体序列图像。计算单个图像的平均灰度值。利用MATLAB软件对不同积分时间对应的温度-灰度曲线进行了拟合,其中温度和灰度近似成正比,并选择了直线拟合方法。接下来,我们找到了最适合的两个温度值,并将其对应的平均灰度值作为标准灰度值,以便计算每个像素的校正系数。像素需要增益和偏置系数才能获得相应的标准灰度值。此外,需要删除像素饱和度导致的异常值。如所示图12,如果温度过高产生的饱和图像未被消除,则线性拟合图12a将选择拟合度最高的两个温度,15°C和35°C,表示为(15,35);去除饱和图像后,此积分时间的线性拟合成为图12b、 选择拟合度最高的两个温度,即15°C和40°C,表示为(15,40)。冷却中波热成像相机ImageIR8355的积分时间序列为:5、8、11、13、20、27、40、53、67、80、93、106、133、200、266、332、399、466、532、665、798、931、1064、1197、1330、1596、1862、2128和3990μs。冷却中波热成像相机Jade的积分时间序列如下:50、100、200、300、400、500、600、700、800、900、1000、1100、1200、1300和1400μs。
利用该方法选取三幅热像,通过去噪和盲元剔除进行处理,并根据相应的积分时间或最近的积分时间选择校正系数进行校正处理[1]. 采用多积分时间红外HDR图像融合+细节增强级联算法进行融合和增强。为了证明该方法的有效性,选择了四种现有方法进行比较。
(1)
实证选择方法[2]称为ES,分别选择要成像的四个不同对象的温度,并调整积分时间,使平均灰度值最接近中等灰度值,以确定四个积分时间。
(2)
基于图像评估诱导的方法(称为EI)仅选择基于图像的图像评估指标。选择原则是计算序列中每个图像的信息熵、梯度差、平均灰度和平均灰度平方差,并选择与四个指标中的每个指标对应的最佳图像进行融合。计算结果可能有重叠部分(如表2).
(3)
最大梯度差法[12]MGD计算图像序列的拉普拉斯梯度,并选择梯度差最大的两幅图像作为融合图像。
(4)
多区域均值加权+信息熵选择方法[29]称为MW&EN,通过计算不同区域的灰度权重来调整下一个图像帧的积分时间,以便平均灰度接近所需的平均值,并且当调整看起来过大时,利用最大信息熵调整积分时间,最终得到与最佳积分时间对应的图像。
(5)
最大信息熵调整方法[27]称为ME,使用直方图分割图像,并搜索每个区域中与最大信息熵对应的积分时间。
表2给出了五种方法的选定集成时间。经过热成像、选择、融合和增强处理,三组场景的最终结果如所示图13,图14图15.
为了进一步说明所提方法的通用性,需要使用不同的融合方法对所提方法选择的图像进行融合。该方法应用于几种典型的融合方法,包括Mertens提出的融合方法[20]、Vonikakis[34],马[35]和寇[17]以及MIF&DE[2],如所示图16,图17图18.

4.讨论

从主观评价的角度来看,单次积分图像无法很好地显示三个场景中的高温区域或环境温度区域。对于ES方法,场景1被很好地可视化。这是因为积分时间是使用该场景的四组不同温度目标(而不是其他场景的一组)来选择的。温度也发生了变化,这可能导致选定的积分时间失效。此外,不同的热成像相机对同一目标具有不同的成像性能,因此积分时间也会不同。例如,场景3中的高温加热器被“黑边”扭曲了。对于EI方法,一个常见的问题是在高温地区过度暴露。对于MGD方法,严重的问题是环境温度区域会变得模糊。这种现象存在于场景1和场景2中:场景2中的电加热器变形了,虽然场景3整体成像效果很好,但门的光晕很强烈,人物后面自行车的轮廓需要加深。对于MW&EN方法,高温区域在每个场景中的成像质量都很差。对于ME方法,可以很好地显示环境温度区域的细节;然而,高温区域的质量较差,比如场景2中的加热器有一些变形。可以看出,通过该方法获得的融合图像考虑了高温区域和环境温度区域的细节;没有图像失真现象,获得了较好的图像质量。
由于没有公认的指标来评估HDR红外融合图像的质量,我们使用了粗糙度(ρ),融合视觉信息保真度(VIFF)[36]、自然图像质量评价指标(NIQE)[2]和信息熵(entropy)分别从噪声级、保真度、视觉感知质量和平均信息方面进一步检验所提方法。一般来说ρ图像越平滑,图像的噪声级别越低;VIFF越大,融合图像保留源图像的视觉信息越准确,图像质量越好;NIQE越小,图像的视觉感知质量越好;熵越大,图像中包含的细节信息越丰富。表3给出了场景1、场景2和场景3的融合图像评价指标。评价指标的最佳结果用粗体标记。
从客观评价的角度来看,由于多区域加权+信息熵选择方法的特殊性,该方法基于当前帧预测下一幅图像,因此获得的图像对原始图像没有控制,因此该方法的VIFF指标不相关。由于MGD方法选取两幅图像,因此图像信息可能较少,导致融合图像模糊,粗糙度降低,这也是MGD方法最低的原因ρ值。除了MGD,该方法在其余方法中具有最低的粗糙度和最平滑的图像。通过对多个场景的指标平均测试,该方法在VIFF值、NIQE值和熵值方面表现出最佳性能,表明该方法具有一定的有效性。
对于上述典型的融合方法的结果,虽然Vonikakis方法在场景3(在电加热器中)的融合结果有一些失真,但大多数方法在整体上都达到了良好的图像质量。通过对比成像结果,Mertens提出的方法在高温区域和环境温度区域都显示出更好的结果,细节清晰可见。本文推荐Mertens提出的融合方法作为该方法的后续融合方法。高温区域和环境温度区域都可以被识别,这证明了该方法的通用性。在第二场中,男子的眼镜上出现了模糊;这是因为当积分时间改变时,人会移动,这不会影响所提方法的有效性。

5.结论

该方法旨在使用可变积分时间超高帧频成像技术融合红外图像。根据场景的灰度分布,标记出高温区域和环境温度区域,并分别识别出灰度最接近中等灰度的两个区域。根据图像评估标准来评估图像序列,以选择最佳曝光图像。最后,对所选择的图像进行融合和增强。所选择的图像的融合效果相对于其他所选择的方法进行评估。因此,实验结果证明了该方法的可行性。
该方法的最大优点是解决了高动态范围红外场景难以清晰显示的问题。当前的红外成像技术适用于环境温度区域,但往往忽略高温区域的细节。显然,该方法更适合高温区域,并考虑了环境温度区域,在成像早期选择包含多积分序列最大信息的图像,以获得更好的整体成像效果。该方法将图像选择阶段与随后的图像增强算法相结合。该方法可以实现积分时间序列图像输入和融合图像增强显示输出。该算法性能更好。然而,在高温区域划分阈值的选择方面,仍需根据不同场景进行调整。这种做法将非常耗时。适应性方面需要进一步改进。

作者贡献

概念化,X.T.和W.J。;方法学,X.T.和J.Y。;软件、X.T.和S.L。;验证,X.T.和J.Y。;形式分析,X.T.、J.Y.和M.W。;调查,W.J.和B.S。;资源,W.J.、S.L.和J.Y。;数据管理,X.T。;书面原稿编制,X.T。;W.J.《写作评论与编辑》。;可视化,X.T。;监督,W.J。;项目管理,W.J.和J.Y。;所有作者均已阅读并同意手稿的出版版本。

基金

本研究由国家自然科学基金资助,批准号61871034。

机构审查委员会声明

不适用。

知情同意书

不适用。

数据可用性声明

不适用。

利益冲突

作者声明没有利益冲突。

工具书类

  1. 刘,M。;李,S。;李,L。;金,W.Q。;Chen,G.基于可变积分时间下冷却红外焦平面阵列响应模型的红外HDR图像融合。红外物理。Technol公司。 2018,94, 191–199. [谷歌学者] [交叉参考]
  2. 李,S。;金,W.Q。;李,L。;刘,M.C。;Yang,J.G.多积分时间红外图像基于灰度梯度估计的融合方法。红外物理。Technol公司。 2019,105, 103179. [谷歌学者] [交叉参考]
  3. 姚,L.B。;陈,N。;Hu博士。;Wang,Y。;毛,W.B。;钟S.Y。;Zhang,J.Q.数字红外焦平面阵列探测器。红外激光工程。 2022,51, 1–11. [谷歌学者]
  4. K.D.库内特。;Nguyen,D。;Kuhnert,L.基于亮度直方图的板载相机多模板自动曝光控制。2011年IEEE计算机科学与自动化工程国际会议论文集,中国上海,2011年6月10-12日;第237-241页。[谷歌学者]
  5. 昆克州Vuong。;Yun,S.H。;Kim,S.使用CMOS技术检测高动态范围条件的新型自动曝光系统。2008年11月11日至13日在韩国釜山举行的2008年第三届融合和混合信息技术国际会议记录;第577-580页。[谷歌学者] [交叉参考] [绿色版本]
  6. Lee,J.S。;Jung,Y.Y。;Kim,B.S。;Ko,S.J.一种先进的摄像机系统,具有强大的AF、AE和AWB控制。IEEE传输。消费。电子。 2001,47, 694–699. [谷歌学者]
  7. 村上,M。;基于使用颜色信息的模糊逻辑的摄像机曝光控制系统。J.Jpn.杂志。Soc.模糊理论系统。 1996,8, 1154–1159. [谷歌学者] [交叉参考] [绿色版本]
  8. Haruki,T。;菊池,K。使用模糊逻辑的摄像机系统。IEEE传输。消费。电子。 1992,38, 624–634. [谷歌学者] [交叉参考]
  9. 清水,S。;Kondo,T.基于模糊逻辑的摄像机曝光控制新方法。IEEE传输。消费。电子。 1992,38, 617–623. [谷歌学者] [交叉参考]
  10. Tao,K。;李,F。;周,Y。;Liu,J.L.IRFPA成像系统动态范围自适应调整技术。红外激光工程。 2008,37,5。[谷歌学者]
  11. Chu,G.S.基于图像处理的自动曝光系统。光电技术。信息。 2010,1, 20–22. [谷歌学者]
  12. 宋,R。;X.H.Jiang。;Jia,Y.合成高效、高动态数字图像的低复杂度方法。CN104301636A,2017年7月28日。[谷歌学者]
  13. W.C.高。;Hsu,首席执行官。;高,C.C。;Chen,S.H.监控系统的自适应曝光控制和实时图像融合。2006年IEEE电路与系统国际研讨会(ISCAS)会议记录,希腊科斯,2006年5月21日至24日;第935-938页。[谷歌学者]
  14. M.H.马利克。;阿西夫,S。;Gilani,M.基于小波的曝光融合。2008年7月2日至4日,英国伦敦,世界工程大会会议记录。[谷歌学者]
  15. Kong,J。;王,R。;卢,Y。;X·冯。;Zhang,J.一种新的多曝光图像融合方法。2007年9月9日至12日在波兰华沙举行的“计算机作为工具”国际会议论文集;第163-169页。[谷歌学者]
  16. Goshtasby,A.A.多曝光图像的融合。图像可视性。计算。 2005,23, 611–618. [谷歌学者] [交叉参考]
  17. 寇,F。;李,Z。;温,C。;Chen,W.通过梯度域引导图像滤波实现多尺度曝光融合。2017年IEEE多媒体与博览会国际会议论文集,中国香港,2017年7月10日至14日;第1105-1110页。[谷歌学者]
  18. 沈杰。;Zhao,Y。;He,Y.详细介绍了使用子带结构进行曝光融合。视觉。计算。 2012,28, 463–473. [谷歌学者] [交叉参考]
  19. 严,Q.S。;Zhu,Y。;周,Y.L。;孙勇强。;张,L。;Zhang,Y.N.通过多曝光融合增强图像视觉效果。模式识别。莱特。 2018,127, 66–75. [谷歌学者] [交叉参考]
  20. Mertens,T。;考茨,J。;Reeth,F.V.Exposure Fusion公司。2007年10月29日至11月2日,美国夏威夷毛伊岛,第15届太平洋计算机图形学与应用会议论文集。[谷歌学者]
  21. 郑,M。;Qi,G.等人。;朱,Z。;李毅。;魏,H。;Liu,Y.基于自适应结构分解的人工图像融合方法的图像去噪。IEEE传感器J。 2020,20, 8062–8072. [谷歌学者] [交叉参考]
  22. 舒尔茨,S。;格林,M。;Grigat,R.R.使用亮度直方图进行最佳自动曝光。WSEAS变速器。系统。控制 2007,2, 93–100. [谷歌学者]
  23. 关,C。;Wang,Y.J.CCD相机实时自动调光系统。选择。精确。工程师。 2008,16, 358–366. [谷歌学者]
  24. Wang,W.L。;李强。;Chang,J.Y。;Song,S.N。;Chen,Y.C.基于近红外相机的自动积分时间调整方法。CN201310473094.XA,2013年12月25日。[谷歌学者]
  25. Dong,F。;刘,H。;Fu,Q.红外热成像相机的一种高动态范围自适应调整方法。CN201611084241.4,2018年6月4日。[谷歌学者]
  26. W.Q.洪。;姚,L.B。;Ji,R.B。;刘,C.M。;苏J.B。;Chen,S.G。;Zhao,C.B.一种基于自适应积分时间的嵌入式红外图像超帧处理方法。CN201410828456.7,2015年5月13日。[谷歌学者]
  27. 侯,X。;罗,H。;周,P.基于最大局部信息熵的多曝光控制方法。红外激光工程。 2017,46, 0726001. [谷歌学者]
  28. Yang,Z.T。;阮,P。;翟,B.基于图像熵的高动态范围场景自动曝光算法。光子之罪。 2013,42,742–746页。[谷歌学者] [交叉参考]
  29. 刘建中。;Bai,J。;孙,Q。;Liu,C.便携式多波段相机的自动曝光时间调整算法。红外激光工程。 2013,42, 1498–1501. [谷歌学者]
  30. Kinoshita,Y。;Shiota,S.等人。;Kiya,H。;Yoshida,T.基于曝光补偿的多曝光图像融合。2018年IEEE声学、语音和信号处理国际会议(ICASSP)会议记录,加拿大阿联酋卡尔加里,2018年4月15日至20日;第1388-1392页。[谷歌学者]
  31. Ke,P。;Jung,C。;Fang,Y.具有整体图像质量指数和局部饱和度的感知多曝光图像融合。Multimed公司。系统。 2015,23, 239–250. [谷歌学者] [交叉参考]
  32. Tang,J.一种基于区域生长的彩色图像分割算法。2010年4月16日至18日,中国成都,2010年第二届计算机工程与技术国际会议论文集。[谷歌学者]
  33. Debevec,体育工程师。;Malik,J.从照片中恢复高动态范围辐射图。2008年8月11日至15日,美国加利福尼亚州洛杉矶市,ACM SIGGRAPH 2008课程会议记录。[谷歌学者]
  34. Vonikakis,V。;O.Bouzos。;安德烈亚迪斯,I.基于光照估计的多曝光图像融合。2011年11月16日至18日在马来西亚吉隆坡举行的IEEE信号和图像处理及应用国际会议记录;第135–142页。[谷歌学者]
  35. 马凯(Ma,K.)。;Wang,Z.多曝光图像融合:一种拼接方法。2015年IEEE图像处理国际会议(ICIP)会议记录,加拿大魁北克市,魁北克省,2015年9月27日至30日;第1717-1721页。[谷歌学者]
  36. 韩,Y。;蔡义忠。;曹毅。;Xu,X.M.一种新的基于视觉信息保真度的图像融合性能度量。信息融合 2013,14, 127–135. [谷歌学者] [交叉参考]
图1。IRFPA的LDR响应曲线及其可变积分时间扩展。()红外成像系统的S型响应曲线;(b条)具有可变积分时间的响应函数的扩展。
图1。IRFPA的LDR响应曲线及其可变积分时间扩展。()红外成像系统S型响应曲线;(b条)积分时间可变的响应函数展开。
传感器22 04258 g001
图2。高动态范围场景的积分时间图像序列图(增强效果):()13μs;(b条)67微秒;(c(c))133微秒;(d日)332μs;(e(电子))665μs;((f))1330μs;()1995μs;(小时)3990微秒。
图2。高动态范围场景的积分时间图像序列图(增强效果):()13μs;(b条)67微秒;(c(c))133微秒;(d日)332μs;(e(电子))665μs;((f))1330μs;()1995μs;(小时)3990微秒。
传感器22 04258 g002
图3。典型物体在长波红外波段不同温度下的辐射分布。
图3。典型物体在长波红外波段不同温度下的辐射分布。
传感器22 04258 g003
图4。基于时间的单积分红外图像的灰度分布直方图:()13μs;(b条)665μs;(c(c))1330微秒。
图4。基于时间的单积分红外图像的灰度分布直方图:()13μs;(b条)665μs;(c(c))1330μs。
传感器22 04258 g004
图5。基于灰度阈值的简单分割:()13μs;(b条)665μs;(c(c))1330微秒。
图5。基于灰度阈值的简单分割:()13μs;(b条)665μs;(c(c))1330微秒。
传感器22 04258 g005
图6。一组场景地图中的灰度分布:()13μs;(b条)665μs;(c(c))1330微秒。
图6。一组场景地图中的灰度分布:()13μs;(b条)665μs;(c(c))1330微秒。
传感器22 04258 g006
图7。1995μs积分时间下不同分割参数的分割结果:() μ ( 1995 ) = 1.20; (b条) μ ( 1995 ) = 1.74; (c(c)) μ ( 1995 ) = 3.00.
图7。1995μs积分时间下不同分割参数的分割结果:() μ ( 1995 ) = 1.20; (b条) μ ( 1995 ) = 1.74; (c(c)) μ ( 1995 ) = 3.00.
传感器22 04258 g007
图8。基于区域生长点分割获得的图像序列:()13μs;(b条)67微秒;(c(c))133微秒;(d日)332μs;(e(电子))665μs;((f))1330μs;()1995μs;(小时)3990微秒。
图8。基于区域生长点分割获得的图像序列:()13μs;(b条)67微秒;(c(c))133微秒;(d日)332μs;(e(电子))665μs;((f))1330μs;()1995μs;(小时)3990微秒。
传感器22 04258 g008
图9。信息熵与暴露时间的关系。
图9。信息熵与暴露时间的关系。
传感器22 04258 g009
图10。基于灰度信息的超帧高动态范围红外成像多积分时间自适应选择方法流程图。
图10。基于灰度信息的超帧高动态范围红外成像多积分时间自适应选择方法流程图。
传感器22 04258 g010
图11。实验中波红外热成像系统。()冷却中波热成像相机ImageIR 8355;(b条)冷却中波热成像相机Jade。
图11。实验中波红外热成像系统。()冷却中波热成像相机ImageIR 8355;(b条)冷却中波热成像相机Jade。
传感器22 04258 g011
图12。两点修正参数的拟合曲线:()未去除过度暴露异常值的拟合曲线;(b条)去除过度暴露异常值的拟合曲线。
图12。两点修正参数的拟合曲线:()未去除过度暴露异常值的拟合曲线;(b条)去除过度曝光异常值的拟合曲线。
传感器22 04258 g012
图13。采用不同选择方法的场景1的HDR融合结果:()单次积分时间(1050μs);(b条)ES;(c(c))EI;(d日)MGD;(e(电子))微波与电子;((f))ME;()建议。
图13。采用不同选择方法的场景1的HDR融合结果:()单次积分时间(1050μs);(b条)ES;(c(c))EI;(d日)MGD;(e(电子))MW和EN;((f))ME;()建议。
传感器22 04258 g013
图14。采用不同选择方法的场景2的HDR融合结果:()单次积分时间(900μs);(b条)ES;(c(c))EI;(d日)MGD;(e(电子))MW和EN;((f))ME;()建议。
图14。采用不同选择方法的场景2的HDR融合结果:()单次积分时间(900μs);(b条)ES;(c(c))EI;(d日)MGD;(e(电子))MW和EN;((f))ME;()提议。
传感器22 04258 g014
图15。采用不同选择方法的场景3的HDR融合结果:()单次积分时间(1995μs);(b条)ES;(c(c))EI;(d日)管理数据;(e(电子))MW和EN;((f))ME;()建议。
图15。采用不同选择方法的场景3的HDR融合结果:()单次积分时间(1995μs);(b条)ES;(c(c))EI;(d日)MGD;(e(电子))MW和EN;((f))ME;()建议。
传感器22 04258 g015
图16。场景1五种典型融合方法的融合结果:()梅滕斯;(b条)沃尼卡基斯;(c(c))马;(d日)寇;(e(电子))MIF和DE。
图16。场景1五种典型融合方法的融合结果:()梅滕斯;(b条)Vonikakis;(c(c))马;(d日)寇;(e(电子))MIF和DE。
传感器22 04258 g016
图17。场景2五种典型融合方法的融合结果:()梅滕斯;(b条)Vonikakis;(c(c))马;(d日)寇;(e(电子))MIF和DE。
图17。场景2五种典型融合方法的融合结果:()梅滕斯;(b条)沃尼卡基斯;(c(c))马;(d日)寇;(e(电子))MIF和DE。
传感器22 04258 g017
图18。场景3五种典型融合方法的融合结果:()梅滕斯;(b条)沃尼卡基斯;(c(c))马;(d日)寇;(e(电子))MIF和DE。
图18。场景3五种典型融合方法的融合结果:()梅滕斯;(b条)沃尼卡基斯;(c(c))马;(d日)寇;(e(电子))MIF和DE。
传感器22 04258 g018
表1。给定场景的四个图像评估指标的排名。
表1。给定场景的四个图像评估指标的排名。
积分时间/μs小时S公司奥贝尔意思是S公司tdI公司Mul公司等级
价值小时等级价值S公司等级价值等级价值标准等级价值Mul公司等级
133.689151647965832
674.9339628696110528
1335.79821,613930141324
3336.95956,9781567183920
6657.834111,1452540201915
13308.728233,3634431214011
19959.221354,572627422626
39909.532831,79311,49619928
表2。为三个场景中的五种方法选择的集成时间。
表2。为三个场景中的五种方法选择的集成时间。
方法积分时间/μs
场景1场景2场景3
ES公司50, 500, 800, 115050、500、800、115067, 665,1330, 1995
工程安装200, 350, 1050, 1400600, 650, 900, 1400665,1995, 3990
毫克/天50350个550, 100013, 665
MW和EN11009001995
150, 1150250, 1200133, 1330
提出50、1050、1150400, 900, 120067, 1995, 3990
表3。三组场景的图像指标评价结果。
表3。三组场景的图像指标评价结果。
指标比较图场景
12平均值
ρES公司0.07130.05950.04990.0602
工程安装0.06920.05900.05380.0607
MGD公司0.05500.05630.04340.0516
MW和EN0.16740.15160.14640.1551
0.11100.14020.12470.1253
提出0.06720.05370.05420.0584
振动ES公司0.56020.50980.61710.5624
工程安装0.51430.49190.46320.4898
MGD公司0.56250.65920.47660.5661
MW和EN\\\\
0.58580.41050.63800.5448
提出0.59550.62130.64910.6220
NIQE公司ES公司5.60935.29544.09745.0007
工程安装5.95665.44243.75365.0509
MGD公司6.21776.64633.7865.5500
MW和EN6.26986.96573.08055.4387
5.34964.80633.72594.6273
提出4.80994.70363.74274.4187
ES公司9.338910.975910.991610.4355
工程安装9.258510.984410.808210.3504
MGD公司8.178210.81179.56019.5167
MW和EN7.85547.70137.86827.8083
9.447710.702410.674410.2748
提出9.690411.300311.021910.6709
出版商备注:MDPI对公布的地图和机构关联中的管辖权主张保持中立。

分享和引用

MDPI和ACS样式

陶,X。;Jin,W。;杨,J。;李,S。;苏,B。;M·王。基于灰度信息的超帧高动态范围红外成像多积分时间自适应选择方法。传感器 2022,22,第4258页。https://doi.org/10.3390/s22114258

AMA风格

Tao X、Jin W、Yang J、Li S、Su B、Wang M。基于灰度信息的超帧高动态范围红外成像多积分时间自适应选择方法。传感器. 2022; 22(11):4258.https://doi.org/10.3390/s22114258

芝加哥/图拉宾风格

Tao、Xingyu、Weiqi Jin、Jing Jing、Jiango Yang、Shoo Li、Binghua Su和Minghe Wang。2022.“基于灰度信息的超帧高动态范围红外成像的多积分时间自适应选择方法”传感器22,编号11:4258。https://doi.org/10.3390/s22114258

请注意,从2016年第一期开始,该杂志使用文章编号而不是页码。请参阅更多详细信息在这里.

文章指标

返回页首顶部