杂志的下一篇文章
基于蓝牙信标的低成本街道停车管理系统
期刊上的上一篇文章
双交叉阵列二维非相干分布源的参数估计
 
 
订购文章重印
字体类型:
宋体 佐治亚州 宋体,Verdana
字体大小:
澳大利亚 澳大利亚 澳大利亚
行距:
四、 四、 四、
列宽:
背景:
第条

基于二层背景模型和直方图相似性的鬼影检测与去除

西安710071西电大学电子工程学院
*
应向其寄送信件的作者。
传感器 2020,20(16), 4558;https://doi.org/10.3390/s20164558
收到的提交文件:2020年7月3日/修订日期:2020年8月9日/接受时间:2020年8月10日/发布日期:2020年8月14日
(本条属于本节智能传感器)

摘要

:
检测和移除重影是运动目标检测的一个重要挑战,因为重影一旦形成就会永久保留,从而导致整体检测性能下降。为了解决这个问题,我们首先根据鬼魂的形成方式将其分为两类。然后,提出了基于样本的两层背景模型和鬼影区域的直方图相似度来分别检测和去除这两类鬼影。此外,两层模型中的三个重要参数,即距离阈值、局部二元相似模式的相似阈值和时间子采样因子,都是根据每个像素的时空信息自动确定的,以快速适应场景变化。在CDnet 2014数据集上的实验结果表明,我们提出的算法不仅有效地消除了重影区域,而且在整体性能方面优于最先进的方法。

1.简介

随着监控摄像机的广泛应用,每天都会产生大量的视频数据。几十年来,人们对自动快速分析视频序列中感兴趣信息的方法进行了广泛的研究[1,2,,4,5]。在这些研究工作中,变化检测是高级计算机视觉应用(如视频监控、行人和车辆跟踪以及异常行为识别)的基本第一步。背景减法(BS)是变化检测中应用最广泛的技术之一,其性能主要取决于背景建模方法。迄今为止,流行的背景建模方法可分为以下四类:基于GMM的[6,7,8,9],基于样本[10,11,12,13],基于聚类[14,15,16,17],和基于人工神经网络[18,19,20,21,22]。每种模式都有自己的优缺点。例如,基于GMM的模型可以处理多峰分布问题,但背景像素并不总是遵循高斯分布,并且参数估计困难。基于样本的模型在速度上显示出优势,但它不能有效地处理动态背景和噪声。基于聚类的模型对噪声具有很强的鲁棒性,但仅在没有实质性背景变化的场景中具有良好的结果。基于人工神经网络的模型可以获得良好的性能,而这种方法需要预先训练或手动干预。
事实上,在复杂的室外场景中,真实监控应用中的鲁棒变化检测仍然面临巨大挑战[23,24,25]如光照变化、摄像机运动、鬼影消除、伪装目标检测、动态背景抑制等。特别是现有方法中很少讨论鬼影检测和消除。这可以归因于以下两个困难。首先,背景模型的初始化方法相对简单。由于缺乏运动对象的先验知识,为了满足实时性,只能使用前几个视频帧的特征来初始化背景模型。因此,存在于第一帧中的对象将被视为背景。其次,鬼影和长期静态前景有许多相似的特征,很难同时消除鬼影和保留静态前景。例如,Cucchiara等人[26]使用运动物体水滴的平均光流来区分运动物体和鬼影。然而,由于平均光流接近零,这种方法在静止或均匀运动的物体上会导致较高的假阴性率。Wang等人[7]利用当前图像和前景遮罩之间的边缘相似性,通过去除目标(重影)来区分遮挡目标和显示背景。该方法依赖于边缘检测的准确性。实际上,由于阴影、噪声和伪装,在复杂场景中很难获得准确的边缘。文献[11,12,13,16,23]由于重影区域和周围背景之间的高度相似性,通过空间扩散机制加速了重影的消除。然而,伪装对象被纳入背景中。
通常,在以下两种情况下会出现重影:(1)长时间保持静止的前景对象被合并到背景中。随后,前景对象被移除,对象的初始位置被错误地检测为前景;和(2)当存在于第一帧中的对象在几帧后开始移动时,检测到新显示的称为“鬼影”的背景。鬼魂在实践中与任何真实物体都不对应,必须丢弃。在本文中,我们提出了一种基于SuBSENSE框架的有效的鬼影检测和消除方法[11]。首先,提出了一种基于样本的自适应双层背景模型、主背景模型和候选背景模型来去除第一类鬼影。主模型旨在存储自适应背景样本。在模型更新中,主模型中替换的背景样本存储在候选模型中,即背景样本没有实际删除。这样做可以延长背景采样的寿命,删除周期性运动背景和间歇移动对象的重影。然后,我们利用第一帧和鬼影形成帧之间运动区域的直方图相似性来处理第二类鬼影。此外,为了使分割阈值适应分析的场景,根据场景的背景动态、动态范围和纹理复杂度初始化距离阈值,然后结合时空局部信息在后续帧中自动更新。基于背景样本集的均方误差计算局部二元相似模式(LBSP)特征的相似阈值。改进后的阈值不仅可以有效检测低对比度区域的伪装目标,而且可以抑制高对比度区域中的动态背景。此外,由于背景和前景区域之间通常有一个清晰的边界,时间子采样因子在边缘增加,以减缓背景样本的邻域扩散,从而长期保持静态前景。为了便于书写,我们使用缩写“GhostDeReBS”来表示本文中提出的方法。GhostDeReBS框架概述如所示图1.
论文的其余部分组织如下。第2节详细描述了我们提出的算法。实验评估见第3节最后,第4节给出了结论。

2.方法

我们从四个方面描述了我们提出的方法。首先,我们提出了基于样本的两层背景模型,用于对中的背景和前景进行分类第2.1节该模型不仅抑制了由间歇运动对象引起的重影,还减少了由周期性运动背景引起的误报。其次,我们展示了基于直方图相似度和反馈机制的模型初始化错误导致的鬼影的检测和消除过程第2.2节第三,我们描述了如何在中更新两层背景模型第2.3节最后,我们根据场景本身的时空特征自适应地确定了三个重要参数第2.4节.

2.1. 基于样本的两层背景模型及背景/前景分类

由于在基于样本的背景减法中使用了邻域扩散机制,因此将长时间保持静止的前景对象合并到背景中。随后,移除前景对象,并检测对象的初始位置。这是因为在模型更新过程中维护一小段时间后,会删除真实的背景样本。为了长时间保留背景样本[10,11]增加了背景样本的数量。然而,当样本数超过50时,性能会下降。方法[12]使用当前观测的特征来用最小权重替换样本。然而,它无法快速适应环境变化。
与上述方法不同,本文提出了一种基于样本的两层背景模型:主模型 B类 G公司 ( x个 ) 和候选模型 B类 G公司 c(c) ( x个 ) . B类 G公司 ( x个 ) 可以适应场景变化。 B类 G公司 c(c) ( x个 ) 由替换的背景样品组成 B类 G公司 ( x个 ) 可以看出,背景样品的寿命延长到 B类 G公司 c(c) ( x个 ) 具体来说,每个像素 x个 由一组 N个 采样值 b , k个 ( x个 )   ( k个 = 1 , 2 , , N个 ) 和一套 N个 c(c) 候选样本值 b c(c) , k个 ( x个 )   ( k个 = 1 , 2 , N个 , N个 c(c) ) :
B类 G公司 ( x个 ) = { b , 1 ( x个 ) ,   b , 2 ( x个 ) , , b , N个 ( x个 ) }
B类 G公司 c(c) ( x个 ) = { b c(c) , 1 ( x个 ) ,   b c(c) , 2 ( x个 ) , , b c(c) , N个 c(c) ( x个 ) }
与SuBSENSE相似,我们还利用颜色信息和局部二元相似模式(LBSP)特征来构建背景模型。那就是, b , k个 ( x个 ) b c(c) , k个 ( x个 ) 由六倍定义:
b u个 , k个 ( x个 ) = ( u个 , R(右) , k个 ( x个 ) , u个 , G公司 , k个 ( x个 ) , u个 , B类 , k个 ( x个 ) , 内部 - L(左) B类 S公司 P(P) u个 , R(右) , k个 ( x个 ) , 内部 - L(左) B类 S公司 P(P) u个 , G公司 , k个 ( x个 ) , 内部 - L(左) B类 S公司 P(P) u个 , B类 , k个 ( x个 ) )
哪里 u个 { , c(c) } , u个 , R(右) , k个 ( x个 ) , u个 , G公司 , k个 ( x个 ) 、和 u个 , B类 , k个 ( x个 ) 是位置处RGB三个通道的颜色强度 x个 分别是。 内部 - L(左) B类 S公司 P(P) u个 , R(右) , k个 ( x个 ) , 内部 - L(左) B类 S公司 P(P) u个 , G公司 , k个 ( x个 ) 、和 内部 - L(左) B类 S公司 P(P) u个 , B类 , k个 ( x个 ) 是LBSP内部纹理特征[11],可以定义为
内部 - L(左) B类 S公司 P(P) u个 , C类 , k个 ( x个 ) = = 0 P(P) 1 d日 ( u个 , C类 , k个 ( ) , u个 , C类 , k个 ( x个 ) ) . 2
哪里
d日 ( u个 , C类 , k个 ( ) , u个 , C类 , k个 ( x个 ) ) = { 1 ,   如果   | u个 , C类 , k个 ( ) - u个 , C类 , k个 ( x个 ) | > u个 , C类 , k个 ( x个 ) 0 ,   否则
在这里, C类 { R(右) , G公司 , B类 } , 是的相邻像素 x个 . u个 , C类 , k个 ( x个 ) 是内部-LBSP描述符的参考值。 u个 , C类 , k个 ( x个 ) u个 , C类 , k个 ( ) 来自当前帧。 u个 , C类 , k个 ( x个 ) 是LBSP的内部相似阈值,在第2.4.1节.
值得一提的是,在最初的时候 b , k个 ( x个 ) ( k个 = 1 , 2 , , N个 )从颜色和5*5邻域像素的LBSP内特征中随机独立选择 x个 . b c(c) , k个 ( x个 ) ( k个 = 1 , 2 , , N个 c(c) )已设置为0。同时,与SuBSENSE类似,我们还添加了一个LBSP间描述符,以在当前帧的颜色值与背景样本的颜色值不匹配时抑制阴影。LBSP间功能定义为
- L(左) B类 S公司 P(P) u个 , C类 , k个 ( x个 ) = = 0 P(P) 1 d日 ( u个 , C类 , k个 ( ) , u个 , C类 , k个 ( x个 ) ) . 2
在这里, u个 , C类 , k个 ( x个 ) 是来自背景样本的颜色强度的LBSP间描述符的参考值。
当输入新帧时 t吨 ( t吨 2 ) 准时到达 t吨 ,每个像素 x个 最初被归类为前景( 如果 t吨 ( x个 ) = 1 )或背景( 如果 t吨 ( x个 ) = 0 )通过匹配 t吨 ( x个 ) 及其各自的背景样本集 B类 G公司 ( x个 ) 即。,
如果 t吨 ( x个 ) = { 1 ,   如果   # { b , k个 ( x个 ) | d日 t吨 ( t吨 ( x个 ) , b , k个 ( x个 ) ) < R(右) ( x个 ) , k个 = 1 , 2 , , N个 } < # n个 0 ,   否则
哪里
t吨 ( x个 ) = ( R(右) , t吨 ( x个 ) , G公司 , t吨 ( x个 ) , B类 , t吨 ( x个 ) , 内部 - L(左) B类 S公司 P(P) R(右) , t吨 ( x个 ) , 内部 - L(左) B类 S公司 P(P) G公司 , t吨 ( x个 ) , 内部 - L(左) B类 S公司 P(P) B类 , t吨 ( x个 ) )
d日 t吨   ( t吨 ( x个 ) , b , k个 ( x个 ) ) = { 最大值 C类 { R(右) , G公司 , B类 } { | C类 , t吨 ( x个 ) , C类 , k个 ( x个 ) | } , 最大值 C类 { R(右) , G公司 , B类 } { H(H) ( 内部 - L(左) B类 S公司 P(P) C类 , t吨 ( x个 ) , 内部 - L(左) B类 S公司 P(P) , C类 , k个 ( x个 ) ) } }  
R(右) ( x个 ) = { R(右) c(c) o个 o个 第页 ( x个 ) , R(右) b ( x个 ) }
在这里, # 表示集合中的元素数, # n个 是背景分类所需的最小匹配数。 R(右) , t吨 ( x个 ) , G公司 , t吨 ( x个 ) 、和 B类 , t吨 ( x个 ) 位置的颜色强度是多少 x个 时间 t吨 分别是。 内部 - L(左) B类 S公司 P(P) R(右) , t吨 ( x个 ) , 内部 - L(左) B类 S公司 P(P) G公司 , t吨 ( x个 ) 、和 内部 - L(左) B类 S公司 P(P) B类 , t吨 ( x个 ) 是LBSP内部纹理特征。 d日 t吨 ( · , · ) 是当前观测值和给定背景样本之间的距离函数,包括两个元素:颜色和纹理距离。 H(H) ( · , · ) 表示汉明距离。 R(右) ( x个 ) 是距离阈值,包括两个元素:颜色阈值 R(右) c(c) o个 o个 第页 ( x个 ) 和LBSP纹理距离阈值 R(右) b ( x个 ) .关于 R(右) ( x个 ) 延期至第2.4.2节.
然后,如果像素 x个 被分类为前景, t吨 ( x个 ) 继续与背景模型进行比较 B类 G公司 c(c) ( x个 ) .何时 t吨 ( x个 ) 与匹配 B类 G公司 c(c) ( x个 ) ,表示像素 x个 之前被判定为背景。因此,像素 x个 被视为由移除的前景对象引起的重影。最终输出分割图 如果 t吨 可以通过以下方式获得
如果 t吨 ( x个 ) = { 0 ,   如果   如果 t吨 ( x个 ) = 1 & # { b c(c) , k个 ( x个 ) | d日 t吨 ( t吨 ( x个 ) , b c(c) , k个 ( x个 ) ) < R(右) ( x个 ) , k个 = 1 , 2 , , N个 c(c) } # n个 0 ,   如果   如果 t吨 ( x个 ) = 0   1 ,   如果   如果 t吨 ( x个 ) = 1 & # { b c(c) , k个 ( x个 ) | d日 t吨 ( t吨 ( x个 ) , b c(c) , k个 ( x个 ) ) R(右) ( x个 ) , k个 = 1 , 2 , , N个 c(c) } < # n个
图2显示了CDnet 2014数据集中“沙发”#1742和“流量”#1376帧上五种方法的检测结果[27]。此数据集的描述推迟到第3节沙发序列中的1742号框架包括三个物体:一个淡黄色的盒子、白色塑料袋和公文包。这个淡黄色的盒子是地板上的静态物体,然后被移到沙发上。在SuBSENSE的检测结果中,地板上留下了一个鬼魂(用红色◇标记)[11]和SWCD[13]。然而,我们的两层不仅抑制了鬼影,还检测到伪装的静态前景对象(用绿色〇in标记图2)由于自适应距离和LBSP阈值第2.4节此外,由于摄像机抖动,经常会出现周期性的运动背景,如中的交通序列所示图2以及许多假阳性(即使用紫色〇in标记图2)发生。与SuBSENSE、PAWCS相比[16]、WeSamBE[12]和SWCD,我们的模型有效地消除了这些假阳性检测。其原因是周期性的背景运动使背景样本间歇性出现。在我们提出的方法中,早期的背景样本存储在候选背景模型中。当执行方程式(11)时,动态背景可以被抑制。然而,在其他方法中,这些早期的样本可能已经被删除,使得当前的观察结果与背景模型不匹配。

2.2. 第二类幽灵的检测和清除

两层背景模型只能消除由第一种情况引起的鬼影,而对中提到的第二种鬼影则无能为力第1节,因为新披露的背景与 B类 G公司 ( x个 ) B类 G公司 c(c) ( x个 ) 为了快速消除这些鬼魂,一些文献[10,11]提高了邻域扩散率。然而,长期静态前景对象也被纳入背景中。本文基于反馈机制和直方图相似度消除了第二类鬼影。方法如下。
以“tunnelExit_0_35fps”视频序列为例,如所示图3,我们分析了第一帧中存在的对象导致的鬼的形成过程。在这个视频序列中,有一辆从#0000001到#001683的静态蓝色小巴(用红色□标记)。它从#001684开始移动,在蓝色面包车所在的区域检测到一些前景像素。然后,前景像素继续增加,直到移动对象及其重影分离,如#001685、#001686和#001687所示。最后,在#001688和#001689帧中形成了一个稳定的幻影区域(用红色□标记)。当然,这个过程只是幻影形成的必要条件,因为当正常移动的物体静止时也会出现这种情况。但是,如所示图4d–f。,鬼区直方图(用红色□in标记图4c在000001和001684帧上具有很高的相似性。相反,由于背景和对象的差异,静态前景区域在第一帧和出现对象的帧上的相似性往往很低。因此,我们可以利用这一特征来区分这两种情况。在这里,我们需要解决以下四个问题。
首先,有必要确定如何获得稳定区域。连接的前景区域 W公司 t吨 ( x个 ) ,其中像素 x个 当时位于 t吨 通过8个邻域扩散提取。稳定前景区域 Y(Y) t吨 ( x个 ) 直到三个相邻帧之间位于连接区域的像素数之差小于指定的阈值。
Y(Y) t吨 ( x个 ) = { | W公司 t吨 ( x个 ) & | R(右) e(电子) t吨 1 ( x个 ) R(右) e(电子) t吨 2 ( x个 ) | | R(右) e(电子) t吨 ( x个 ) R(右) e(电子) t吨 2 ( x个 ) | < t吨 小时 第页 e(电子) }
哪里 R(右) e(电子) t吨 ( x个 ) 定义为连接区域的像素数。我们通过实验设置了阈值 t吨 小时 第页 e(电子) 至10%。
其次,有必要确定如何获取静态前景开始移动的帧编号。我们建造了一个柜台 F类 C类 M(M) T型 计算每个像素被连续标识为前景像素的次数。然后, F类 N个 用于记录帧编号 t吨 其中每个像素 x个 开始移动。那就是, F类 C类 M(M) T型 等于1:
F类 C类 M(M) T型 t吨 ( x个 ) = { F类 C类 M(M) T型 t吨 ( x个 ) + 1 ,   如果   如果 t吨 ( x个 ) = 1 0 ,   否则
F类 N个 t吨 ( x个 ) = { t吨 ,   如果   F类 C类 M(M) T型 t吨 ( x个 ) = 1 F类 N个 t吨 ( x个 ) ,   否则
第三,有必要确定如何计算第一帧和形成幻影的帧之间稳定区域的直方图相似度。我们使用了MDPA直方图距离[28]计算位置处连接区域的直方图相似度 x个 .
M(M) P(P) A类 C类 ( H(H) 1 C类 ( x个 ) , H(H) F类 N个 t吨 ( x个 ) C类 ( x个 ) ) = = 0 M(M) 1 | j个 = 0 ( H(H) 1 C类 ( x个 ) [ j个 ] H(H) F类 N个 t吨 ( x个 ) C类 ( x个 ) [ j个 ] ) | = 0 M(M) 1 H(H) 1 C类 ( x个 ) [ ]
在这里, C类 { R(右) , G公司 , B类 } , H(H) 1 C类 ( x个 ) 、和 H(H) F类 N个 t吨 ( x个 ) C类 ( x个 ) 表示对应于第一帧的连接区域的直方图,并且该帧在位置处开始出现重影 x个 分别将R、G、B通道的颜色直方图量化为 M(M) ( M(M) = 64 )箱子。
如果两个直方图相似 x个 被认为是鬼魂。
G公司 t吨 ( x个 ) = { 1 ,   如果   最大值 C类 { R(右) , G公司 , B类 } { M(M) P(P) A类 C类 ( H(H) 1 C类 ( x个 ) , H(H) F类 N个 C类 ( x个 ) ) } < T型 小时 t吨 0 ,   否则
在这里, T型 小时 t吨 是直方图相似性阈值,本文通过实验将其设置为3。
最后,鬼魂被清除了。当像素被视为重影时( G公司 t吨 ( x个 ) = 1 ),将其分类为背景,并使用当前帧的5*5个邻域像素的颜色和LBSP内特征重新初始化背景模型。如所示图5,我们提出的方法可以有效地消除模型初始化错误导致的鬼影,但在SuBSENSE的检测结果中留下了一个鬼影(用红色□标记)。

2.3. 后台模型更新

在复杂的实际场景中,经常会发生背景变化(即逐渐或突然的照明变化、相机抖动、PTZ)。因此,有必要更新背景模型以适应背景/前景分类后的场景变化。采用保守策略选择需要更新的像素,采用随机观测替换策略选择更新后的样本。因此,我们的两层背景模型的更新过程( B类 G公司 ( x个 ) B类 G公司 c(c) ( x个 ) )如下所示。
第一, B类 G公司 ( x个 ) 已使用当前观察更新。当使用新像素时 x个 在当前帧中被分类为背景,一个随机选择的背景样本 b , k个 ( x个 ) B类 G公司 ( x个 ) 1 / ϕ ( x个 ) 被特征替换的概率 t吨 ( x个 ) 当前观测值的 x个 同时,在 ,是的邻居 x个 ,随机抽取的样本 b , ( ) B类 G公司 ( ) 也被替换为 t吨 ( x个 ) 具有 1 / ϕ ( x个 ) 概率。那就是,
b , k个 ( x个 ) = { t吨 ( x个 ) ,   如果   兰特 ( 0 , ϕ ( x个 ) ) = 0 b , k个 ( x个 ) ,   否则
b , ( ) = { t吨 ( x个 ) ,   如果   兰特 ( 0 , ϕ ( x个 ) ) = 0 b , ( ) ,   否则
在这里, ϕ ( x个 ) 是时间子采样因子,以及 兰特 ( 0 , ϕ ( x个 ) ) 是一个函数,它获得一个介于0和之间的随机数 ϕ ( x个 ) .
然后,候选背景模型 B类 G公司 c(c) ( x个 ) 已由中替换的样本更新 B类 G公司 c(c) ( ) 具体来说,如果背景样品之间的差异 b , k个 ( x个 ) 更换和 t吨 ( x个 ) 大于距离阈值 R(右) ( x个 ) , b , k个 ( x个 ) 存储在中 B类 G公司 c(c) ( x个 ) 在被替换之前。
b c(c) , j个 ( x个 ) = { b , k个 ( x个 ) ,   如果   | b , k个 ( x个 ) t吨 ( x个 ) | > R(右) ( x个 ) b c(c) , j个 ( x个 ) ,   否则
哪里
j个 = 兰特 ( 0 , ϕ ( x个 ) )
值得一提的是,保守的更新策略导致了死锁,而误报(即重影)很难消除,因为只更新了标记为背景的像素。然而,我们的候选背景模型可以有效地解决死锁问题,因为 b , k个 ( x个 ) 未实际删除但存储在中 B类 G公司 c(c) ( x个 ) ,如式(19)所示。当前观察结果可能与中的样本不匹配 B类 G公司 ( x个 ) 当间歇移动的物体被移除时,但它与中的样本相匹配 B类 G公司 c(c) ( x个 ) 因此,目前的观察结果仍被归类为背景,因此没有留下鬼魂。

2.4. 参数分析

如上所述,我们提出的方法涉及三个重要参数:LBSP的相似阈值 u个 , C类 , k个 ( x个 ) ,距离阈值 R(右) ( x个 ) ,和时间子采样因子 ϕ ( x个 ) 。我们在本节中对其进行了详细分析。

2.4.1. LBSP的相似性阈值

在苏布森斯, u个 , C类 , k个 ( x个 ) 已初始化为 第页 . u个 , C类 , k个 ( x个 ) 第页 实验设置为0.3。因此 u个 , C类 , k个 ( x个 ) 仅取决于像素的强度 x个 x个 ,因此它是一个全局阈值。由于相同的原因,在不同场景或相同场景的不同区域中使用相同的阈值显然是不合理的 u个 , C类 , k个 ( x个 ) 本例由CDnet 2014数据集“秋季”视频序列中#000001帧的像素(451,637)和(166,653)来说明图6像素(451637)位于静态区域,而像素(166653)位于动态区域。红色〇中的两个参考强度均为112。因此,在初始时间将两个像素的阈值设置为33(0.3*112=33)。事实上,为了检测“154”、“141”和“131”中的水平纹理(使用蓝色◇标记),像素(451637)的阈值应该设置为较小的值(即15)。像素(166653)的阈值应设置为较大的值(如50),以抑制动态背景。尽管 u个 , C类 , k个 ( x个 ) 会根据SuBSENSE中分析场景的纹理大小随时间自动调整,使少量纹理场景的阈值小于杂乱场景。但是,该规则基于帧级纹理幅值而不是像素级纹理幅值。因此, u个 , C类 , k个 ( x个 ) 始终是全局阈值,无法反映像素或局部区域的特征。
如上所述, u个 , C类 , k个 ( x个 ) 应根据不同的场景或不同的地区而有所不同。我们自适应地计算 u个 , C类 , k个 ( x个 ) 基于本文背景样本的均方误差。首先,现场背景样品 x个 融合了像素的时空局部信息,因为其中一些来自前一帧的特征,另一些来自邻域像素的特征。然后,背景样本集在高对比度区域(即,摇曳的树木、潺潺的水)中的分布比在低对比度区域(即,道路、墙壁)中的分布更分散。因此,动态背景区域具有较大的均方误差(MSE)。相应地,在静态背景区域产生了一个较小的值。由于模型更新时背景模型中可能会涉及前景像素或噪声,因此模型中差异较大的背景样本(即最大和最小样本值)不应参与计算。因此, u个 , C类 , k个 ( x个 ) 定义为
u个 , C类 , k个 ( x个 ) = 小时 , C类 ( x个 ) ,   k个 = 1 , 2 , , N个 u个
哪里
小时 , C类 ( x个 ) = q个 = 1 n个 ( , C类 , q个 ( x个 ) - b , C类 ( x个 ) ¯ ) 2 n个
S公司 = { , C类 , k个 ( x个 ) | , C类 , k个 ( x个 ) b , C类 , 最小值 ( x个 ) > t吨 小时 1 & | b , C类 , 最大值 ( x个 ) , C类 , k个 ( x个 ) | > t吨 小时 1 , k个 = 1 , 2 , , N个 }
b , C类 ( x个 ) ¯ = , C类 , q个 ( x个 ) S公司 , C类 , q个 ( x个 ) n个
在这里, n个 是集合中的背景样本数 S公司 在位置 x个 . b , C类 , 最小值 ( x个 ) b , C类 , 最大值 ( x个 ) 是中的最小和最大颜色样本值 B类 G公司 u个 ( x个 ) 分别是。 t吨 小时 1 是干扰阈值,实验设置为3。 u个 , C类 , k个 ( x个 ) 仅限于间隔[3,30]。值得一提的是,本文中的主模型和候选模型使用了相同的相似阈值,因为主模型能够更好地反映场景的变化。
例如,“高速公路”视频序列中#001430帧上的像素(37,102)和“沙发”视频序列的#001030帧上的象素(194,73)图7,图7a、 b显示原始帧中两个像素的位置。前者位于动态区域,后者位于静态区域。图7c–h是在蓝色通道上使用三种方法获得的背景样本集中的颜色和LBSP内特征:我们提出的带离群值和不带离群点的算法,以及SuBSENSE。这里,LBSP内特征被定义为“1”的数量表1列出了三种方法的背景样本集中颜色和LBSP特征的MSE。不难从中找到图7f–h,我们提出的方法可以在位置(194,73)处获得比SuBSENSE更丰富的LBSP纹理特征,这也可以通过在表1这有助于检测伪装的静态前景对象。然后,我们可以通过比较看到图7d、 e带有图7g、 h,使用我们提出的带离群值和SuBSENSE的算法,位置(37,102)处的颜色和LBSP内特征比位置(194,73)处的分布更广。位置(37102)处的相似性阈值应设置为较大的值。然而,两个位置的MSE颜色差异很小。这是因为背景样本集中包含了一些异常值(即前景像素、噪声)。很容易导致伪装对象丢失,这可以从中丢失的方框中看出图7o、 p(用红色〇标记)。因此,这些异常值被排除在检测伪装物体的最终算法(见方程式(22))中(见图7n) 。此外,由于背景样本集的分布在位置(37102)处更为分散,因此没有离群值或有离群值的颜色MSE的差异不明显。因此,异常值只对静态平坦区域有很大影响。此外,尽管我们提出的无离群值算法在像素(37,102)上的颜色MSE(21.57)小于SuBSENSE(24.55),但动态背景(用黄色□标记)仍然被抑制,如所示图7j.它属于我们的双层背景模型,因为周期性运动背景样本存储在候选模型中,并且可以与当前像素匹配。

2.4.2. 距离阈值

距离阈值 R(右) ( x个 ) 是一个非常重要的参数,用于调整背景模型对局部变化的精度和灵敏度。在初始时间,颜色阈值 R(右) c(c) o个 o个 第页 ( x个 ) 在SuBSENSE中设置为30[11],23英寸WeSamBE[12]SWCD中为35[13]和纹理阈值 R(右) b ( x个 ) 对于所有实验场景,设置为3。然后,它们会根据每个像素的历史检测结果随时间自动调整。实际上,初始值 R(右) c(c) o个 o个 第页 0 ( x个 ) R(右) b 0 ( x个 ) 直接影响最终的分割结果。对于所有场景,将它们设置为相同的值是不合理的。相反,在具有高度动态背景和丰富纹理信息的场景中,应将其设置为较大的值,以减少假阴性。否则,它在静态和弱纹理场景中对于增加真正值来说是一个小值。在本文中,我们根据每个场景的动态范围、背景动态和纹理复杂度来初始化该参数。事实上,场景的动态范围反映了像素的分布。窄动态范围意味着像素的分布相对集中,并且在场景中像素之间的差异很小。因此,应该选择一个较小的距离阈值,以便检测场景中的移动对象。背景动态表示背景变化。这些变化可能是局部的(即,树在风中摇摆),也可能是全局的(即,相机运动)。为了确保变化的背景不会被检测为前景,应该设置一个大距离阈值。丰富的纹理可以提高前景的识别率,但它增加了复杂纹理背景区域的假阳性。这是一种权衡。因此,我们适当地增加了纹理区域中的距离阈值。
首先,使用颜色直方图的分布来测量方程(25)中图像的动态范围。如果图像的大多数颜色值集中在几个箱子上,则动态范围很小。
R(右) = ( X(X) L(左) + ( 1 K(K) L(左) ) ) + ( X(X) + ( 1 K(K) ) ) + ( X(X) b + ( 1 K(K) b ) )
哪里
K(K) c(c) c(c) = H(H) c(c) c(c) ( ) > 2 ( 小时 w个 ) / 256 H(H) c(c) c(c) ( ) ( 小时 w个 )
X(X) c(c) c(c) = # { H(H) c(c) c(c) ( ) | H(H) c(c) c(c) ( ) 2 ( 小时 w个 ) / 256 , = 1 , 2 , , 256 } / 256
在这里, 小时 w个 分别指定输入图像的高度和宽度,以及 H(H) c(c) c(c) ( ) ( = 0 , 1 , 2 , , 255 ,   复写的副本 = { L(左) , , b } ) 定义为 第个 实验室颜色空间上的灰度。 K(K) c(c) c(c) X(X) c(c) c(c) 分别表示具有较高频率的像素比例和灰度数。因此,较大的 K(K) c(c) c(c) 是且较小 X(X) c(c) c(c) 即,分布像素值越集中。 R(右) 有效地反映了场景的动态范围,在大多数场景中,其值都在区间[0.3,1.3]。
其次,背景变化由绝对差值的平均值测量 M(M) 0 在前两帧之间。通常,前两帧中很少有移动对象。因此, M(M) 0 表示场景的背景动态。 M(M) 0 在静态场景中几乎等于0,如果场景中包含动态背景元素或摄影机移动,则值较大。
M(M) 0 = q个 = 1 小时 w个 | n个 2 ( q个 ) n个 1 ( q个 ) | 小时 * w个
在这里, n个 1 n个 2 分别是第一帧和第二帧的强度。
第三,利用第一帧拉普拉斯纹理特征的平均值测量场景的纹理复杂度 L(左) 0 .A大 L(左) 0 表示场景具有强烈的纹理。
L(左) 0 = M(M) e(电子) n个 ( L(左) c(c) n个 ( n个 1 ) )
哪里 L(左) 0 [ 10 , 60 ] 在CDnet2014数据集中。
最后,初始距离阈值可以通过
R(右) c(c) o个 o个 第页 0 ( x个 ) = K(K) 0 ( 1 + R(右) ) + M(M) 0 + L(左) 0 /
R(右) b 0 ( x个 ) = L(左) 0 / b
在这里, K(K) 0 , 、和 b 是用户定义的参数。综合考虑作者描述的研究结果[11,12,13],我们绑定 R(右) c(c) o个 o个 第页 0 ( x个 ) R(右) b 0 ( x个 ) 间隔[10,40]和[1,6]分别适应大多数实际环境。因此,我们定义了 K(K) 0 = 10 , = 10 、和 b = 10 在论文中。修改后的首字母 R(右) ( x个 ) 能够针对环境变化实现稳健的检测结果。
接下来,需要更新距离阈值,以适应背景/前景分割后测试帧中逐渐发生的背景变化。参考中[11]根据两个重要指标:背景动态和局部分割噪声水平进行调整。
像素的背景动态 x个 时间 t吨 由递归移动平均值测量 最小值 ( x个 ) :
最小值 ( x个 ) = 最小值 ( x个 ) · ( 1 α ) + d日 t吨 ( x个 ) · α
哪里
d日 t吨 ( x个 ) = 最小值 { d日 t吨 ( t吨 ( x个 ) , b , k个 ( x个 ) ) | k个 = 1 , 2 , , N个 }
在这里, α 是学习率,以及 α S公司 T型 (=1/25)和 α L(左) T型 (=1/100)分别是SuBSENSE中的短期学习率和长期学习率。 d日 t吨 ( x个 ) 是中所有样本之间的最小归一化颜色-LBSP距离 B类 G公司 ( x个 ) t吨 ( x个 ) 因此, 最小值 ( x个 ) 0 在完全静态的背景区域中,以及 最小值 ( x个 ) 1 在动态区域和前景对象区域中。
局部分割噪声级由累加器测量 v(v) ( x个 ) 闪烁像素(或者在时间上标记为前景和背景)。
v(v) ( x个 ) = { v(v) ( x个 ) + v(v) n个 c(c) 第页 ,   如果   X(X) t吨 ( x个 ) = 1 v(v) ( x个 ) v(v) d日 e(电子) c(c) 第页 ,   否则
哪里
X(X) t吨 ( x个 ) = 如果 t吨 ( x个 ) 如果 t吨 1 ( x个 )
在这里, 表示XOR操作,增量参数 v(v) n个 c(c) 第页 和递减参数 v(v) d日 e(电子) c(c) 第页 分别为1和0.1。 v(v) ( x个 ) 收敛到0以获得稳定的像素,并且 v(v) ( x个 ) 对于不断变化的像素,会有很大的正值。
基于 最小值 ( x个 ) v(v) ( x个 ) ,距离阈值因子 第页 ( x个 ) 和距离阈值 R(右) ( x个 ) 根据方程式(36)–(38)更新了每个新框架。与参考不同[11],我们融合了LBSP的相似阈值 小时 , C类 ( x个 ) 要更新 R(右) c(c) o个 o个 第页 ( x个 ) 。改进的距离阈值可以快速响应环境的变化,加快算法的收敛速度,因为 小时 , C类 ( x个 ) 在动态背景区域值较大,在静态背景区域值较小。
第页 ( x个 ) = { 第页 ( x个 ) + v(v) ( x个 ) ,   如果   第页 ( x个 ) < ( 1 + 最小值 ( x个 ) 2 ) 2 第页 ( x个 ) 1 / v(v) ( x个 ) ,   否则
R(右) c(c) o个 o个 第页 ( x个 ) = ( 1 β ) 第页 ( x个 ) R(右) c(c) o个 o个 第页 0 ( x个 ) + β ( 小时 , R(右) ( x个 ) + 小时 , G公司 ( x个 ) + 小时 , B类 ( x个 ) ) /
R(右) b ( x个 ) = 2 第页 ( x个 ) + R(右) b 0 ( x个 )
哪里 第页 ( x个 ) 已初始化为1, β 称重并设置为一个小值(在纸中为0.1)。 小时 , R(右) ( x个 ) , 小时 , G公司 ( x个 ) 、和 小时 , B类 ( x个 ) 由方程式(22)更新。

2.4.3. 时间子采样因子

时间子采样因子 ϕ ( x个 ) 是基于样本的检测算法中的另一个重要参数。 ϕ ( x个 ) 控制背景模型的更新速度。一个小的 ϕ ( x个 ) 使模型更新的几率很高,从而导致缓慢移动的对象被同化到背景中,产生假阴性。相反,大型 ϕ ( x个 ) 导致背景模型缓慢地适应背景变化,导致长时间无法消除重影,从而产生误报。
ϕ ( x个 ) 已初始化为2,并且限制为间隔 [ 2 , ] 。它由更新
ϕ ( x个 ) = { ϕ ( x个 ) + 1 v(v) ( x个 ) 最小值 ( x个 ) ,   如果   如果 t吨 ( x个 ) = 1 ϕ ( x个 ) v(v) ( x个 ) 最小值 ( x个 ) ,   否则
同时,为了避免前景像素被伪装成背景模型,在相邻扩散过程中利用边缘信息调节时间子采样因子。更准确地说,在背景区域和前景区域之间的边界处通常有很强的纹理信息。邻域扩散应在边界处减缓。也就是说,我们使用了 ϕ ( ) 更新像素的背景模型 (的邻居 x个 )当像素 x个 被归类为背景( 如果 t吨 ( x个 ) = 0 )和拉普拉斯纹理特征 L(左) ( ) 大于用户定义的阈值 t吨 小时 2 也就是说,
ϕ ( ) = { ϕ ( x个 ) ,   如果   如果 t吨 ( x个 ) = 0 & L(左) ( ) < t吨 小时 2 0 ϕ ( x个 ) ,    如果   如果 t吨 ( x个 ) = 0 & L(左) ( ) t吨 小时 2
哪里
t吨 小时 2 = 2 ( 小时 , R(右) ( x个 ) + 小时 , G公司 ( x个 ) + 小时 , B类 ( x个 ) ) /
在这里, 0 应选择稍大的值以减缓扩散。在论文中,该值被实验设置为5。

3.实验分析

3.1. 数据集和评估指标

为了评估该方法的性能,我们选择了CDnet数据集[27]作为测试数据集。与其他数据集(如Wallflower、PETS)相比,CDnet数据集有两个优点。一是各种场景。早期的视频(CDnet 2012数据集)提供31个真实场景(超过88000帧),分为六类视频:基线、相机抖动(CJ)、动态背景(DB)、间歇物体运动(IOM)、阴影和热。2014年,数据集扩大到53个视频(近160000帧,11个类别)。新增的22个视频分为五类:恶劣天气(BW)、低帧速率(LF)、夜间视频(NV)、云台和湍流,这五类视频面临更大的挑战。扩展的数据集几乎涵盖了变化检测的所有挑战。另一种是标记的地面实况掩码,使结果更合理,可以将所提出的方法与其他方法进行比较。
结果通过以下七个指标进行了比较和量化[27]:召回率(Re)、特异性(Sp)、假阳性率(FPR)、假阴性率(FNR)、错误分类百分比(PWC)、精确度(Pr)和F-Measure。这七个指标被视为官方指标,用于测试变更检测算法的有效性。

3.2. 讨论

3.2.1. 如何确定 N个 N个 c(c)

我们在两层背景模型中引入了两个重要参数第2.1节: N个 (主模型中背景样品的数量)和 N个 c(c) (候选背景样本数)。 N个 在SuBSENSE、WeSamBE和SWCD中分别设置为50、25和35。 N个 c(c) 是论文中增加的参数。为了确定这两个参数 N个 , N个 c(c) 并在CDnet 2014数据集上分析了平均F值。我们讨论过 N个 N个 c(c) 在区间[0,50]中,增量为5,以保持与上述文献一致。在这里,我们只列出了恶劣天气、相机抖动、动态背景和低帧速率类别的结果表2,表3,表4表5,因为这四个类别代表四种典型场景。例如,具有大量噪声和窄动态范围的恶劣天气场景,相机随着周期性和全局背景运动而抖动,动态背景随着局部背景运动而跳动,以及低帧速率场景随着移动对象的大位移而变化。
蓝色条目表示表2,表3,表4表5。F-Measure得分先是提高,然后降低为 N个 N个 c(c) 增加。因此,对于 N个 N个 c(c) 选择一个更大的值。背景样本过多会导致模型填充过度。通过比较 N个 c(c) = 0 N个 c(c) 0 在里面表2,表3,表4表5不难发现,候选背景模型可以提高F-Measure分数。以相机抖动类别为例 N个 = 20 N个 c(c) = 10 比提高了约2.3% N个 = 30 N个 c(c) = 0 .对于有背景运动的场景,例如相机抖动和动态背景 N个 需要存储不同的背景样本 N个 c(c) 设置为快速适应不断变化的场景。例如,最佳F-Measure分数集中在 N个 = 45 N个 c(c) = 25 在里面表2表3此外,从表4那个 N个 在相对静态的场景中是一个小值 N个 c(c) 应选择较大的值,以适应缓慢变化的背景和长时间保留的背景样本以供重用。例如,当 N个 = 15 N个 c(c) = 40 在低帧速率类别中。此外 N个 c(c) 在具有窄动态范围的场景中需要,如中所示表5因为像素之间的差异不明显。因此, N个 N个 c(c) 根据背景动力学和场景的动态范围确定。计算公式如下。
N个 ( x个 ) = 1 + R(右) d日 ( x个 ) 2
N个 c(c) ( x个 ) = ( 1 R(右) d日 ( x个 ) ) + ( R(右) 0.5 ) 4
哪里
R(右) d日 ( x个 ) = q个 W公司 ( x个 ) 如果 o个 如果 ( q个 )
在这里, W公司 ( x个 ) 相邻像素 x个 = 21 在论文中, 如果 o个 如果 ( q个 ) 是使用光流法的第二帧图像的检测结果,并且 R(右) d日 ( x个 ) 反映背景运动的强度。的值 R(右) d日 ( x个 ) 在大多数情况下都处于区间[0,0.5]。根据表2,表3,表4表5可以看出,当 15 N个 40 5 N个 c(c) 50 因此,我们设置 1 = 10 , 2 = 50 , = 10 、和 4 = 50 .

3.2.2. 阈值性能分析

为了分析改进阈值在该方法中的效果,我们在中列出了以下四种情况的检测结果表6(1)在SuBSENSE中使用距离阈值、LBSP相似阈值和时间子采样因子;(2) 在SuBSENSE中使用LBSP相似阈值和时间子采样因子,并使用改进的距离阈值;(3) 在SuBSENSE中使用时间子采样因子,并使用改进的距离阈值和LBSP相似阈值;(4)使用改进的距离阈值、LBSP相似阈值和时间子采样因子。
可以从中看到表6从病例(1)到病例(4),Re和平均F-measure得分不断提高。同时,通过比较案例(1)和(2)以及案例(2)和(3)表6不难发现,使用改进的LBSP相似阈值或改进的距离阈值后,平均F测度有了很大的改进。原因是这两个阈值是根据场景和区域本身的变化自适应确定的,即背景变化快的区域阈值较大,静态和低对比度区域阈值较小。此外,如案例(3)和(4)所示,使用改进的时间子采样因子后,平均F-测量值没有明显改善,因为时间子采样系数略有调整。

3.3、。实验结果

3.3.1. 去除鬼影

关键重影出现在CDnet2014数据集上的间歇性对象运动(IOM)类别和“低帧速率”类别的“tunnelExit_0_35fps”视频序列中。第2节,我们讨论了中的“沙发”和“tunnelExit_0_35fps”视频序列图2图3可以看出,我们提出的方法消除了鬼影。为了分析我们提出的方法的优缺点,我们在图8其中包括IOM类别中的“废弃盒子”、“停车”和“冬季车道”场景。在“放弃的盒子”场景中,从第一帧开始,路上有一个红色的盒子,然后它开始从#2446帧开始移动。在“停车”场景中,从第一帧开始,停车场里有一辆白色汽车,然后它被驶离#1334帧。这两个视频序列中的红盒和汽车都是用来模拟背景的,因此在大多数检测方法中,鬼影经常在移开后出现(用粉红色□标记)。然而,我们提出的算法有效地消除了鬼影。众所周知,没有算法是万能的。如中的“winterDriveway”场景所示,当背景发生变化时,我们提出的方法无法移除重影图8。在未来的工作中,我们将扩展我们的方法以适应背景变化。

3.3.2. CDnet2014数据集的平均性能

在本节中,我们通过比较Re、Sp、FPR、FNR、PWC、Pr和F-Measure与最先进的变化检测方法,证明了我们提出的方法的有效性。changedetection.net(CDnet)网站报告了CDnet上数十种变化检测算法的详细分割结果和评估数据。在本文中,我们系统地将所提出的方法与几种相关的最新方法进行了比较,如SuBSENSE、PAWCS、WeSamBE、SWCD、SharedModel[6]和BSUV-Net[18]。首先,以下总结了几种算法的平均性能表7.通过观察表7可以看出,我们提出的方法具有最高的召回率(0.8456)和最低的FNR(0.1544)。特别是,我们的方法获得的召回率比第二好的方法(SuBSENSE)高出约3.3%。我们的方法所达到的精度排在第二位。同时,F值(0.7898)比SWCD提高了3%,甚至优于BSUV-Net。因此,提出的方法与最佳方法存在竞争。
此外,每个类别的F度量值如所示表8该方法在恶劣天气、摄像机抖动、间歇性物体运动、低帧速率和湍流类别下都能取得较好的效果。特别是,与次佳方法相比,相机抖动、低帧速率和湍流类别的F测量值分别增加了4.3%、5.5%和11%。对于动态背景和阴影类别,我们的方法排名第二。然而,我们的方法不适用于夜间视频和PTZ类别。原因是该算法只能处理小范围的背景运动。
最后,各种视频序列的一些视觉结果如所示图9从上到下,顺序是滑冰、羽毛球、摔跤、电车站、收费公路(0_5fps)、后门和颠簸。它们分别来自恶劣天气、相机抖动、动态背景、间歇性对象运动、低帧速率、阴影和湍流类别。从羽毛球序列中的#1141帧、秋季序列中的#3189帧和湍流序列中的#2580帧可以看出,由于距离阈值较大,与其他方法相比,我们提出的算法对动态背景、相机抖动(周期运动背景)和噪声的敏感度较低。在“电车站”场景中,有一个红色的盒子,从#1030帧放在路上,然后保持静止。基于采样的背景减法通常会使静态对象缓慢地融入背景中。然而,我们提出的算法在2000帧后仍然是前景对象的一部分,如绿色◇所示。同时,从滑冰序列中的#917帧来看,我们的算法检测到了伪装的人(用粉红色□标记)。此外,我们的提出的算法消除了弱阴影(用红色◇标记)。因此,我们提出的算法对于抑制动态背景、消除鬼影和检测伪装对象是有效的。

3.3.3。处理速度

在本文中,所有算法都运行在AMD Ryzen 3.7 GHz处理器上,该处理器由AMD(Advanced Micro Devices,Inc.)生产,位于美国加利福尼亚州桑尼维尔市,采购地为中国成都。实验代码在VS2015和Opencv 3.0中编辑和编译,内存为16GB。表9列出了我们提出的算法和SuBSENSE在三个不同分辨率视频序列上的运行时间。我们提出的算法在“高速公路”上的运行速度比SuBSENSE慢五分之一左右,在“滑冰”上慢五分一,在“跌倒”上慢三分之一。原因是我们算法中的方程(12)和方程(22)需要花费更多的时间。“fall”的时间复杂度高于“highway”和“slicing”,因为“fall”使用了更多的背景样本。在未来的工作中,我们将修改方程(22)中的更新机制和连接区域计算策略,以减少算法的总体计算时间。

4.结论

本文提出了一种基于样本的两层背景模型和直方图相似度的鬼影检测与去除方法,该方法消除了模型初始化错误和目标运动间歇造成的鬼影。此外,加入候选背景模型可以延长背景样本的寿命,从而减少周期性背景运动导致的误报检测。然后,根据场景和区域的特点,修改了LBSP特征的颜色和纹理距离阈值、内部相似性阈值和时间子采样因子。改进后的参数有利于抑制动态背景和检测伪装目标。与其他最先进的方法相比,我们提出的算法被证明是有效的。然而,我们提出的算法不适用于背景发生重大变化的场景。在这种情况下,通过SuBSENSE框架中的邻域扩散策略,鬼影被缓慢移除。这个问题是未来工作的一个有希望的方向。

作者贡献

概念化,Y.X.和H.J。;方法,Y.X。;软件,Y.X。;验证,Y.X.、H.J.和W.Z。;形式分析,Y.X.和W.Z。;调查,W.Z。;资源,H.J。;数据管理,W.Z。;书面原稿编制,Y.X。;写作与编辑,H.J。;监督,H.J。;项目管理,H.J。;所有作者均已阅读并同意手稿的出版版本。

基金

本研究由【国家自然科学基金资助】(批准号:【61871301】)资助。

利益冲突

作者声明没有利益冲突。

工具书类

  1. 柯林斯,R.T。;A.J.利普顿。;Kanade,T。;Fujiyoshi,H。;Duggins,D。;Tsin,Y。;托利弗,D。;Enomoto,N。;O.长谷川。;伯特·P。;等。视频监控系统; 卡内基·梅隆大学出版社:宾夕法尼亚州匹兹堡,美国,2000年。[谷歌学者]
  2. Sivaraman,S。;Trivedi,M.M.看着路上的车辆:基于视觉的车辆检测、跟踪和行为分析调查。IEEE传输。智力。运输。系统。 2013,14, 1773–1795. [谷歌学者][交叉参考][绿色版本]
  3. 西苏丹。;陈,C。;Shah,M.监控视频中的真实世界异常检测。arXiv公司 2019,arXiv:1801.0426。在线可用:https://arxiv.org/abs/1801.04264(2019年2月14日访问)。
  4. 孟,F。;王,X。;王,D。;邵,F。;Fu,L.基于空间语义和时间注意机制的在线多对象跟踪。传感器 2020,20, 1653. [谷歌学者][交叉参考][公共医学][绿色版本]
  5. 朱振国。;Ji,H.B。;Zhang,W.B.动作识别的非线性门控通道网络。神经计算 2020,386, 325–332. [谷歌学者][交叉参考]
  6. 陈,Y。;Wang,J。;Lu,H.学习鲁棒背景减法的共享模型。2015年6月29日至7月3日在意大利都灵举行的2015年IEEE多媒体与博览会国际会议记录;第1-6页。[谷歌学者]
  7. 王,R。;布尼亚克,F。;Seetharaman,G。;Palaniappan,K.使用分裂高斯模型的通量张量检测静态和运动目标。2014年6月23日至28日在美国俄亥俄州哥伦布举行的2014年IEEE计算机视觉和模式识别研讨会会议记录;第420-424页。[谷歌学者]
  8. 阿扎姆,R。;Kemouche,医学硕士。;Aouf,N。;Richardson,M.利用空间全局高斯混合模型和不确定性进行高效视觉对象检测。视觉杂志。Commun公司。图像。 2016,36, 90–106. [谷歌学者][交叉参考]
  9. 马丁斯,I。;卡瓦略,P。;Corte-Real,L。;Luis Alba-Castro,J.BMOG:具有受控复杂性的增强高斯混合模型。2017年6月20日至23日,葡萄牙法罗,第2017届伊比利亚模式识别和图像分析会议记录;第50-57页。[谷歌学者]
  10. 霍夫曼,M。;Tiefenbacher,P。;Rigoll,G.带反馈的背景分割:基于像素的自适应分割器。2012年6月16日至21日,罗得岛州普罗维登斯,第2012届计算机视觉和模式识别研讨会论文集;第38-43页。[谷歌学者]
  11. St-charles,P.L。;Bilodeau,G.A.SuBSENSE:一种具有局部自适应灵敏度的通用变化检测方法。IEEE传输。图像处理。 2015,24,第359页至第373页。[谷歌学者][交叉参考][公共医学]
  12. 江,S。;Lu,X.WeSamBE:一种基于加权样本的背景减法。IEEE传输。电路系统。视频技术。 2018,8, 2105–2115. [谷歌学者][交叉参考]
  13. Išony k,ö。;厄兹坎,K。;Günal,S.SWCD:一种基于滑动窗口和自我调节学习的背景更新方法,用于视频中的变化检测。《电子杂志》。成像 2018,27, 1–11. [谷歌学者][交叉参考]
  14. 库马尔,A.N。;Sureshkumar,C.使用改进的K-Means算法基于阈值检测的背景减法。2013年2月21日至22日在美国马萨诸塞州塞勒姆举行的2013年模式识别、信息学和移动工程国际会议论文集;第378-382页。[谷歌学者]
  15. Soeleman,文学硕士。;哈里亚迪,M。;Purnomo,M.H.使用模糊C均值聚类检测运动目标时背景减法的自适应阈值。2012年11月19日至22日在菲律宾宿务举行的2012年TENCON IEEE区域10会议记录;第1-5页。[谷歌学者]
  16. St-charles,P.L。;Bilodeau,G.A.使用单词共识模型的通用背景减法。IEEE传输。图像处理。 2016,25,4768–4781。[谷歌学者][交叉参考]
  17. 曾,Z。;贾建勇。;朱振芳。;Yu,D.L.基于码本的动态背景减法的自适应维护方案。计算。视觉。图像理解。 2016,152, 58–66. [谷歌学者][交叉参考]
  18. Babaee,M。;丁,T.D。;Rigoll,G.视频序列背景减法的深度卷积神经网络。模式识别。 2018,76, 635–649. [谷歌学者][交叉参考]
  19. M.O.特兹坎。;Ishwar,P。;Konrad,J.BSUV-Net:一种用于非视觉视频背景减法的全卷积神经网络。《IEEE计算机视觉应用冬季会议论文集》,美国科罗拉多州村庄,2020年3月1日至5日。[谷歌学者]
  20. De Gregorioa,M。;Giordano,M.用无重量神经网络进行背景估计。模式识别。莱特。 2017,96, 55–65. [谷歌学者][交叉参考]
  21. Ramirez-Quintana,J.A。;查康·莫古亚,M.I。;Ramirez-Alonso,G.M.,基于像素级学习的复杂场景自适应背景建模,采用视网膜主题自组织映射和径向基映射建模。申请。智力。 2018,48, 4976–4997. [谷歌学者][交叉参考]
  22. Maddalena,L。;Petrosino,A.SOBS算法:极限是什么?2012年6月16日至21日,罗得岛州普罗维登斯,第2012届IEEE计算机视觉和模式识别研讨会论文集;第21-26页。[谷歌学者]
  23. Xu,Y。;Dong,J。;张,B。;Xu,D.视频分析中的背景建模方法:回顾和比较评估。CAAI运输。智力。系统。Technol公司。 2016,1, 43–60. [谷歌学者][交叉参考][绿色版本]
  24. 瓦尔盖塞,A。;Sreelekha,G.基于样本的集成背景减法和阴影检测。IPSJ事务。计算。视觉。申请。 2017,9, 25. [谷歌学者][交叉参考]
  25. 张,W。;太阳,X。;Yu,Q.通过背景方向重建在运动摄像机下检测运动目标。传感器 2020,20, 3103. [谷歌学者][交叉参考][公共医学]
  26. 库奇亚拉,R。;格拉纳,C。;皮卡迪,M。;Prati,A.检测视频流中的移动对象、幽灵和阴影。IEEE传输。模式分析。机器。智力。 2003,25, 1337–1342. [谷歌学者][交叉参考][绿色版本]
  27. 王,Y。;Jodoin,P.M。;Porikli,F。;Konrad,J.CDnet 2014:扩展的变化检测基准数据集。2014年6月23日至27日在美国俄亥俄州哥伦布举行的2014年IEEE计算机视觉和模式识别研讨会会议记录;第393-400页。[谷歌学者]
  28. 瓦切,P.D.Z。;Sills-Lavoie,M。;Bilodeau,G.A.一种基于多尺度区域的运动检测和背景减除算法。传感器 2010,10, 1041–1061. [谷歌学者][交叉参考][公共医学]
图1。GhostDeReBS的框图。实心箭头表示每个帧的系统处理流程;虚线箭头表示模型的更新和反馈步骤。
图1。GhostDeReBS的框图。实心箭头表示每个帧的系统处理流程;虚线箭头表示模型的更新和反馈步骤。
传感器20 04558 g001
图2。五种方法检测结果的比较。
图2。五种方法检测结果的比较。
传感器20 04558 g002
图3。鬼魂的形成过程。
图3。鬼魂的形成过程。
传感器20 04558 g003
图4。#000001和#001684之间幻影区域的直方图比较。使用红色□标记的区域是重影的大致位置:() #000001; (b) #001684; (c(c))#001689检测结果;(d日)B通道直方图;(e(电子))G通道直方图;(如果)R通道直方图。
图4。#000001和#001684之间幻影区域的直方图比较。用红色□标记的区域是鬼影的大致位置:()#0000001;(b) #001684; (c(c))#001689检测结果;(d日)B通道直方图;(e(电子))G通道直方图;(如果)R通道直方图。
传感器20 04558 g004
图5。SuBSENSE和GhostDeReBS检测结果比较。
图5。SuBSENSE和GhostDeReBS检测结果比较。
传感器20 04558 g005
图6。比较蓝色通道上两个像素的LBSP内特征。像素(451637)位于静态区域,像素(166653)位于动态区域。
图6。比较蓝色通道上两个像素的LBSP内特征。像素(451637)位于静态区域,像素(166653)位于动态区域。
传感器20 04558 g006
图7。静态和动态区域中背景样本集的比较。()#001430公路上观测像素(37102)的位置。(b)观察到的像素(194,73)在沙发#001030上的位置。(c(c))通过我们提出的算法在(37,102)上获得的背景样本集没有离群值。(d日)通过我们提出的带有离群值的算法在(37,102)上获得的背景样本集。(e(电子))SuBSENSE于(37102)获得的背景样本集。(如果)通过我们提出的算法在(194,73)上获得的背景样本集没有离群值。()通过我们提出的带有离群值的算法在(194,73)上获得的背景样本集。(小时)SuBSENSE于(194,73)获得的背景样本集。()001430号公路地面路障。(j个)在#001430高速公路上,我们提出的算法的检测结果没有异常值。(k个)所提出的算法在#001430高速公路上的异常值检测结果。()SuBSENSE在001430号公路上的检测结果。()沙发#001030的地面面具。(n个)我们提出的算法在沙发#001030上的检测结果没有异常值。(o个)沙发#001030上带离群值的拟议算法的检测结果。()沙发#001030上的SuBSENSE检测结果。
图7。静态和动态区域中背景样本集的比较。()#001430公路上观测像素(37102)的位置。(b)观察到的像素(194,73)在沙发#001030上的位置。(c(c))通过我们提出的算法在(37102)上获得的背景样本集没有异常值。(d日)通过我们提出的带有离群值的算法在(37,102)上获得的背景样本集。(e(电子))SuBSENSE于(37,102)获得的背景样本集。(如果)通过我们提出的算法在(194,73)上获得的背景样本集没有离群值。()通过我们提出的带有离群值的算法在(194,73)上获得的背景样本集。(小时)SuBSENSE于(194,73)获得的背景样本集。()001430号公路地面路障。(j个)在#001430高速公路上,我们提出的算法的检测结果没有异常值。(k个)在001430号公路上,该算法对离群值的检测结果。()SuBSENSE在001430号公路上的检测结果。()沙发#001030的地面面具。(n个)我们提出的算法在沙发#001030上的检测结果没有异常值。(o个)沙发#001030上带离群值的拟议算法的检测结果。()沙发#001030上的SuBSENSE检测结果。
传感器20 04558 g007
图8。分析我们提出的方法在去除鬼影方面的优缺点。
图8。分析我们提出的方法在去除鬼影方面的优缺点。
传感器20 04558 g008
图9。CDnet 2014数据集上各种视频序列的一些分割结果。
图9。CDnet 2014数据集上各种视频序列的一些分割结果。
传感器20 04558 g009
表1。三种方法背景样本集中颜色和LBSP特征的MSE比较。
表1。MSE比较颜色和LBSP特征在背景样本集上的三种方法。
方法苏布森斯我们提出的带离群值的算法我们提出的无异常值算法(GhostDeReBS)
公路颜色:24.55
LBSP:3.16
颜色:23.36
LBSP:3.79
颜色:21.57
LBSP:3.32
沙发颜色:28.21
LBSP:0.28
颜色:21.79
磅/平方英寸:1.93
颜色:1.64
LBSP:1.79
表2。使用不同的 N个 N个 c(c) .
表2。使用不同的 N个 N个 c(c) .
N个 c(c) 05101520253035404550
N个
50.70460.76530.76790.76620.76600.77180.77190.77350.77250.77530.7778
100.77150.81440.82390.83020.82510.83000.83130.83320.83290.83520.8371
150.80270.84000.84970.84960.85190.85080.85220.85380.85290.85300.8524
200.81900.84840.85600.85370.85770.85890.85860.86010.85980.85890.8577
250.82770.85330.85410.85860.85820.85860.86030.86130.86100.86150.8619
300.83350.85210.85810.85990.86250.86150.86190.86250.86470.86340.8638
350.84170.85870.86050.86090.86200.86410.86310.86270.86230.86580.8629
400.84410.85750.86020.86340.86150.86260.86350.86450.86270.86430.8630
450.84420.85660.86010.85840.86570.86440.86310.85970.85770.86400.8598
500.84300.84890.85180.84350.85300.85350.85700.85440.85490.85580.8543
表3。使用不同的 N个 N个 c(c) .
表3。使用不同的动态背景类别获得的平均F-Measure分数 N个 N个 c(c) .
N个 c(c) 05101520253035404550
N个
50.75050.77230.79110.80190.81460.82350.82920.83080.83400.83190.8313
100.78120.80410.82530.84960.85920.86440.86570.86790.86580.86110.8613
150.79950.82310.85580.87140.87820.87830.87860.88030.87500.87550.8702
200.80950.83980.86760.88000.88320.88510.88520.88450.88200.88200.8800
250.82520.85290.87970.88480.88730.88730.88610.88660.88620.88440.8836
300.84480.86670.88250.88740.89000.88970.89040.89110.88910.88860.8861
350.85890.87570.88610.88950.89220.89210.89210.88910.88980.88530.8837
400.86850.87990.88590.89260.89270.89350.89190.89100.89040.88500.8855
450.87540.88460.88940.89310.89220.89400.89230.89090.88910.88680.8843
500.87560.88670.89120.89220.89450.89230.89400.89000.88950.88770.8854
表4。使用不同的 N个 N个 c(c) .
表4。使用不同的 N个 N个 c(c) .
N个 c(c) 05101520253035404550
N个
50.64870.69650.68850.69930.71620.74320.76310.77290.77930.78880.7925
100.63740.65130.65690.70400.72350.74200.75480.76430.78010.79410.8025
150.69320.69560.70070.71030.73250.74850.75110.77820.79650.80030.8085
200.70300.70030.70390.71010.72100.74140.75160.78000.78480.80640.8020
250.70710.70200.70530.70780.72520.74020.75300.77220.79370.79840.7978
300.71190.71590.71980.70790.74060.73190.78110.79270.78380.79830.8056
350.70670.71010.71700.70640.71590.73960.75990.78700.78570.79460.7985
400.71890.71380.72180.71690.72130.74020.76580.76460.79140.79650.8009
450.71490.70170.71500.71820.72580.74950.77510.77910.78170.79540.7977
500.70530.72090.72030.72290.72280.73760.76610.77690.79240.79350.7979
表5。使用不同的 N个 N个 c(c) .
表5。使用不同的 N个 N个 c(c) .
N个 c(c) 05101520253035404550
N个
50.84050.84950.85240.85290.85400.85350.85340.85280.85270.85280.8521
100.86280.86840.86920.86900.86810.86680.86660.86570.86390.86360.8636
150.87340.87620.87510.87430.87340.87220.87140.87040.86960.86880.8675
200.87760.87960.87920.87690.87500.87440.87310.87230.87150.87060.8694
250.88070.88280.88190.88110.87930.87750.87670.87570.87450.87390.8732
300.88400.86670.88520.88450.88280.88150.87950.87870.87710.87620.8749
350.88570.88690.88530.88300.88130.88130.88010.87890.87660.87730.8760
400.88650.88790.88610.88410.88290.88090.87910.87850.87750.87560.8750
450.88860.88830.88710.88450.88260.88080.87860.87740.87700.87510.8750
500.88880.88930.88720.88500.88230.88000.87790.87600.87480.87420.8733
表6。CDnet2014数据集上四个案例的性能分析。
表6。CDnet2014数据集上四个案例的性能分析。
方法重新服务提供商FPR公司FNR公司普华永道Pr公司F-测量
(1)0.75690.99300.00700.24311.47770.81770.7535
(2)0.77520.99440.00560.22481.26440.81720.7681
(3)0.84200.99140.00860.15801.32600.79200.7890
(4)0.84560.99080.00910.15441.37040.78920.7898
请注意,红底条目表示给定列中的最佳结果,蓝底条目表示次佳结果。
表7。CDnet2014数据集上几种最先进方法的总体性能分析。
表7。CDnet2014数据集上几种最先进方法的总体性能分析。
方法重新服务提供商FPR公司FNR公司普华永道公共关系F-测量
SuBSENSE公司0.81240.99040.00960.18761.67800.75090.7408
PAWCS系统0.77180.99490.00510.22821.19920.78570.7403
共享模型0.80980.99120.00880.19021.49960.75030.7474
WeSamBE公司0.79550.99240.00760.20451.51050.76790.7446
SWCD公司0.78390.99300.00700.21611.34140.75270.7583
BSUV-净0.82030.99460.00540.17971.14020.81130.7868
GhostDeReBS公司0.84560.99080.00920.15441.37040.78920.7898
注意,红字表示给定列中的最佳结果,蓝字表示次佳结果
表8。CDnet 2014数据集上每个类别的F-measure比较。
表8。CDnet 2014数据集上每个类别的F-measure比较。
类别苏布森斯PAWCS系统共享模型WeSamBE公司SWCD公司BSUV-净GhostDeReBS公司
BW公司0.86190.81520.84800.86080.82330.87130.8718
基线0.95030.93970.95220.94130.92140.96930.9517
希杰0.81520.81370.81410.79760.74110.77430.8583
数据库0.81770.89380.82220.74400.86450.79670.8817
国际移民组织0.65690.77640.67270.73920.70920.74990.7841
低频0.64450.65880.72860.66020.73740.67970.7923
内华达州0.55990.41520.54190.59290.58070.69870.5141
PTZ公司0.34760.46150.38600.38440.45450.62820.4112
阴影0.89860.89130.88980.89990.87790.92330.9131
热的0.81710.83240.83190.79620.85810.85810.8190
湍流0.77920.64500.73390.77370.77350.70510.8907
请注意,红底条目表示给定行中的最佳结果,蓝底条目表示次佳结果。
表9。三个不同分辨率视频序列的运行时比较。
表9。三个不同分辨率视频序列的运行时比较。
方法公路(240*320)滑冰(360*540)秋季(480*720)
苏布森斯每秒15.3帧每秒6.7帧4.2帧/秒
GhostDeReBS公司每秒12.6帧5.2帧/秒2.8帧/秒

分享和引用

MDPI和ACS样式

Xu,Y。;纪浩。;张伟(Zhang,W.)。基于二层背景模型和直方图相似性的鬼影检测与去除。传感器 2020,20, 4558.https://doi.org/10.3390/s20164558

AMA风格

Xu Y、Ji H、Zhang W。基于二层背景模型和直方图相似性的鬼影检测与去除。传感器. 2020; 20(16):4558.https://doi.org/10.3390/s20164558

芝加哥/图拉宾风格

Xu、Yiping、Hongbing Ji和Wenbo Zhang。2020年,“基于两层背景模型和直方图相似性的幽灵检测和消除”传感器20、16号:4558。https://doi.org/10.3390/s20164558

请注意,从2016年第一期开始,该杂志使用文章编号而不是页码。请参阅更多详细信息在这里.

文章指标

返回页首顶部