Deep learning-based multiple moving vehicle detection and tracking using a nonlinear fourth-order reaction-diffusion based multi-scale video object analysis

Tudor Barbu

doi:10.3934/dcdss.2022083

文章内容

2023年第16卷, 第1版: 16-32. Doi公司：10.3934/dcdss.2022083

这个问题上一篇文章具有非齐次Neumann边界条件的非局部非线性反应扩散问题的定性和定量分析下一篇文章流行病传播的非线性二阶各向异性反应扩散模型的定性和定量分析

基于深度学习的非线性四阶反应扩散多尺度视频目标检测与跟踪

都铎·巴布

罗马尼亚科学院计算机科学研究所-Iasi分院，罗马尼亚IašI Carol I大厦8号

收到日期： 2022年2月

修订日期： 2022年3月

提前访问： 2022年3月

发布时间： 2023年1月

摘要全文（HTML）图(3)/表(2) 相关论文引用人

摘要

本文提出了一种新的自动车辆检测与跟踪框架。首先，结合一些深度学习和基于高斯混合模型的目标检测技术，在视频序列的帧中检测出运动车辆。然后，通过对连续帧中检测到的视频对象进行多尺度分析，确定这些对象之间的对应关系。通过应用数值逼近算法来创建一个尺度空间表示，该算法求解一个基于非线性四阶反应扩散模型，并对其数学有效性进行了严格研究。然后使用基于SURF和HOG的特征在每个尺度上执行彩色图像特征提取，然后将在多个尺度上确定的特征向量连接到最终描述符中。然后提出了一种基于实例匹配的车辆跟踪新技术，该技术利用这些特征向量之间的距离。最后讨论了所执行的检测和跟踪模拟的结果。

关键词：

数学学科分类：一次：35Axx，68Txx；次要：35A01、35A02、49K40、62H30、68T07、68U10、94A08、62M40、65D18。

引用：

全文（HTML）

图1。 移动车辆检测过程示例

下载：全尺寸图像 PowerPoint幻灯片

图2。 车辆检测和跟踪框架的体系结构

下载：全尺寸图像 PowerPoint幻灯片

图3。 移动车辆跟踪示例

下载：全尺寸图像 PowerPoint幻灯片

表1。 运动车辆检测方法比较

检测技术	精密度	召回
拟议的方法	0.8423	0.8257
聚合通道网络（ACF）	0.6741	0.6824
高斯混合模型（GMM）	0.6843	0.6722
更快的R-CNN	0.8192	0.8192
美国有线电视新闻网	0.6581	0.6625
YOLO-v2型	0.7632	0.7811
帧差（FD）	0.5826	0.5972
HOG+SVM	0.6149	0.6349

|显示表格

下载：CSV公司

表2。 多车辆跟踪方法比较

跟踪方法	精密度	召回
建议的技术	0.8401	0.8216
GMM+Mean-shift跟踪	0.7148	0.7332
GMM+Kalman滤波器	0.7643	0.7527
EB+IoU跟踪器	0.8576	0.8615
SIFT跟踪	0.6233	0.6181
SIFT+卡尔曼滤波	0.7486	0.7391
帧差分（FD）+对象匹配	0.5801	0.5879
HOG+SVM+特征匹配	0.6102	0.6213

|显示表格

下行荷载：CSV公司

相关论文

引用人

参考文献

[1]	M.阿特菲安以及H.马哈达维·纳萨布，使用GMM背景减法的稳健均值漂移跟踪，基础与应用科学研究杂志,三(2013), 596-607.
[2]	A.Banharnsakun以及S.塔纳通，通过使用迄今为止最好的ABC，基于模板匹配的对象检测，计算智能与神经科学,2014(2014), 919406. 数字对象标识：10.1155/2014/919406.
[3]	T.巴布，比较各种语音识别技术，2009年第五届语音技术与人机对话会议记录,(2009), 1-6. 数字对象标识：10.1109/SPED.2009.5156172。
[4]	T.Barbu，一种自动无监督模式识别方法，罗马尼亚学院学报，系列A：数学、物理、技术科学、信息科学，7(2006), 73–78.
[5]	T.巴布，声纳电影中使用改进的时间差分方法和纹理分析进行多目标检测和跟踪，波利特恩。布加勒斯特大学。牛市。序列号。A申请。数学。物理学。,74(2012), 27-40.
[6]	T.巴布，RGB图像的自动人脸检测系统，国际计算机、通信与控制杂志,6(2011), 21-32. 数字对象标识：10.15837/ijccc.2011.1.2197。
[7]	T.巴布，使用时间差分和HOG功能检测和跟踪行人，计算机与电气工程,40(2014), 1072-1079. 数字对象标识：2016年10月10日/j.compleceng.2013.12004。
[8]	T.巴布，静态摄像机视频序列中运动人体检测和跟踪的新方法，程序。罗马学院。序列号。数学。物理学。技术科学。信息科学。,13（2012），第269-277页
[9]	T.Barbu，一种新的基于扩散的图像恢复和插值模型《丛书：信号与通信技术》，施普林格国际出版社，2019年。数字对象标识：10.1007/978-3-319-93006-0.
[10]	T.巴布，使用变分水平集算法的鲁棒轮廓跟踪模型，数字。功能。分析。最佳方案。,35（2014），第263-274页数字对象标识：10.1080/01630563.2013.850436。
[11]	T.Barbu，使用定向梯度直方图的基于SVM的人类细胞检测技术，信息科学的数学方法&经济学：第三届应用数学和信息学国际会议论文集，AMATHI’122012年12月29日至31日，瑞士蒙特勒，第156页至第160页。
[12]	T.巴布, A.米兰维尔以及C.莫罗沙努，具有非齐次Cauchy-Neumann边界条件的非线性二阶各向异性扩散问题的定性分析和数值模拟，申请。数学。计算。,350(2019), 170-180. 数字对象标识：2016年10月10日/j.amc.2019.01.004。
[13]	T.Barbu和C.Morošanu，基于非线性二阶抛物线PDE方案的图像恢复，奥维迪乌斯·康斯坦塔大学Anale Stinitifice ale Universitatii Ovidius Constanta、马特马提卡岛（Seria Matematica）、，25(2017), 33–48.数字对象标识：2017-0003年8月10日，第1515页。
[14]	T.巴布以及C.莫罗沙努，基于PDE的复合加性去噪解决方案，将改进的各向异性扩散模型与二维高斯滤波核相结合，东亚J.应用。数学。,9(2019), 1-12. 数字对象标识：10.4208/eajam.270318.260518。
[15]	H.Bay，T.Tuytelaars和L.V.Gool，《冲浪：加速强大功能》，年欧洲计算机视觉会议（2006），柏林斯普林格，海德堡，404-417。数字对象标识：10.1007/11744023_32.
[16]	M.Betke先生, E.哈里塔格鲁以及L.S.戴维斯、从移动车辆实时检测和跟踪多辆车，机器视觉及其应用,12(2000), 69-83. 数字对象标识：10.1007/s0013800050126。
[17]	E.Bochinski、V.Eiselein和T.Sikora，不使用图像信息的高速跟踪旁路检测，In2017年IEEE第14届先进视频和信号监控（AVSS）国际会议, (2017), 1–6.数字对象标识：10.1109/AVSS.2017.8078516。
[18]	T.Burghardt和J.Calic，动物实时人脸检测和跟踪，In2006年第八届神经网络在电气工程中的应用研讨会，（2006），27-32。数字对象标识：10.1109/新，2006年3月41167日。
[19]	T.F.Chan先生以及洛杉矶Vese、无边缘的活动轮廓，IEEE图像处理汇刊,10(2001), 266-277. 数字对象标识：10.1109/83.902291.
[20]	西香塔拉, J.-H.Mun先生, D.W.Shin以及Y.-S.Ho先生，使用自适应模板匹配进行目标跟踪，IEIE智能处理和计算交易,4(2015), 1-9. 数字对象标识：10.5573/IEIESPC.2015.4.1.001。
[21]	R.Chavan（查万）以及S.R.根加耶、使用GMM技术的多目标检测和使用卡尔曼滤波器的跟踪，国际计算机杂志。应用。,172(2017), 20-25. 数字对象标识：10.5120/ijca2017915102。
[22]	X.陈, C.西以及J.曹，基于改进混合高斯模型的运动目标检测研究，Optik公司,126(2015), 2256-2259. 数字对象标识：2016年10月10日/j.ijleo.2015.05.122。
[23]	G.环磷酰胺, F.L.Sánchez先生, S.Tabik公司, L.Troiano公司, R.塔利亚费里以及F.埃雷拉，视频多目标跟踪中的深度学习：一项调查，神经计算,381(2020), 61-88. 数字对象标识：2016年10月10日/j.neucom.2019.11.023。
[24]	N.达拉以及B.触发器，人体检测定向梯度直方图，2005年IEEE计算机学会计算机视觉和模式识别会议（CVPR'05）,1(2005), 886-893. 数字对象标识：10.1109/CVPR.2005.177。
[25]	J.杜，对基于CNN家族和YOLO的对象检测的理解，物理学杂志：会议系列,1004(2018), 012029. 数字对象标识：10.1088/1742-6596/1004/1/012029.
[26]	J.法鲁克、使用SURF和BoW模型进行目标检测和识别，2016年国际计算、电子和电气工程会议（ICE Cube）,(2016), 318-323. 数字对象标识：10.1109/ICECUBE.2016.7495245。
[27]	P.F.Felzenszwalb先生, R.B.吉希克, D.麦卡利斯特以及D.拉马南、使用经过区分训练的基于零件的模型进行对象检测，IEEE模式分析和机器智能汇刊,32(2010), 1627-1645. 数字对象标识：10.1109/TPAMI.2009.167。
[28]	F.戈尔班, J.玛丽恩, Y.Su先生, A.科伦坡以及A.库默特、用于实时行人检测的聚合通道网络，第十届机器视觉国际会议（ICMV 2017）,10696（2018），106960I。数字对象标识：10.1117/12.2309864.
[29]	M.Han先生, A.塞提, W.Hua公司以及Y.龚，一种基于检测的多目标跟踪方法，2004年国际图像处理会议,5（2004），3065-3068
[30]	徐家川以及G.T.戴、使用粒子群优化的多目标跟踪，国际电子与通信工程杂志,6(2012), 744-747.
[31]	P.约翰逊，偏微分方程的有限差分，曼彻斯特大学数学学院，2008年第一学期。
[32]	K.Kale、S.Pawar和P.Dhulekar，使用光流和运动矢量估计的运动目标跟踪，In2015年第四届可靠性、信息通信技术和优化国际会议（ICRITO）（趋势和未来方向）, (2015), 1–6.数字对象标识：10.1109/ICRITO.2015.7359323。
[33]	C.库布尔贝克以及A.恩斯特，使用修改的consus变换在视频序列中进行人脸检测和跟踪，图像和视觉计算,24(2006), 564-572.
[34]	D.-H.李、基于CNN的视频单目标检测与跟踪及其在无人机检测中的应用，多媒体工具和应用程序,80(2021), 34237-34248. 数字对象标识：10.1007/s11042-020-09924-0。
[35]	十、李以及X.郭，基于HOG特征和SVM的单摄像机前向车辆检测方法，2013年第五届智能人机系统与控制论国际会议,1(2013), 263-266. 数字对象标识：10.1109/IHMSC.2013.69。
[36]	J.L.狮子，非线性极限问题求解的Quelques方法杜诺德。1969年，巴黎，Gauthier-Villars。
[37]	L·刘, 欧阳西部, X.王, P.菲格特, J.Chen（陈）, 十、刘以及M.Pietikäinen先生，通用对象检测的深度学习：一项调查，国际计算机视觉杂志,128(2020), 261-318. 数字对象标识：2007年10月17日/11263-019-01247-4。
[38]	K.Mantribragada，F.C.Trigo，F.P.Martins和A.de Toledo Fleury，使用特征匹配和卡尔曼滤波的车辆跟踪，In程序。国际机械工程大会，（2013），361–370。
[39]	A.Nadeem、A.Jalal和K.Kim，基于人工神经网络检测身体部位的人体动作跟踪和识别，In2020年第三届国际计算科学进展会议（ICACS）, (2020), 1–6.数字对象标识：10.1109/ICACS47775.2020.9055951。
[40]	T.Nguyen、E.-A.Park、J.Han、D.-C.Park和S.-Y.Min，使用尺度不变特征变换进行目标检测，In遗传与进化计算、施普林格、查姆，238（2014），65–72。数字对象标识：10.1007/978-3-319-01796-9_7。
[41]	H.A.帕特尔以及D.G.塔科尔，使用卡尔曼滤波器跟踪运动目标，国际计算机科学与移动计算杂志,2(2013), 326-332.
[42]	F.Porikli和A.Yilmaz，目标检测和跟踪，商业智能视频分析施普林格，（2012），第3-41页。数字对象标识：10.1007/978-3-642-28598-1_1.
[43]	S.Ren先生, K.何, R.Girshick先生以及J.孙，更快的R-CNN：利用区域提议网络实现实时目标检测，EEE模式分析和机器智能汇刊,39(2017), 1137-1149. 数字对象标识：10.1109/TPAMI.2016.2577031。
[44]	K.B.Saran公司以及G.斯列尔卡、交通视频监控：车辆检测和分类，2015年印度控制通信与计算国际会议（ICCC）,(2015), 516-521. 数字对象标识：10.1109/ICC.2015.7432948。
[45]	S.S.森加以及S.Mukhopadhyay公司，一种基于块帧差分的运动目标检测新方法，，2016年第三届信息技术最新进展国际会议（RAIT），IEEE,(2016), 467-472. 数字对象标识：10.1109/RAIT.2016.7507946。
[46]	V.Srikrishnan、T.Nagaraj和S.Chaudhuri，基于碎片的尺度和方向适应跟踪，In2008年第六届印度计算机视觉、图形和图像处理会议, (2008), 328–335. 电气与电子工程师协会。数字对象标识：10.1109/ICVGIP.2008.19。
[47]	P.Viola和M.Jones，使用简单特征的增强级联快速目标检测，In2001年IEEE计算机学会计算机视觉和模式识别会议记录。2001年CVPR,2001（2001），I-I。数字对象标识：10.1109/第2001.990517页。
[48]	L·王, 路云英, H.王, Y·郑, H.叶以及十、薛、用于快速车辆检测的进化箱，2017 IEEE国际多媒体与博览会（ICME）,(2017), 1135-1140. 数字对象标识：10.1109/IMCE.2017.8019461。
[49]	L.Wen，D.Du，Z.Cai，Z.Lei，M.C.Chang，H.Qi。。。S.Lyu，UA-DETRAC：用于多目标检测和跟踪的新基准和协议，计算机视觉与图像理解,193(2020), 102907.数字对象标识：2016年10月10日/j.cviu.2020.102907。
[50]	A.吴, S.赵, C.邓以及刘伟（W.Liu）、通过SVD字典增强的广义和区分性少数目标检测，神经信息处理系统研究进展,34(2021).
[51]	十、吴, D.萨胡以及S.C.海，物体检测深度学习的最新进展，神经计算,396(2020), 39-64.
[52]	R.肖, L.Zhu先生以及张海杰、促进对象检测的链学习，第九届IEEE计算机视觉国际会议论文集,(2003), 709-715.
[53]	C.Yang、R.Duraiswami和L.Davis，通过新的相似性度量实现有效的均值漂移跟踪，In2005年IEEE计算机学会计算机视觉和模式识别会议（CVPR'05）,1(2005), 176–183.
[54]	Y.Yuan（元）, H.杨, Y.Fang先生以及林伟、基于结构复杂度系数的视觉目标跟踪，IEEE多媒体期刊,17(2015), 1125-1136. 数字对象标识：10.1109/TMM.2015.2440996。
[55]	M.Zhang和V.Ciesielski，使用反向传播算法和遗传算法训练和优化用于目标检测的神经网络，数据库和专家系统应用国际会议施普林格、柏林、海德堡，1677（1999），626–635。数字对象标识：10.1007/3-5440-48309-8_58。
[56]	J.Zhou和J.Hoang，实时鲁棒人体检测和跟踪系统。，在2005年IEEE计算机学会计算机视觉和模式识别会议（CVPR'05）-研讨会, (2005), 149–149.