×

基于片上系统(SoC)的硬件加速,用于前景和背景识别。 (英语) Zbl 1395.94060号

摘要:近年来,嵌入式视觉应用程序和可访问性的快速增长引发了人工智能算法和实现设计的哲学转变。随着高清视频的普及,可处理的数据量也大幅增加,提出了巨大的计算和通信需求。近年来,通过专业化实现硬件加速受到了新的关注;这种加速通常使用两个芯片来实现,图像信号处理(ISP)部分由DSP、GPU或FPGA执行,视频内容分析(VCA)部分由处理器执行。GPU消耗大量的功率;因此,在嵌入式环境中部署它们具有挑战性。然而,使用微处理器和FPGA在单个芯片上制造的新一代SoC-FPGA耗电较少,可以内置于小型系统中,从而为嵌入式应用提供了一个有吸引力的平台。本研究提出了SoC中实时自适应背景和前景识别算法的硬件加速,包括捕获、处理和显示阶段。该算法可以在2D或3D空间中执行。该平台使用光度不变的颜色、深度数据和局部二进制模式(LBP)来区分背景和前景。该系统使用最少的单元资源,采用弹性流水线结构来吸收处理时间的变化,并优化每个流水线阶段以使用可用的FPGA原语。此外,本工作中使用的以通信为中心的体系结构简化了嵌入式视觉算法的实现。

MSC公司:

94A08型 信息与通信理论中的图像处理(压缩、重建等)
68吨10 模式识别、语音识别
93立方厘米 控制理论中的应用模型
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] B.D.Technology,《在嵌入式系统中实现视觉功能》,2012年。https://chess.eecs.berkeley.edu/eecs149/lectures/20120322_BDTI_eecs149_ESC_Embedded_Vision.pdf; B.D.Technology,《在嵌入式系统中实现视觉功能》,2012年。https://chess.eecs.berkeley.edu/eecs149/lectures/20120322_BDTI_eecs149_ESC_Embedded_Vision.pdf
[2] 塞努奇,B。;查菲,I。;海尔曼,B。;Dubois,J。;Miteran,J.,基于SOC的智能相机的快速原型设计:实时跌倒检测案例研究,J.实时图像处理。,12, 4, 649-662, (2016)
[3] 拉普拉,P.-J。;海尔曼,B。;Ginhac,D.,Hdr-艺术家:用于高动态范围成像的自适应实时智能相机,J.实时图像处理。,12, 4, 747-762, (2016)
[4] E.出版物:《视频监控市场:2011-2016年全球预测和分析》,2014年。统一资源定位地址https://www.electronics.ca网站; E.出版物:《视频监控市场:2011-2016年全球预测和分析》,2014年。统一资源定位地址https://www.electronics.ca网站
[5] Yang,Y。;Wu,Q.J.,具有表示学习子网络节点的多层极限学习机,IEEE Trans。赛博。,46, 11, 2570-2583, (2016)
[6] 曹,J。;林,Z。;黄,G.-B。;Liu,N.,基于投票的极端学习机器,信息科学。,185, 1, 66-77, (2012)
[7] 曹,J。;Wang,W。;Wang,J。;Wang,R.,基于新型声学统计特征的挖掘设备识别,IEEE Trans。赛博。,PP,99,1-13,(2017)
[8] 哈德菲尔德,S。;Bowden,R.,《好莱坞3D:识别3D自然场景中的动作》,IEEE计算机视觉和模式识别会议论文集,2013年,3398-3405,(2013)
[9] Oreifej,O。;Liu,Z.,Hon4D:用于深度序列活动识别的定向4D法线直方图,IEEE计算机视觉和模式识别会议论文集,716-723,(2013)
[10] Zedboard,Avnet产品简介,2016年。统一资源定位地址http://zedboard.org; Zedboard,Avnet产品简介,2016年。统一资源定位地址http://zedboard.org
[11] C.V,旋风V soc开发工具包,2016年。统一资源定位地址https://www.altera.com; C.V,旋风V soc开发工具包,2016年。统一资源定位地址https://www.altera.com
[12] Ridder,C。;蒙克尔特,O。;Kirchner,H.,使用卡尔曼滤波的自适应背景估计和前景检测,机电一体化最新进展国际会议论文集,193-199,(1995),Citeser
[13] Karmann,K。;Brandt,A.V.,使用自适应背景存储器的运动物体识别,(Capellini,V.,《时间-变化图像处理和运动物体识别》,(1990),荷兰阿姆斯特丹爱思唯尔出版社,289-307
[14] 富山,K。;Krumm,J。;布鲁米特,B。;Meyers,B.,Wallflower:后台维护的原则和实践,第七届IEEE计算机视觉国际会议论文集,1999年,第1卷,255-261,(1999),IEEE
[15] Jacques,J.C.S。;荣格,C.R。;Musse,S.R.,灰度视频序列中的背景减法和阴影检测,第十八届巴西计算机图形和图像处理研讨会论文集(SIBGRAPI’05),189-196,(2005),IEEE
[16] Chiu,C.-C。;Ku,M.-Y。;Liang,L.-W.,使用基于概率的背景提取算法的鲁棒对象分割系统,IEEE Trans。电路系统。视频技术。,20, 4, 518-528, (2010)
[17] Horprasert,T。;哈伍德,D。;Davis,L.S.,实时鲁棒背景减法和阴影检测的统计方法,(99,(1999)),1-19
[18] 罗德里格斯-戈麦斯,R。;Fernandez-Sanchez,E.J。;迪亚兹,J。;Ros,E.,基于horprasert模型的实时背景减法的FPGA实现,Sensors,12,1,585,(2012)
[19] 雷恩,C.R。;阿扎尔巴耶贾尼,A。;Darrell,T。;Pentland,A.P.,《Pfinder:人体实时跟踪》,IEEE Trans。模式分析。马赫。智力。,19, 7, 780-785, (1997)
[20] 斯塔弗,C。;Grimson,W.E.L.,用于实时跟踪的自适应背景混合模型,IEEE计算机学会计算机视觉和模式识别会议论文集,1999年,第2卷,(1999),IEEE
[21] Lee,D.-S.,视频背景减法的有效高斯混合学习,IEEE Trans。模式分析。马赫。智力。,27, 5, 827-832, (2005)
[22] Tuzel,O。;Porikli,F。;Meer,P.,《背景建模的贝叶斯方法》,2005年IEEE计算机学会计算机视觉和模式识别会议论文集(CVPR'05),(2005),IEEE,58-58
[23] 海基拉,M。;Pietikainen,M.,《一种基于纹理的背景建模和运动物体检测方法》,IEEE Trans。模式分析。马赫。智力。,28, 4, 657-662, (2006)
[24] 胡建生。;Su,T.-M.,室内监控中去除阴影和高光的稳健背景减法,EURASIP J.Appl。信号处理。,2007, 1, (2007) ·Zbl 1168.94335号
[25] Carr,P.,GPU加速多模式背景减法,《数字图像计算技术与应用学报》,DICTA’08,279-286,(2008)
[26] 范,V。;Vo、P。;Hung,V.T.,用于背景减法的扩展高斯混合模型的GPU实现,IEEE计算和通信技术国际会议论文集,研究、创新和未来展望(RIVF),1-4,(2010),IEEE
[27] 徐,J。;沃尔夫·W。;汉克尔,J。;Chakradhar,S。;Lv,T.,嵌入式视频网络芯片设计案例研究,欧洲设计、自动化和测试会议论文集,第2卷,20770,(2004),IEEE计算机学会
[28] 吕,T。;徐,J。;沃尔夫·W。;Ozer,I.B。;Chakradhar,S.T.,多媒体多处理器soc架构设计方法,IEEE Des。测试计算。,22, 1, 18-26, (2005)
[29] 陈,G。;坎德米尔,M。;北纬维杰里什南。;欧文,M.J。;Wolf,W.,嵌入式Java环境中通过压缩实现的节能,第十届硬件/软件协同设计国际研讨会论文集,163-168,(2002),ACM
[30] Swaminathan,K。;Lakshminarayanan,G。;Ko,S.-B.,《使用乒乓缓存的片上网络高速通用网络接口》,电子系统设计国际研讨会论文集,72-76,(2012),IEEE
[31] 阿皮亚,K。;Hunter,A.,实时自适应背景模型的单芯片fpga实现,IEEE现场可编程技术国际会议论文集,2005,95-102,(2005),IEEE
[32] 施莱斯曼,J。;洛达托,M。;Ozer,B。;Wolf,W.,《嵌入式计算机视觉的异构MPSOC架构》,IEEE多媒体与博览会国际会议论文集,1870-1873,(2007),IEEE
[33] Wójcikowski,M。;Ż阿格列夫斯基,R。;Pankiewicz,B.,基于FPGA的自动交通监控传感器网络检测算法的实时实现,J.信号处理。系统。,68, 1, 1-18, (2012)
[34] Happe,M。;Lübbers,E。;Platzner,M.,嵌入式实时视频对象跟踪的自适应异构多核架构,J.实时图像处理。,8, 1, 95-110, (2013)
[35] Ratnayake,K。;Amer,A.,使用参数压缩背景建模进行噪声自适应视频对象检测的嵌入式架构,J.实时图像处理。,2014年1月13日至18日
[36] 姜浩。;Ardo,H。;Owall,V.,《利用多模式背景建模进行视频分段的硬件加速器设计》,IEEE电路与系统国际研讨会论文集,1142-1145,(2005),IEEE
[37] Genovese,M。;那不勒斯,E。;Petra,N.,用于背景-前景识别的Opencv兼容实时处理器,微电子国际会议论文集,467-470,(2010),IEEE
[38] Genovese,M。;Napoli,E.,基于FPGA的高清视频实时分割和去噪架构,J.实时图像处理。,8, 4, 389-401, (2013)
[39] 姚,J。;Odobez,J.-M.,基于颜色和纹理的多层背景减法,IEEE计算机视觉和模式识别会议论文集,1-8,(2007),IEEE
[40] Kim,K。;Chalidabhongse,T.H。;哈伍德,D。;Davis,L.,使用码本模型的实时前景背景分割,实时成像,11,3,172-185,(2005)
[41] Dömer,R。;Gerstlauer,A。;彭杰。;Shin博士。;蔡,L。;Yu,H。;Abdi,S。;Gajski,D.,片上系统环境:用于异构mpsoc设计的基于SPECC的框架,EURASIP J.Embed。系统。,2008, 5, (2008)
[42] 王,Z。;Simoncelli,E.P。;Bovik,A.C.,用于图像质量评估的多尺度结构相似性,第三十七届信号、系统和计算机Asilomar会议会议记录,2004年,第2卷,1398-1402,(2003),IEEE
[43] Safaei,A。;Wu,Q.J.,用软动态相机评估3D手势运动,IEEE多媒体大数据国际会议论文集,290-291,(2015),IEEE
[44] Safaei,A。;Jahed,M.,使用HMM,J.Elector进行三维手势评估。计算。工程师Innov。,1, 1, 11-18, (2013)
[45] 科马尼丘,D。;Meer,P.,Mean shift:一种稳健的特征空间分析方法,IEEE Trans。模式分析。马赫。智力。,24, 5, 603-619, (2002)
[46] Xilinx,ZC702 Zynq-7000 XC7Z020全可编程SoC评估委员会,2015年。第1.5版。;Xilinx,Zynq-7000 XC7Z020全可编程SoC的ZC702评估板,2015。版本1.5。
[47] Xilinx,Petalinux工具,2017年。网址:www.xilinx.com/products/design-tools/embedded-software/petalinux-sdk.html;Xilinx,Petalinux工具,2017年。网址:www.xilinx.com/products/design-tools/embedded-software/petalinux-sdk.html
[48] Xilinx,维基Xilinx,2017年。网址:www.wiki.xilinx.com/PetaLinux;Xilinx,维基Xilinx,2017。网址:www.wiki.xilinx.com/PetaLinux
[49] Schuldt,C。;拉普特夫,I。;Caputo,B.,《识别人类行为:局部支持向量机方法》,第17届模式识别国际会议论文集,2004年。ICPR 2004,第3卷,32-36,(2004)
[50] 真空,A。;T.城堡。;威廉·A。;Lequièvre,L.,室外前景/背景提取的基准数据集,亚洲计算机视觉会议,291-300,(2012),施普林格
[51] 背景模型挑战(BMC)(http://bmc.iut-auvergne.com/; 背景模型挑战(BMC)(http://bmc.iut-auvergne.com/
[52] 空白,M。;Gorelick,L。;谢赫特曼,E。;伊拉尼,M。;Basri,R.,《时空形状的作用》,第十届IEEE计算机视觉国际会议论文集,ICCV 2005,第2卷,1395-1402,(2005)
[53] 费雷曼,J。;Shahrokini,A.,Pets2009:数据集与挑战,第十二届IEEE跟踪与监视性能评估国际研讨会(PETS-Wint)会议记录,2009,1-6,(2009),IEEE
[54] 帕蒂诺,L。;甘蔗,T。;瓦利,A。;Ferryman,J.,《2016年宠物:数据集和挑战》,IEEE计算机视觉和模式识别研讨会会议记录,1-8,(2016)
[55] L.Leal-Taixé,A.Milan,I.Reid,S.Roth,K.Schindler,《2015年Motchallenge:实现多目标跟踪基准》,arXiv预印本arXiv:1504.01942;L.Leal-Taixé,A.Milan,I.Reid,S.Roth,K.Schindler,《2015年Motchallenge:实现多目标跟踪基准》,arXiv预印本arXiv:1504.01942
[56] A.Milan,L.Leal-Taixé,I.Reid,S.Roth,K.Schindler,Mot16:多目标跟踪基准,arXiv预印本arXiv:1603.00831;A.Milan,L.Leal-Taixé,I.Reid,S.Roth,K.Schindler,Mot16:多目标跟踪基准,arXiv预印本arXiv:1603.00831
[57] Andriluka,M。;罗斯,S。;Schiele,B.,People-tracking-by-detection和People-detection-by-tracking,IEEE计算机视觉和模式识别会议论文集CVPR 2008,1-8,(2008),IEEE
[58] Kristensen,F。;海德伯格,H。;姜浩。;尼尔森,P。;Ùwall,V.,《嵌入式实时监控系统:实施和评估》,J.Signal Process。系统。,52, 1, 75-94, (2008)
[59] Hiraiwa,J。;巴尔加斯,E。;Toral,S.,基于FPGA的实时运动分割嵌入式视觉系统,第17届系统、信号和图像处理国际会议论文集。巴西(2010年)
[60] 吉诺维斯,M。;那不勒斯,E。;Petra,N.,用于背景-前景识别的Opencv兼容实时处理器,2010年国际微电子会议论文集,467-470,(2010)
[61] Genovese,M。;Napoli,E.,基于FPGA的高清视频实时分割和去噪架构,J.实时图像处理。,8, 4, 389-401, (2013)
[62] Liao,S。;赵,G。;凯洛昆普,V。;Pietikäinen,M。;Li,S.Z.,用尺度不变的局部模式建模复杂场景中背景减法的像素过程,IEEE计算机视觉和模式识别会议论文集,2010,1301-1306,(2010),IEEE
[63] 海曼,E。;Eklundh,J.-O.,《移动观察者的统计背景减法》。,ICCV,第1卷,(2003)
[64] Z.Zivkovic,用于背景减法的改进自适应高斯混合模型,第17届模式识别国际会议论文集,2004年。ICPR 2004,第2卷,28-31,(2004),IEEE
[65] Z.Zivkovic。;Van Der Heijden,F.,背景相减任务中每图像像素的有效自适应密度估计,Pattern Recogn。莱特。,27, 7, 773-780, (2006)
[66] 李,L。;黄,W。;顾毅。;田奇,从包含复杂背景的视频中检测前景物体,第十一届ACM国际多媒体会议论文集,2-10,(2003),ACM
[67] 戈雅,Y。;T.城堡。;Malaterre,L。;Trassoudaine,L.,通过静态视频传感器评估车辆轨迹,IEEE智能交通系统会议记录,2006年。ITSC’06,864-869,(2006),IEEE
[68] Xilinx,用Vivado HLS设计的浮点矩阵乘法Zynq加速器,2016年。第2.0版。;Xilinx,用Vivado HLS设计的浮点矩阵乘法Zynq加速器,2016年。第2.0版。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。