全景视频中多运动对象检测与跟踪方法

doi:10.3778/j.issn.1002-8331.2212-0371

摘要/摘要

摘要：全景视频多运动对象检测与跟踪技术的通用解决方案是通过投影变换将360°视频转为二维视频后进行检测和跟踪。然而固定球面投影变换会导致全景视频中存在空间上不连续的投影边界，当运动对象处于投影边界时，常规球面投影方法可能将其切分为多个部分，从而导致该运动对象的漏检或误检。针对该问题，提出了融合等距柱状形投影（等角投影，ERP）和（立方体地图投影，CMP）的全景视频多运动对象检测与跟踪方法，利用合适的CMP企业资源规划两极区域失真并弥补其边界不连续性，解决了处于投影边界和两极扭曲的对象检测问题。进一步，通过感知哈希、球面质心和运动方向等多重特征融合来解决全景视频多运动对象跟踪问题。实验结果表明，提出的方案可以有效减少投影边界不连续导致的误检，且能有效应对遮挡、穿梭帧边界和两极扭曲的对象跟踪问题。

关键词: 全景视频, 多运动对象检测与跟踪, 等距柱状形投影（ERP），立方体投影（CMP）

摘要：全景视频检测与跟踪技术的一般解决方案是通过投影将360°视频转换为二维视频后，检测和跟踪运动目标。然而，固定球面投影会导致全景视频中的投影边界不连续。当运动目标位于投影边界时，传统的球面投影方法可能会将目标分割成多个部分，从而导致漏检或误检。提出了一种结合等分辨率投影（ERP）和立方体地图投影（CMP）的全景视频多运动目标检测与跟踪方法。它使用合适的CMP拼接帧来减少极性畸变并补偿ERP帧投影边界的不连续性，解决了在投影边界或极性畸变处检测物体的问题。然后，融合感知散列、球质心和运动方向等多种特征，解决多运动目标跟踪问题。实验结果表明，该方案可以有效地缓解投影边界不连续引起的误检测，并能正确跟踪遮挡、帧边界穿梭或极性失真的运动物体。

关键词： 全景视频，多运动目标检测和跟踪，等角度投影（ERP），立方体贴图投影（CMP）

刘慧彤, 王希, 刘威, 杨鹏. 全景视频中多运动对象检测与跟踪方法[J] ●●●●。计算机工程与应用, 2024, 60(10): 188-197.

刘惠通、王曦、刘伟、杨鹏。全景视频中多运动目标的检测与跟踪方法[J]。计算机工程与应用，2024，60（10）：188-197。

参考文献

[1] 宋聪聪, 高策, 张艳超，等.基于三维球面模型的全景视频实时拼接方法[J] 《财富》，2023，43（10）：73-86。
宋春川，高川，张永川，等.基于三维球面模型的全景视频实时拼接方法[J]。《光学学报》，2023，43（10）：73-86。
[2] 王殿伟, 赵梦影, 刘颖, 等. 改进的R-SSD（右固态硬盘）全景视频图像车辆检测算法[J] ●●●●。计算机工程与应用, 2021, 57(3): 189-195.
王德伟，赵明义，刘毅，等.改进的R-SSD全景视频图像车辆检测算法[J]。计算机工程与应用，2021，57（3）：189-195。
[3] CHOPRA L，CHAKRABORTY S，MONDAL A，et al.PARIMA:viewport adaptive 360度视频流[C]//Web Conferences of the Web Conferency，2021:2379-2391。
[4] FINNIE S，ZHANG F L，RHEE T。球形360°视频中的视觉对象跟踪：桥接方法[C]//2020年第35届图像和视觉计算国际会议论文集，新西兰，2020年：1-6。
[5] 杨伟，钱Y，K？M？R？（右）？INEN J K，等.等矩形全景图中的目标检测[C]//2018年第24届模式识别国际会议论文集，2018:2190-2195。
[6] 何毅，XIU X，HANHART P，等.基于混合立方体映射投影的内容自适应360度视频编码[C]//2018年图像编码研讨会论文集，2018:313-317。
[7] MI T W，YANG M T.360度视频跟踪技术的比较[J]。应用科学，2019，9（16）：3336。
[8] 王殿伟, 方浩宇, 刘颖, 等. 一种基于改进RT-MD网的全景视频目标跟踪算法[J] ●●●●。哈尔滨工业大学学报, 2020, 52(10): 152-160.
王德伟，方海英，刘毅，等.全景视频目标跟踪的改进RT-MDNet[J]。哈尔滨工业大学学报，2020，52（10）：152-160。
[9] LIU K C，SHEN Y T，CHEN L G.使用球面全景相机进行简单的在线和实时跟踪[C]//2018 IEEE国际消费电子会议论文集，2018:1-6。
[10] COORS B，CONTRACHE A P，GEIGER A.SphereNet:学习用于全方位图像检测和分类的球面表示法[C]//第15届欧洲计算机视觉会议论文集，2018:518-533。
[11] JIA P，TIE Y，QI L，等.PV-YOLO:一种基于YOLOv4的全景视频对象检测模型[C]//2022年亚洲算法、计算和机器学习会议论文集，2022:56-61。
[12] CAO M，IKEHATA S，AIZAWA K。用于360°图像中目标检测的双ERP表示[C]//2022年IEEE图像处理国际会议论文集，2022:2016-2020。
[13] LEE Y，JEONG J，YUN J，et al.SpherePHD:将CNNs应用于360°图像的球面多面体表示[C]//2019 IEEE/CVF计算机视觉和模式识别会议论文集，2019:9181-9189。
[14] 李明，孟明，周忠.RepF-Net:用于全景图像目标检测的失真软件再投影融合网络[C]//2022年亚洲计算机视觉会议论文集，2022:74-89。
[15] 黄天果, 何嘉, 沈庆阳. 基于全景视觉图像的实时目标检测方法[J] ●●●●。计算机工程与设计, 2022, 43(7): 2055-2061.
黄天庚，何杰，沈庆英.基于全景图像的实时目标检测方法[J]。计算机工程与设计，2022，43（7）：2055-2061。
[16] 赵元龙, 单玉刚, 袁杰.改进YOLOv7深层分类的佩戴口罩行人跟踪[J] ●●●●。计算机工程与应用, 2023, 59(6): 221-230.
赵永利，丹永光，袁J.基于改进YOLOv7和DeepSORT的戴口罩行人跟踪[J]。计算机工程与应用，2023,59（6）：221-230。
[17] 杜磊，HO A T S，CONG R.图像认证中的感知哈希：一项调查[J]。信号处理：图像通信，2020，81:115713。
[18] WANG C Y，BOCHKOVSKIY A，LIAO H Y M.YOLOv7：可培训的免费行李为实时目标探测器创造了新的技术水平[J]arXiv:2207.026962022。
[19] WU C，TAN Z，WANG Z，et al.探索VR球形视频流中用户行为的数据集[C]//第八届ACM多媒体系统会议论文集，2017:193-198。