基于深度学习的图像中无人机与飞鸟检测研究综述

doi:10.3778/j.issn.1002-8331.2305-0372

美国/摘要

摘要：随着民用无人机产业的发展，无人机已经成为一项影响公共安全的重要问题。目前针对低空无人机的监视手段主要是采用雷达探测结合图像识别的方法，然而在图像检测识别中易受到与无人机同属“低、慢、小”目标的飞鸟的干扰。为了能够在基于可见光图像的无人机检测中排除飞鸟目标的干扰，利用深度神经网络对可见光图像中无人机与飞鸟进行精确的检测与分类，有效地排除飞鸟对无人机检测的干扰。系统阐释了目标检测技术的发展历程，讨论了各类基于深度学习网络目标检测算法的差异，对比了各类算法的优缺点。对可用于无人机与飞鸟检测的图像数据集进行了梳理与介绍，对相关研究的已有成果进行分析；再从实际应用出发，对无人机与飞鸟检测当中可能会存在的问题进行梳理，阐述与分析了能解决相应检测问题的卷积神经网络的相关研究。最后，针对该研究后续可能的发展方向进行展望。

关键词: 深度学习, 卷积神经网络, 目标检测, 无人机, 飞鸟检测

摘要：随着民用无人机行业的发展，无人机已成为影响公共安全的关键问题。目前，低空无人机的监视方法主要采用雷达探测与可见光图像识别相结合的方法。然而，可见光图像识别容易受到飞鸟的干扰，飞鸟与无人机属于相同的“低、慢、小”目标。为了消除基于可见光图像的无人机检测中飞鸟目标的干扰，利用深度神经网络对可见光图像中的无人机和飞鸟进行准确识别和分类，有效消除了无人机检测过程中鸟的干扰。本文首先系统地阐述了目标检测技术的发展过程，讨论了基于深度学习网络的各种目标检测算法的差异，并比较了各种算法的优缺点。对可用于无人机和鸟类检测的图像数据集进行了整理和介绍，并对现有的相关研究成果进行了分析。然后，从实际应用出发，梳理了无人机和鸟类检测中可能存在的问题，并对解决相应检测问题的神经网络研究进行了阐述和分析。最后，对本研究可能的未来方向进行了展望。

关键词： 深度学习，卷积神经网络，目标检测，无人机，飞鸟探测

谢威宇, 张强. 基于深度学习的图像中无人机与飞鸟检测研究综述[J] ●●●●。计算机工程与应用, 2024, 60(8): 46-55.

谢伟余，张强。基于深度学习卷积神经网络的光电图像中无人机和鸟类检测综述[J]。计算机工程与应用，2024，60（8）：46-55。

参考文献

[1]罗俊海, 王芝燕. 无人机探测与对抗技术发展及应用综述[J] 2022年，37（3）：530-544。
罗建华，王志勇.无人机探测与对抗技术发展与应用综述[J]。控制与决策，2022，37（3）：530-544。
[2] 陈唯实, 黄毅峰, 陈小龙, 等. 机场净空区飞鸟与非合作无人机目标识别[J] 《路透社》，2020，4（3）：27-33。
陈文思，黄永发，陈晓林，等.机场净空区飞鸟和非合作无人机目标识别方法[J]。民航杂志，2020，4（3）：27-33。
[3] 张灵灵. 基于改进YOLOv5型的低空无人机检测方法研究[D] ●●●●。西安：西安工业大学, 2023
张磊。基于改进YOLOv5的低空无人机探测方法研究[D]。西安：西安理工大学，2023年。
[4] 梅枫, 高兴宇, 邓仕超, 等. 双目测距和YOLOv5系列的无人机快速识别定位追踪系统[J] ●●●●。现代电子技术, 2023, 46(10): 181-186.
MEI F，GAO X Y，DENG S C，等.基于双目测距和YOLOv5s的无人机快速识别、定位和跟踪系统[J]。现代电子技术，2023，46（10）：181-186。
[5] VIOLA P，JONES M.使用简单特征的增强级联快速目标检测[C]//2001年IEEE计算机学会计算机视觉和模式识别会议论文集，2001:511-518。
[6] VIOLA P，JONES M J.鲁棒实时人脸检测[J]。国际计算机视觉杂志，2004，57（2）：137-154。
[7] 卢宏涛, 张秦川. 深度卷积神经网络在计算机视觉中的应用研究综述[J] ●●●●。美国，2016, 31(1): 1-17.
吕海涛，张清川。深度卷积神经网络在计算机视觉中的应用[J]。数据采集与处理杂志，2016，31（1）：1-17。
[8] 李坤，等.基于反向传播网络的手写数字识别[C]//神经信息处理系统进展2，1989:396-404。
[9] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.用深度卷积神经网络进行图像分类[C]//神经信息处理系统进展252012:1097-1105。
[10] GIRSHICK R，DONAHUE J，DARRELL T，et al.用于精确目标检测和语义分割的丰富特征层次[C]//IEEE计算机视觉和模式识别会议论文集，2014:580-587。
[11] 何克，张X，任斯，等。用于视觉识别的深度卷积网络中的空间金字塔池[J]。IEEE模式分析和机器智能汇刊，2015，37（9）：1904-1916。
[12] GIRSHICK R.Fast R-CNN[C]//IEEE计算机视觉国际会议论文集，2015:1440-1448。
[13] REN S、HE K、GIRSHICK R等。更快的R-CNN：走向真实？基于区域提议网络的时间目标检测[C]//神经信息处理系统进展28，2015:91-99。
[14] LIN T Y，DOLLáR P，GIRSHICK R，等.用于目标检测的特征金字塔网络[C]//IEEE计算机视觉与模式识别会议论文集，2017:2117-2125。
[15] REDMON J，DIVVALA S，GIRSICK R，et al.你只看一次：统一的实时对象检测[C]//IEEE计算机视觉和模式识别会议论文集，2016:779-788。
[16] 刘伟，安格洛夫D，埃尔罕D，等.SSD:单次多盒探测器[C]//第十四届欧洲计算机视觉会议论文集，2016:21-37。
[17] 林天勇，戈亚尔·P，吉尔希克·R，等.稠密目标检测的焦距损失[J]。IEEE模式分析和机器智能汇刊，2020，42（2）：318-327。
[18] DAI J，LI Y，HE K，et al.R-FCN:基于区域的完全卷积网络目标检测[C]//神经信息处理系统进展29，2016:379-387。
[19] HE K，GKIOXARI G，DOLLáR P，et al.Mask R-CNN[C]//IEEE计算机视觉国际会议论文集，2017:2961-2969。
[20] REDMON J，FARHADI A.YOLO9000:更好、更快、更强[C]//IEEE计算机视觉和模式识别会议论文集，2017:7263-7271。
[21]REDMON J，FARHADI A.YOLOv3：渐进式改进[J]。arXiv:1804.027672018年。
[22]CARION N，MASSA F，SYNNAEVE G，等.用变压器进行端到端目标检测[C]//第16届欧洲计算机视觉会议论文集，2020：213-229。
[23]BOCHKOVSKIY A，WANG C Y，LIAO H Y M.YOLOv4:目标检测的最佳速度和精度[J].arXiv:2004.10934200。
[24]WANG C Y，BOCHKOVSKIY A，LIAO H Y M.YOLOv7:可培训的免费行李为实时目标探测器设置了新的最先进技术[C]//IEEE/CVF计算机视觉和模式识别会议记录，2023:7464-7475。
[25]LIN T Y，MAIRE M，BELONGIE S，et al.微软COCO:common objects in context[C]//第十三届欧洲计算机视觉会议论文集，2014:740-755。
[26]EVERINGHAM M，ESLAMI S M A，VAN G L，等.pascal视觉对象类挑战：回顾[J]。国际计算机视觉杂志，2015，111（1）：98-136。
[27]WAH C，BRANSON S，WELINDER P，等.caltech-ucsd birds-200-2011数据集[D]。加州理工学院，2011年。
[28]李杰，叶德华，钟涛，等.无人机单摄像机多目标检测与跟踪[C]//IEEE/RSJ智能机器人与系统国际会议论文集，2016:4992-4997。
[29]ROZANTSEV A，LEPETIT V，FUA P.使用单个移动摄像机检测飞行物体[J]。IEEE模式分析和机器智能汇刊，2016，39（5）：879-892。
[30]CHEN Y，AGGARWAL P，CHOI J，et al.无人机监测的深度学习方法[C]//亚洲太平洋信号与信息处理协会年度峰会和会议记录，2017:686-691。
[31]COLUCCIA A，FASCISTA A，SCHUMANN A，et al.无人机与鸟类检测：深度学习算法和重大挑战的结果[J]。传感器，2021，21（8）：2824。
[32]斯万斯特？M F，ENGLUND C，ALONSO F F.利用可见、热和声传感器进行无人机实时探测和跟踪[C]//第25届模式识别国际会议论文集，2021:7265-7272。
[33]帕韦？CZYK M，WOJTYRA M.四翼无人机检测的真实世界目标检测数据集[J]。IEEE接入，2020，8:174394-174409。
[34]WALTER V，VRBA M，SASKA M.关于基于机器学习的微型无人机视觉相对定位训练数据集[C]//IEEE机器人与自动化国际会议（ICRA）会议记录，2020年：10674-10680。
[35]郑毅，陈Z，LV D，等.微型飞行器的空对空视觉检测：深度学习的实验评价[J]。IEEE Robotics and Automation Letters，2021，6（2）：1020-1027。
[36]姜恩，王凯，彭X，等.反UAV：无人机跟踪的大型多模基准[J]。arXiv:22101.084662021年。
[37]蒋兆军, 成孝刚, 彭雅琴, 等. 基于深度学习的无人机识别算法研究[J] ●●●●。电子技术应用, 2017, 43(7): 84-87.
姜志杰，程晓刚，彭义清，等.一种基于深度学习的新型无人机识别算法[J]。电子技术应用，2017，43（7）：84-87。
[38]COLUCCIA A，GHENESCU M，PIATRIK T，et al.IEEE AVSS2017无人机与鸟类探测挑战[C]//第14届IEEE高级视频与信号监控（AVSS）国际会议论文集，2017。
[39]SCHUMANN A，SOMMER L，KLATTE J，et al.用于鲁棒无人机检测的深度跨域飞行目标分类[C]//第14届IEEE高级视频和信号监控（AVSS）国际会议论文集，2017。
[40]COLUCCIA A、SAQIB M、SHARMA N等。IEEE AVSS2019无人机与鸟类探测挑战[C]//第16届IEEE先进视频与信号监控（AVSS）国际会议论文集，2019。
[41]FERNANDES A，BAPTISTA M，FERNANEDES L，et al.使用目标跟踪和残差神经网络在视频图像中识别无人机、飞机和鸟类[C]//第十一届电子、计算机和人工智能国际会议论文集，2019。
[42]MEDIAVILLA C，NANS L，MAREZ D，等.探测空中物体：无人机、鸟类和直升机[J]。国防应用中的人工智能和机器学习III，2021，11870:83-97。
[43]ASHRAF M W，SULTANI W，SHAH M.斗犬：从无人机视频中检测无人机[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2021:7067-7076。
[44]AKYON F C，AKAGUNDUZ E，ALTINUC S O，等.无人机与鸟类分类的序列模型[J].arXiv:2207.104092022。
[45]IHEKORONYE V U，AJAKWE S O，KIM D S，et al.使用卷积神经网络对无人机和其他飞行物体进行空中监控[C]//信息与通信人工智能国际会议（ICAIIC）会议记录，2022:69-74。
[46]刘S，李庚，詹毅，等.无人机探测的多尺度空间运动学方法[J]。遥感，2022，14（6）：1434。
[47]索默L，舒曼A，M？LLER T，et al.用于自动无人机识别的飞行物体检测[C]//第14届IEEE高级视频和信号监控（AVSS）国际会议论文集，2017。
[48]CAI Z，VASCONCELOS N.Cascade R-CNN:深入研究高质量目标检测[C]//IEEE计算机视觉和模式识别会议论文集，2018:6154-6162。
[49]XIE S，GIRSHICK R，DOLLáR P，等.深度神经网络的聚合残差变换[C]//IEEE计算机视觉与模式识别会议论文集，2017:1492-1500。
[50]王X，YU K，WU S，et al.Esrgan：增强超分辨率生成对抗网络[C]//2018年欧洲计算机视觉会议论文集。
[51]KIM J H，KIM N，WON C S.基于YOLOv8的高速无人机探测探测空中物体：无人机、鸟类和直升机[C]//IEEE声学、语音和信号处理国际会议论文集，2023年。
[52]MISTRY S K，CHATTERJEE S，VERMA A K，et al.无人机-vs-Bird:使用YOLOv7和CSRT跟踪器检测空中物体的无人机检测：无人机、鸟类和直升机[C]//IEEE声学、语音和信号处理国际会议（ICASSP）会议记录，2023年。
[53]于峰，柯顿V.基于扩张卷积的多尺度上下文聚合[J].arXiv:1511.071222015。
[54]CRAYE C，ARDJOUNE S.无人机检测的时空语义分割[C]//第16届IEEE高级视频和信号监控（AVSS）国际会议论文集，2019年。
[55]MAGOULIANITIS V、ATALOGLOU D、DIMOU A等。深度超分辨率是否能增强无人机检测？[C] //第16届IEEE高级视频和信号监控（AVSS）国际会议记录，2019年。
[56]徐恩，普莱斯B，科亨S，等.深度图像拼接[C]//IEEE计算机视觉与模式识别会议论文集，2017:2970-2979。
[57]AFIFI M，DERPANIS K G，OMMER B，et al.学习多尺度照片曝光校正[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2021:9157-9167。
[58]CHEN Z，WANG Y，YANG Y，et al.PSD：以物理先验为指导的原则性合成到真实去雾[C]//IEEE/CFF计算机视觉和模式识别会议论文集，2021:7180-7189。
[59]董浩，潘杰，香露，等.基于密集特征融合的多尺度增强去噪网络[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2020：2157-2167。
[60]李磊，董毅，任伟，等.半监督图像去噪[J]。IEEE图像处理汇刊，2019，29:2766-2779。
[61]邵毅，李磊，任伟，等.图像去噪的域适配[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2020：2808-2817。
[62]LI B，REN W，FU D，等.单幅图像去噪及其后的基准测试[J]。IEEE图像处理汇刊，2018，28（1）：492-505。
[63]ZHONG Z，ZHENG Y，SATO I.关于动态场景中的滚动快门校正和去模糊[C]//IEEE/CFF计算机视觉和模式识别会议论文集，2021:9219-9228。
[64]CHEN L，ZHANG J，PAN J，et al.学习夜间模糊图像的非盲去模糊网络[C]//IEEE/CFF计算机视觉与模式识别会议论文集，2021:10542-10550。
[65]刘强，LU X，HE Z，等.热红外目标跟踪的深度卷积神经网络[J]。基于知识的系统，2017，134:189-198。
[66]周X，YIN T，KOLTUN V，等.全球跟踪变压器[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2022:8771-8780。
[67]陶A，SAPRA K，CATANZARO B.语义切分的层次多尺度关注[J].arXiv:2005.108212020。