结合Transformer和动态特征融合的低照度目标检测

doi:10.3778/j.issn.1002-8331.2310-0131

摘要/摘要

摘要：针对现有低照度目标检测算法模型参数量与计算量大、检测实时性差、难以应用于移动设备等问题，提出一种基于YOLOv8公司的改进轻量模型深色YOLOv8的低照度目标检测方法。使用MobileNet v2替换YOLOv8公司的主干网络，增加模型的特征提取能力；使用变压器注意力机制，获取图像的全局信息，并且基于目标标记信息作为标签训练变压器模块参数，增强目标区域内的权重，从而提高模型在低照度条件下提取目标特征的能力；对颈部网络使用动态特征融合注意力模块（动态特征融合注意力，DFFA）动态融合浅层和深层特征，同时使用YOLOv8X型算法+哥伦比亚广播公司对DFFA公司模块中哥伦比亚广播公司空间注意力权重进行监督训练。实验结果表明，在Ex深色数据集上，深色YOLOv8在GFLOP公司仅8.53的情况下百万AP50指标达到70.1%，相比YOLOv8n公司提高了3.9个百分点。

关键词: 测试，注意力机制, 轻量化, 变压器，可变形卷积

摘要：针对现有微光目标检测算法中存在的参数和计算复杂度高、实时性差、对移动设备的适用性有限等问题，本文提出了一种基于YOLOv8的改进的轻量级模型DarkYOLOv 8，用于微光目标的检测。首先，将MobileNet v2替换为YOLOv8的主干网络，以增强模型的特征提取能力。其次，利用Transformer注意机制从图像中捕获全局信息，并基于目标注释信息训练Transformer模块参数作为标签，以增强目标区域内的权重，从而提高了模型在弱光条件下提取目标特征的能力。最后，使用动态特征融合注意力（DFFA）模块在颈部网络中进行特征融合，动态融合浅层和深层特征，同时，使用YOLOv8X算法结合CBAM来监督DFFA的CBAM模块中空间注意权重的训练。实验结果表明，在ExDark数据集上，DarkYOLOv8在mAP50度量上达到70.1%，只有8.53个GFLOP，与YOLOv 8n相比提高了3.9个百分点。

关键词： 微光物体检测，注意机制，重量轻，变压器，可变形卷积

蔡腾, 陈慈发, 董方敏. 结合变压器和动态特征融合的低照度目标检测[J] ●●●●。计算机工程与应用, 2024, 60(9): 135-141.

蔡腾、陈慈发、董方敏。结合变压器和动态特征融合的微光目标检测[J]。计算机工程与应用，2024,60（9）：135-141。

参考文献

[1] GIRSHICK R.Fast R-CNN[C]//IEEE计算机视觉国际会议论文集，2015:1440-1448。
[2] REN S，HE K，GIRSHICK R，et al.Faster R-CNN:towards real-time object detection with region proposition networks[C]//Advances in Neural Information Processing Systems，2015.REN S、HE K、GIRSHICK R，等.更快的R-CNN：利用区域提议网络。
[3] CAI Z，VASCONCELOS N.Cascade R-CNN:深入研究高质量目标检测[C]//IEEE计算机视觉和模式识别会议论文集，2018:6154-6162。
[4] REDMON J，DIVVALA S，GIRSHICK R，et al.你只看一次：统一的实时目标检测[C]//IEEE计算机视觉和模式识别会议论文集，2016:779-788。
[5] LIU W，ANGUELOV D，ERHAN D，et al.SSD:单次多盒探测器[C]//第十四届欧洲计算机视觉会议论文集，荷兰阿姆斯特丹，2016年10月11-14日。[S.l.]：施普林格国际出版公司，2016:21-37。
[6] 林天勇，戈亚尔·P，吉尔希克·R，等.密集目标检测中的焦点损失[C]//IEEE国际计算机视觉会议论文集，2017:2980-2988。
[7] TERVEN J，CORDOVA-ESPARZA D.《YOLO的全面回顾：从YOLOv1到YOLOv 8及以后》[J]。arXiv:2304.005012023年。
[8]张蕊, 高诗博, 赵霞, 等. 基于改进YOLOv5系列人[J] ●●●●。电子测量技术, 2023, 46(17): 87-93.
张润，高世斌，赵X，等.基于改进YOLOv5s的无人飞行器夜间目标检测算法[J]。电子测量技术，2023，46（17）：87-93。
[9] KALWAR S，PATEL D，AANEGOLA A等。GDIP：用于不利条件下物体检测的门控可微图像处理[J]。arXiv:2209.149222022年。
[10] 秦清，常克，黄敏，等.DENet:恶劣天气条件下目标检测的检测驱动增强网络[C]//亚洲计算机视觉会议论文集，2022:2813-2829。
[11] 雷德蒙J，FARHADI A.Yolov3：渐进式改进[J]。arXiv:1804.027672018年。
[12] 麦锦文, 李浩, 康雁. 基于特征交互结构的弱光目标检测[J/OL]。计算机工程与应用: 1-11[2023-10-10]. http://kns.cnki.net/kcms/detail/11.2127.TP.20230403.1553.022.html。
MAI J W，LI H，KANG Y.基于特征交互结构的微光目标检测[J/OL]。计算机工程与应用：1-11[2023-10-10]。http://kns.cnki.net/kcms/detail/121.227.TP.20230403.1553.022.html。
[13] 舒子婷, 张泽斌, 宋尧哲, 等. 基于改进YOLOv5公司的低光照图像目标检测[J] ●●●●。激光与光电子学进展, 2023, 60(4): 77-84.
舒志通，张志斌，宋永中，等.基于改进YOLOv5算法的微光图像目标检测[J]。激光与光电子进展，2023，60（4）：77-84。
[14] 陈永麟, 王恒涛, 张上. 基于YOLO第7版的轻量级红外目标检测算法[J/OL]。红外技术: 1-9[2023-10-13]. http://kns.cnki.net/kcms/detail/53.1053.TN.20230911.1613.002.html。
陈永利，王海涛，张S.基于YOLO v7的轻型红外目标检测算法[J/OL]。红外技术：1-9[2023-10-13]。http://kns.cnki.net/kcms/detail/53.1053.TN.20230911.1613.002.html。
[15] 胡敏，王仕，李斌，等。佩内特：走向精确高效的图像引导深度完成[C]//2021 IEEE机器人与自动化国际会议，2021:13656-13662。
[16] SASAGAWA Y，NAGAHARA H.Yolo，《用于合并多个模型的暗域自适应方法》[C]//《第十六届欧洲计算机视觉会议论文集》，英国格拉斯哥，2020年8月23日至28日。[S.l.]：施普林格国际出版公司，2020年：345-359。
[17] 尹X，余Z，高X，等.变换器：DCT驱动的微光图像和暗视觉增强变换器[J]。arXiv:2309.069412023年。
[18] ALI M，YIN B，BILAL H，等.基于多盒检测的尖峰网络的先进高效暗目标检测策略[J]。多媒体工具和应用，2023:1-21。
[19] SANDLER M，HOWARD A，ZHU M，et al.Mobilenetv2:倒置残差和线性瓶颈[C]//IEEE计算机视觉和模式识别会议论文集，2018:4510-4520。
[20] VASWANI A，SHAZEER N，PARMAR N等。注意力就是你所需要的[C]//神经信息处理系统的进展，2017。
[21]DOSOVITSKIY A，BEYER L，KOLESNIKOV A，et al.图像值16x16个单词：用于大规模图像识别的变形金刚[J]。arXiv:2010.119292020年。
[22]LOH Y P，CHAN C S.了解只有暗数据集的微光图像[J]。计算机视觉和图像理解，2019，178:30-42。
[23]LIU W，REN G，YU R等。用于恶劣天气条件下物体检测的图像自适应YOLO[C]//AAAI人工智能会议记录，2022：1792-1800。
[24]王杰，杨平，刘毅，等.改进的yolov5用于微光环境目标检测的研究[J]。电子学，2023，12（14）：3089。
[25]郭C，李C，郭J，等.用于微光图像增强的零参考深曲线估计[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2020：1780-1789。
[26]刘瑞，马磊，张杰，等.基于Retinex-inspired展开与合作先验体系结构搜索的微光图像增强[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2021:10561-10570。

结合变压器和动态特征融合的低照度目标检测

结合变压器和动态特征融合的微光目标检测

PDF格式

可视化

摘要/摘要

引用本文

使用本文

参考文献

相关文章15

第二次会议

韵律学

[1]	张洋宁, 朱静, 董瑞, 尤泽顺, 王震.多层级信息增强异构图的篇章级话题分割模型[J] ●●●●。计算机工程与应用, 2024年，60（9）：203-211。
[2]	陶林娟, 华庚兴, 李波.基于位置增强词向量和GRU-CNN（美国有线电视新闻网）的方面级情感分析模型研究[J] ●●●●。计算机工程与应用, 2024, 60(9): 212-218.
[3]	江结林, 朱永伟, 许小龙, 崔燕, 赵英男.混合特征及多头注意力的中文短文本分类[J] ●●●●。计算机工程与应用, 2024, 60(9): 237-243.
[4]	李钟华, 林初俊, 朱恒亮, 廖诗宇, 白云起.信息技术[J] ●●●●。计算机工程与应用, 2024, 60(9): 292-298.
[5]	刘世鹏, 宁德军, 马崛.针对光伏发电功率预测的LST转换器等[J] ●●●●。计算机工程与应用, 2024, 60(9): 317-325.
[6]	廉露, 田启川, 谭润, 张晓行.基于神经网络的图像风格迁移研究进展[J] ●●●●。计算机工程与应用, 2024, 60(9): 30-47.
[7]	史涛, 崔杰, 李松.优化改进YOLOv8公司实现实时无人机车辆检测的算法[J] ●●●●。计算机工程与应用, 2024, 60(9): 79-89.
[8]	窦智, 高浩然, 刘国奇, 常宝方.轻量化YOLOv8公司的小样本钢板缺陷检测算法[J] ●●●●。计算机工程与应用, 2024, 60(9): 90-100.
[9]	王茹, 刘大明, 张健.穿戴-YOLO：《联合国气候变化框架公约》[J] ●●●●。计算机工程与应用, 2024, 60(9): 111-121.
[10]	王永贵, 王芯茹.融合自注意力和图卷积的多视图群组推荐[J] ●●●●。计算机工程与应用, 2024, 60(8): 287-295.
[11]	郭金, 宋廷强, 孙媛媛, 巩传江, 刘亚林, 马兴录, 范海生.改进深标签v3+的双注意力融合作物分类方法[J] ●●●●。计算机工程与应用, 2024, 60(8): 110-120.
[12]	曹钢钢, 王帮海, 宋雨.结合数据增强的跨模态行人重识别轻量网络[J] ●●●●。计算机工程与应用, 2024, 60(8): 131-139.
[13]	郝小芳, 张超群, 李晓翔, 王大睿.融合交互注意力网络的实体和关系联合抽取模型[J] ●●●●。计算机工程与应用, 2024, 60(8): 156-164.
[14]	刘青文, 买日旦·吾守尔, 古兰拜尔·吐尔洪.双元双模态下二次门控融合的多模态情感分析[J] ●●●●。计算机工程与应用, 2024, 60(8): 165-172.
[15]	邹振涛, 李泽平.改进YOLOv7公司的航拍图像目标检测[J] ●●●●。计算机工程与应用, 2024, 60(8): 173-181.