基于分离式标签协同学习的YOLOv5多属性分类

doi:10.11772/j.issn.1001-9081.2023050675

《计算机应用》唯一官方网站››2024,第44卷››问题（5）: 1619-1628.DOI（操作界面）：10.11772/j.issn.100-9081.2023050675

• 多媒体计算与计算机仿真 • 上一篇

基于分离式标签协同学习的YOLOv5持续性分析

李鑫,孟乔(),皇甫俊逸,孟令辰

青海大学计算机技术与应用系，西宁 810016

收稿日期:2023-06-01 修回日期:2023-09-17 接受日期:2023-10-11 发布日期:2023-10-17 出版日期:2024-05-10
通讯作者:孟乔
作者简介:李鑫（1995—），男，四川南充人，硕士研究生，主要研究方向：智能交通、计算机视觉
皇甫俊逸（1998年-）男，江西上饶人，硕士，主要研究方向：图像处理、视频分析
孟令辰（1999—），男，河南南阳人，硕士研究生，主要研究方向：智能交通。
第一联系人：孟乔（1983—），女，陕西咸阳人，讲师，博士，立方英尺会员，主要研究方向：智能交通、信息系统工程
基金资助:
投资项目（2023？ZJ？989Q）

基于可分离标签协作学习的YOLOv5多属性分类

李欣（Xin LI）,巧梦(),君毅黄福,凌晨盟

青海大学计算机技术与应用系，中国青海省西宁市810016

收到：2023-06-01 修订过的：2023-09-17 认可的：2023-10-11 在线：2023-10-17 出版：2024-05-10
联系人：乔蒙
关于作者：李欣，1995年出生，硕士研究生。他的研究兴趣包括智能交通、计算机视觉。
黄福君毅，1998年生，硕士，主要研究方向为图像处理、视频分析。
孟凌晨，1999年出生，硕士研究生。他的研究兴趣包括智能交通。
支持单位：
青海省自然科学基金（2023-ZJ-989Q）

摘要/摘要

摘要：

针对图像分类任务中卷积网络提取图像细粒度特征能力不足、多属性之间的依赖关系无法识别的问题，提出一种基于YOLOv5公司的车辆多属性分类方法Multi-YOLOv5该方法设计了多头非极大值抑制（多-NMS）和（单独损失）函数协同工作机制实现车辆的多属性分类任务，并采用卷积块注意力模块（CBAM）、SA（Shuffle Attention）和CoordConv YOLOv5检测模型，分别从提升多属性特征能力提取、增强不同属性之间的关联关系、增强网络对位置信息的感知能力三方面提升模型对目标多属性分类的精准性。在VeRi公司等数据集上进行了训练与测试，实验结果表明，与基于GoogLeNet、There络（ResNet）、EfficientNet、ViT（Vision Transformer）等的网络结构相比，多YOLOv5方法在目标的多属性分类方面取得了较好的识别结果，在VeRi公司数据集上，它的平均精度均值（mAP）87.37%较上述表现最佳的方法提高了4.47个百分点，且比原YOLOv5公司模型具有更好的鲁棒性，能为密集环境下的交通目标感知提供可靠的数据信息。

关键词: 多属性分类, 深度学习, 多特征融合, 注意力, YOLOv5公司

摘要：

针对卷积网络提取图像细粒度特征的能力不足以及图像分类任务中无法识别多属性之间的依赖性等问题，提出了一种基于YOLOv5的车辆多属性分类的Multi-YOLOv 5方法。设计了一种多头部非最大抑制（Multi-NMS）和可分离标签丢失（Separate-loss）功能的协同工作机制，以完成车辆的多属性分类任务。此外，利用卷积块注意模块（CBAM）、随机注意（SA）重构了YOLOv5检测模型和CoordConv方法增强了提取多属性特征的能力，增强了不同属性之间的相关性，增强了网络对位置信息的感知，从而提高了模型在对象多属性分类中的准确性。最后，对VeRi等数据集进行了训练和测试。实验结果表明，与GoogLeNet、ResNet等网络体系结构相比，Multi-YOLOv5方法在对象的多属性分类中取得了更好的识别结果、EfficientNet和Vision Transformer（ViT）。在VeRi数据集上，Multi-YOLOv5的平均精度（mAP）达到87.37%，与上述最佳方法相比，显著提高了4.47个百分点。此外，与原始YOLOv5模型相比，Multi-YOLOv 5具有更好的鲁棒性，从而为密集环境中的交通对象感知提供了可靠的数据信息。

关键词： 多属性分类，深度学习，多特征融合，注意， YOLOv5公司

中图分类号:

TP391.41型

李鑫, 孟乔, 皇甫俊逸, 孟令辰. 基于分离式标签协同学习的YOLOv5《YOLOv5》[J]。计算机应用, 2024, 44(5): 1619-1628.

李欣，乔萌，黄俊怡，孟凌晨。基于可分离标签协作学习的YOLOv5多属性分类[J]。计算机应用杂志，2024，44（5）：1619-1628。

图/17

图1YOLOv5公司

图1YOLOv5的网络结构

图2 卷积块注意力模块

图2卷积块注意模块

图三基本卷积块替换

图3基本卷积块替换

图4南非公司

图4SA模型的结构

图5 分离式多属性损失标签分离方式

图5可分离多属性损失的标签分离模式

图6 多头非极大值抑制原理

图6多头非最大值抑制原理

图7VeRi公司

图7VeRi数据集示例

图8VRID

图8VRID数据集示例

图9 标签压缩过程

图9标签压缩过程

图10马赛克

图10使用Mosaic的数据扩充结果

表1 本文方法与原方法的美联社

表1所提方法与基线方法的mAP比较

方法	百万澳元/%
方法	颜色	类型	颜色+类型
YOLOv5-颜色	91.09	-	76.84
YOLOv5型	-	84.32	76.84
本文方法	-	-	84.75

表2VeRi公司数据集上消融实验结果

表2基于VeRi数据集的消融研究实验结果

YOLOv5系列	哥伦比亚广播公司	沙特阿拉伯	CoordConv公司	毫安时/%
√	×	×	×	84.75
√	√	×	×	85.32
√	√	√	×	86.75
√	√	√	√	87.37

图11VeRi公司数据集上各类别检测公共关系

图11检测VeRi数据集中各种类别的PR曲线

图12 不同参数下检测结果的可视化热力图

图12不同参数检测结果的热图可视化

表三VeRi和VRID数据上对比实验结果

表3VeRi和VRID数据集的对比实验结果

方法	VeRi公司			虚拟现实ID
方法	百万澳元/%	F1/%	FPS（FPS）	毫安时/%	F1/%	FPS（FPS）
谷歌在线	77.50	77.80	80.48	97.50	92.34	104.19
ResNet-34型	82.10	78.33	78.15	97	91.78	104.62
ResNet-101公司	82.90	75.79	52.72	97.10	91.55	57.78
效率Net-B0	79.50	77.33	84.92	88	82.08	112.71
ViT-基础	71.20	68.82	81.77	62.80	56.23	107.99
本文方法	87.37	84.19	87.53	97.91	93.39	108.69

图13 分类结果可视化

图13分类结果的可视化

图14 分类效果对比

图14分类效果比较

参考文献33

1	CORTES C，VAPNIK V.支持向量网络〔J〕。机器学习，1995，20： 273-297.2007年10月10日/bf00994018
2	COVER T，HART P.最近邻模式分类〔J〕。IEEE信息理论汇刊，1967，13（1）： 21-27.10.1109/tit.1967.1053964
三	QUINLAN J R.决策树的归纳〔J〕。机器学习，1986，1： 81-106.2007年10月10日/bf00116251
4	SZEGEDY C，LIU W，JIA Y，et al.深入研究卷积〔C〕//2015 IEEE计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2015： 1-9.10.1109/cvpr.2015.7298594
5	何凯，张旭，任S，等.基于深度残差学习的图像识别〔C〕//2016 IEEE计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2016： 770-778.2016.90年10月10日/cvpr
6	TAN M，LE Q.Efficientnet：卷积神经网络模型缩放的再思考〔C〕//第36届机器学习国际会议论文集。纽约：JMLR2019： 6105-6114.
7	DOSOVITSKIY A，BEYER L，KOLESNIKOV A，等.图像值16×16个单词：用于大规模图像识别的变形金刚[EB/OL].〔2023-09-10］. .
8	任炜，白鹤翔.基于全局与局部标签关系的多标签图像分类方法［记者：。计算机应用，2022，42（5）：1383-1390.
	任伟，白海霞.基于全局和局部标记关系的多标签图像分类方法〔J〕。计算机应用杂志，2022，42（5）： 1383-1390.
9	KIM H-C，J-H PARK，KIM D-W，等.考虑标签依赖的多标签朴素贝叶斯分类〔J〕。模式识别字母，2020，136： 279-285.2016年10月10日/j.patrec.2020.06.021
10	牟甲鹏，蔡剑，余孟池，等. 基于标签相关性的类属属性多标签分类算法［记者：。计算机应用研究，2020，37（9）： 2656-2658， 2673.10.19734/j.issn.1001-3695.2019.04.0118
	MU J P，CAI J，YU M C，等.基于标签相关特征的多标签分类算法〔J〕。应用研究计算机，2020，37（9）： 2656-2658， 2673.10.19734/j.issn.1001-3695.2019.04.0118
11	CHEN Z-M，WEI X-S，WANG P，et al.利用图卷积网络进行多标签图像识别[C]//2019 IEEE/CFF计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2019： 5177-5186.10.1109/cvpr.2019.00532
12	白尚旺，王梦瑶，胡静，等.多区域注意力的细粒度图像分类网络［记者：。计算机工程，2024，50（1）：271-278.
	白世伟，王敏英，胡军，等.细粒度图像分类的多区域关注度〔J〕。计算机工程，2024，50（1）： 271-278.
13	高红民，朱敏，曹雪莹，等.多尺度融合注意力机制的胆囊癌显微高光谱图像分类［J]。中国图象图形学报，2023，28（4）：1173-1185.10.11834/夹具211201
	高HM，朱M，CAO X Y，等。一种基于多尺度融合注意机制的胆囊癌微高光谱图像分类方法[J]。图像与图形杂志，2023，28（4）： 1173-1185.10.11834/夹具211201
14	刘昕，刘伟，MEI T，等.PROVID：用于大规模城市监测的渐进式和多模式车辆再识别〔J〕。IEEE多媒体期刊，2018，20（3）： 645-658.10.1109/tmm.2017.2751966
15	LIU X，LIU W，MEI T，等.基于深度学习的城市监控车辆渐进式再识别方法〔C〕//第14届欧洲计算机视觉会议论文集。查姆：斯普林格2016： 869-884.10.1007/978-3-319-46475-6_53
16	刘霞，刘伟，马赫，等.城市监控视频中的大型车辆识别〔C〕//2016 IEEE多媒体与博览会国际会议论文集。皮斯卡塔韦：IEEE2016： 1-6.10.1109/icme.2016.7553002
17	李X，袁M，蒋Q，等.VRID-1：类似车辆的基本车辆再识别数据集〔C〕//2017 IEEE第20届智能交通系统国际会议论文集。皮斯卡塔韦：IEEE2017： 1-8.10.1109/itsc.2017.8317817
18	REDMON J，DIVVALA S，GIRSHICK R，et al.你只看一次：统一的实时目标检测〔C〕//2016 IEEE计算机视觉和模式识别会议论文集。皮斯卡塔韦：IEEE2016： 779-788.2016.91年10月10日/cvpr
19	REDMON J，FARHADI A.YOLO9000:更好、更快、更强〔C〕//2017年IEEE计算机视觉和模式识别会议论文集。皮斯卡塔韦：IEEE2017： 6517-6525.10.1109/cvpr.2017.690
20	雷德蒙J，FARHADI A.YOLOv3：渐进式改进〔EB/OL〕.〔2023-05-14］. .10.1109/cvpr.2017.690
21	BOCHKOVSKIY A，WANG C-Y，LIAO H-Y M.YOLOv4：目标检测的最佳速度和精度〔EB/OL〕.〔2023-05-14］. .
22	陈帅，袁宇浩.改进YOLOv5公司的手语字母识别算法研究［J]。小型微型计算机系统，2023，44（4）：838-844.
	陈仕，袁彦宏.手语字母识别的改进YOLOv5算法研究〔J〕。中国计算机系统杂志，2023，44（4）： 838-844.
23	何凯，张旭，任S，等.基于深度卷积网络的视觉识别空间金字塔池〔J〕。IEEE模式分析和机器智能汇刊，2015，37（9）： 1904-1916.10.1109/tpami.2015.2389824年
24	ELFWING S，UCHIBE E，DOYA K.强化学习中神经网络函数逼近的Sigmoid加权线性单元〔J〕。神经网络，2018，107： 3-11.2016年10月10日/j.neunet.2017.12.012
25	LIN T-Y，DOLLáR P，GIRSHICK R，等.用于目标检测的特征金字塔网络〔C〕//2017 IEEE计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2017： 2117-2125.10.1109/cvpr.2017.106
26	刘S，齐磊，秦华，等.基于路径聚合网络的实例分割〔C〕//2018 IEEE/CVF计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2018： 8759-8768.10.1109/cvpr.2018.00913
27	郑泽，王平，刘伟，等.距离-IoU损失：边界盒回归的更快更好学习〔J〕。AAAI人工智能会议记录，2020，34（7）： 12993-13000.10.1609/aaai.v34i07.6999
28	WOO S，PARK J，LEE J-Y，等.卷积块注意模块〔C〕//第15届欧洲计算机视觉会议论文集。查姆：斯普林格2018： 3-19.10.1007/978-3-030-01234-2_1
29	刘瑞，莱曼J，莫利诺P，等.卷积神经网络和CoordConv解的有趣失败〔C〕//第32届神经信息处理系统会议论文集。红钩：Curran Associates Inc2018： 9628-9639.10.1109/icinpro43533.2018.9096860
30	IOFFE S，SZEGEDY C.批量归一化：通过减少内部协变量偏移来加速深层网络训练〔C〕//第32届机器学习国际会议论文集。纽约：JMLR2015： 448-456.
31	ZHANG Q-L，YANG Y-B.SA-Net：转移对深度卷积神经网络的关注〔C〕//2021年IEEE声学、语音和信号处理国际会议论文集。皮斯卡塔韦：IEEE2021： 2235-2239.10.1109/国际民航组织39728.2021.9414568
32	WU Y，HE K.组归一化〔C〕//第十五届欧洲计算机视觉会议论文集。查姆：斯普林格2018： 3-19.10.1007/978-3-030-01261-8_1
33	河湟杯数据湖算法大赛. 车辆多属性识别赛道［EB/OL公司].[2023-08-23］. .
	河湟杯数据湖算法比赛。车辆多属性识别轨迹[EB/OL]2023-08-23］. .

[1]	耿焕同, 刘振宇, 蒋骏, 范子辰, 李嘉兴.基于改进YOLOv8公司的嵌入式道路裂缝检测算法[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(5): 1613-1618.
[2]	郭琳, 刘坤虎, 马晨阳, 来佑雪, 徐映芬.基于感受野扩展残差注意力网络的图像超分辨率重建[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(5): 1579-1587.
[3]	时旺军, 王晶, 宁晓军, 林友芳.小样本场景下的元迁移学习睡眠分期模型[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(5): 1445-1451.
[4]	李鸿天, 史鑫昊, 潘卫国, 徐成, 徐冰心, 袁家政.融合多尺度和注意力机制的小样本目标检测[J] ●●●●。《计算机应用》唯一官方网站, 2024年，44（5）：1437-1444。
[5]	孙敏, 成倩, 丁希宁.基于CBAM-CGRU-SVM安卓恶意软件检测方法[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(5): 1539-1545.
[6]	盖彦辛, 闫涛, 张江峰, 郭小英, 陈斌.基于时空注意力的空间关联三维形貌重建[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(5): 1570-1578.
[7]	宋霄罡, 张冬冬, 张鹏飞, 梁莉, 黑新宏.审批[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(5): 1605-1612.
[8]	刘子涵, 周登文, 刘玉铠.基于全局依赖变压器的图像超分辨率网络[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(5): 1588-1596.
[9]	徐劲松, 朱明, 李智强, 郭世杰.基于激发和汇聚注意力的扩散模型生成对象的位置控制方法[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(4): 1093-1098.
[10]	王昊冉, 于丹, 杨玉丽, 马垚, 陈永乐.面向工控系统未知攻击的域迁移入侵检测方法[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(4): 1158-1165.
[11]	袁泉, 陈昌平, 陈泽, 詹林峰.基于伯特的两次注意力机制远程监督关系抽取[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(4): 1080-1085.
[12]	王铂越, 李英祥, 钟剑丹.基于改进Res-UNet公司的昼夜地基云图分割网络[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(4): 1310-1316.
[13]	万泽轩, 谢春丽, 吕泉润, 梁瑶.基于依赖增强的分层抽象语法树的代码克隆检测[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(4): 1259-1268.
[14]	唐睿, 岳士博, 张睿智, 刘川, 庞川林.无人机协助下非正交多址接入使能的数据采集系统中能效优化机制[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(4): 1209-1218.
[15]	尤昕源, 王恒.基于门控膨胀卷积循环网络的单声道语音增强[J] ●●●●。《计算机应用》唯一官方网站, 2024, 44(4): 1317-1324.

基于分离式标签协同学习的YOLOv5持续性分析

基于可分离标签协作学习的YOLOv5多属性分类

RichHTML格式

PDF格式

可视化

摘要/摘要

引用本文

使用本文

图/17

参考文献33

相关文章15

第二次会议

韵律学