基于特征双融合CenterNet的白细胞检测方法

doi:10.11772/j.issn.1001-9081.2022071009

《计算机应用》唯一官方网站››2023,第43卷››发行（8）: 2602-2610.内政部：10.11772/j.issn.1001-9081.2022071009

• 多媒体计算与计算机仿真 • 上一篇

基于特征双融合中心网的白细胞检测方法

刘欢,吴亮红(),张侣,陈亮,周博文,张红强

湖南科技大学信息与电气工程学院，湖南湘潭 411201

收稿日期:2022-07-11 修回日期:2022-11-18 接受日期:2022-11-30 发布日期:2023-01-15 出版日期:2023-08-10
通讯作者:吴亮红
作者简介:刘欢（1997—），女，河南南阳人，硕士研究生，共因失效会员，主要研究方向：图像处理
张侣（1997—），男，贵州毕节人，硕士，主要研究方向：计算机视觉、图像处理
陈亮（1985—），男，湖南邵阳人，讲师，博士，主要研究方向：深度学习、图像识别、计算机视觉
周博文（1983—），男，湖南益阳人，高级工程师，博士，主要研究方向：计算机视觉、图像处理
张红强（1979—），男，河南新乡人，讲师，博士，主要研究方向：群机器人系统、群体智能、优化与智能控制。
基金资助:
国防基础科研计划项目（JCKY2019403D006）；湖南省自然科学基金资助项目（2021JJ30280）；湖南省科技创新计划项目（2017XK2302）

基于双融合特征CenterNet的白细胞检测方法

刘欢,吴良红(),刘翔（Lyu ZHANG）,梁晨,周伯文,张洪强

湖南科技大学信息与电气工程学院，湖南湘潭411201

收到：2022-07-11 修订过的：2022-11-18 认可的：2022-11-30 在线：2023-01-15 出版：2023-08-10
联系人：吴良红
关于作者：刘欢，1997年出生，硕士研究生。她的研究兴趣包括图像处理。
张璐，1997年生，硕士，主要研究方向为计算机视觉、图像处理。
陈亮，1985年出生，博士，讲师。他的研究兴趣包括深度学习、图像识别、计算机视觉。
周伯温，1983年生，博士，高级工程师。他的研究兴趣包括计算机视觉、图像处理。
张洪强，1979年生，博士，讲师。他的研究兴趣包括群机器人系统、群智能、优化和智能控制。
支持单位：
国防基础研究计划项目（JCKY2019403D006）；湖南省自然科学基金项目（2021JJ30280）；湖南省科技创新计划（2017XK2302）

摘要/摘要

摘要：

针对实际检测过程中复杂场景下由白细胞的形态、染色程度差异较大而导致白细胞检测困难的问题，提出一种基于特征双融合中心网的白细胞检测方法TFF-CenterNet（Twoce-Fusion-Feature CenterNets）首先，通过特征金字塔网络（FPN）将主干网络特征与反卷积层特征相融合，增强方法的特征提取能力，从而解决白细胞个体差异、染色程度不同等问题；然后，针对白细胞占据图像面积与图像背景面积严重不均衡的问题，改进热力图损失函数来提升对白细胞正样本的关注以提高检测平均精度均值（百万AP）最后，针对白细胞图像目标微小、位置随机、细胞粘连的特点，引入坐标注意力和坐标卷积，提高对白细胞位置信息的关注度和敏感性。对于复杂场景下的白细胞，TFF中心网的mAP为97.01%，中心网为3.24个百分点；检测速度达到167帧/秒，42帧/秒实验结果表明，所提方法在复杂情况下能在提高白细胞检测最大允许偏差的同时达到实时性要求，并提升了鲁棒性，可为辅助医疗诊断中白细胞的快速自动检测提供技术支持。

关键词: 白细胞检测, 中心网，坐标注意力, 特征融合, 坐标卷积

摘要：

在复杂场景下的实际检测过程中，由于白细胞的形状和染色程度不同，白细胞检测非常困难。为了解决这个问题，提出了一种基于双特征融合的中心网白细胞检测方法TFF-中心网（Twice-fusion-feature CenterNet）。首先，通过特征金字塔网络（FPN）将骨干网络的特征与反褶积层的特征进行融合。这样，改进了该方法的特征提取能力，解决了个体差异和白细胞不同程度染色的问题。然后，针对白细胞图像面积与背景图像面积严重不平衡的问题，改进了heatmap损失函数，增强了对白细胞阳性样本的关注度，提高了检测平均精度（mAP）。最后，针对白细胞图像中微小目标、随机定位和细胞粘附的特点，引入协调注意和协调卷积来提高白细胞定位信息的注意度和敏感性。对于复杂场景中的白细胞，TFF-CenterNet实现了97.01%的mAP和167帧/秒的检测速度，分别比CenterNet高3.24个百分点和42帧/秒。实验结果表明，该方法可以提高复杂情况下白细胞检测的mAP，同时达到实时性要求，提高了鲁棒性，为辅助医学诊断中的快速自动白细胞检测提供技术支持。

关键词： 白细胞检测， CenterNet、，协调注意力，特征融合，坐标卷积

中图分类号:

TP391.4标准

刘欢, 吴亮红, 张侣, 陈亮, 周博文, 张红强. 基于特征双融合中心网的白细胞检测方法[J] ●●●●。计算机应用, 2023, 43(8): 2602-2610.

刘欢、吴良红、张吕、陈亮、周伯文、张洪强。基于双融合特征CenterNet的白细胞检测方法[J]。计算机应用杂志，2023，43（8）：2602-2610。

图/表14

图1 复杂血液细胞涂片图像样本

图1复杂血细胞涂片图像样本

图2TFF-CenterNet公司

图2TFF-CenterNet的网络框架

图三注意力模块

图3注意模块

图4 空洞空间池化金字塔示意图

图4atrous空间金字塔池示意图

图5 血液细胞涂片图像数据集

图5血细胞涂片图像数据集

表1 数据集样本数

表1数据集中的样本数

数据集	训练样本数	验证样本数	测试样本数	总计样本数
BCCD公司	204	51	109	364
BCSI100型	617	154	331	1 002
BCSI40型	1 851	463	991	3 305

表2 主干特征提取网络对比实验

表2骨干特征提取网络的对比实验

主干网络

毫安培（IoU=0.5）/%

一层楼

检测

速度/（框架·s^-1）

表三 λ取值对比实验

表3λ值对比实验

$λ$	P/%（市盈率）	卢比/%	毫安培（IoU=0.5）/%	一层楼
0.6	97.34	83.26	90.35	0.90
0.7	95.78	92.88	93.78	0.94
0.8	93.15	94.11	94.72	0.94
0.9	95.15	92.81	94.02	0.94
—	97.89	84.73	93.25	0.92

表三 λ取值对比实验

表3λ值对比实验

$λ$	P/%（市盈率）	R/%	毫安时（IoU=0.5）/%	一层楼
0.6	97.34	83.26	90.35	0.90
0.7	95.78	92.88	93.78	0.94
0.8	93.15	94.11	94.72	0.94
0.9	95.15	92.81	94.02	0.94
—	97.89	84.73	93.25	0.92

图6 损失函数改进前后的热力图对比

图6改善损失函数前后热图的比较

表4 消融实验

表4烧蚀实验

改进点1	改进点2	改进点三	P/%（市盈率）	卢比/%	毫安培（IoU=0.5）/%	一层楼
×	×	×	96.55	84.73	93.25	0.92
√	×	×	95.23	92.72	94.55	0.93
×	√	×	93.15	94.11	94.72	0.94
×	×	√	94.60	91.45	94	0.93
√	√	×	95.75	95.75	96.04	0.96
√	×	√	95.20	93.73	95.03	0.94
×	√	√	95.37	94.05	95.38	0.95
√	√	√	96.75	96.97	97.01	0.96

表5 不同数据集上的对比实验

表5不同数据集的比较实验

数据集	P/%（市盈率）	卢比/%	毫安培（IoU=0.5）/%	一层楼
BCCD公司	98.70	98.26	98.98	0.98
BCSI100型	96.37	96.22	97.19	0.96
BCSI40型	95.75	96.97	97.01	0.96

图7 不同数据集上的检测效果

图7不同数据集的检测效果

表6 不同方法的白细胞检测结果对比

表6不同方法白细胞检测结果的比较

方法	P%（百分比）			风险%			毫安时（IoU=0.5）/%			一层楼			检测速度 /（框架·s^-1）	权重所占内存/MB（MB）
方法	BCCD公司	BCSI100型	BCSI40型	BCCD公司	BCSI100型	BCSI40型	BCCD公司	BCSI100型	BCSI40型	BCCD公司	BCSI100型	BCSI40型	检测速度 /（框架·s^-1）	权重所占内存/MB（MB）
更快的RCNN^［24］	98.12	57.89	54.57	81.59	79.34	78.50	89.67	72.16	68.80	0.89	0.71	0.64	18	108
固态硬盘（VGG16）^［28］	96.34	83.75	70.34	82.53	83.24	82.42	87.35	84.29	76.77	0.87	0.85	0.78	28	100
YOLOv4公司（深网53）^［26］	98.37	95.88	95.24	94.95	94.75	94.24	96.57	95.34	95.10	0.96	0.96	0.95	40	245
YOLOv5s^［27］	97.53	96.13	95.58	93.45	95.47	94.16	97.13	95.89	95.31	0.96	0.96	0.95	55	140
RetinaNet公司（ResNet50）^［29］	98.44	96.54	96.25	92.59	93.39	85.87	97.32	95.39	94.89	0.96	0.95	0.91	36	139
中心网（ResNet50）^［21］	97.56	96.47	95.84	89.23	92.34	89.47	95.44	94.79	93.77	0.95	0.94	0.92	125	125
中心网（沙漏104）^［30］	98.34	98.16	95.99	90.32	96.45	98.69	98.01	97.56	97.36	0.97	0.96	0.96	20	730
TFF-CenterNet中心网（ResNet34）	98.70	96.37	96.75	98.26	96.22	96.97	98.98	97.19	97.01	0.98	0.96	0.96	167	92

图8 不同检测方法效果对比

图8不同方法检测效果的比较

参考文献42

1	曹海川，刘华，宋恩美.一种新的外周血白细胞分割算法〔J〕。生物医学信号处理与控制，2018，45：10-21.2016年10月10日/j.bspc.2018.05.010
2	孙凯，姚旭峰，马风玲，等. 基于机器学习的血细胞分类研究进展［记者：。中国医学物理学杂志，2020，37（1）：127-132.10.3969/j.issn.1005-202X.2020.01.023
	孙坤，姚晓峰，马福林，等.基于机器学习的血细胞分类〔J〕。中华医学物理杂志，2020，37（1）：127-132.10.3969/j.issn.1005-202X.2020.01.023
三	SAJJAD M，KHAN S，SHOAIB M，等.血液涂片图像中白细胞分类与分割的计算机辅助系统〔C〕//2016年信息技术前沿国际会议论文集。皮斯卡塔韦：IEEE2016：99-104.109年10月10日/2012年6月20日
4	段义芳，王建生，胡敏华，等.基于显微高光谱图像空间和光谱特征的白细胞分类〔J〕。光学和激光技术，2019，112： 530-538.2016年10月10日/j.optlastec.2018.11.057
5	NAZLIBILEK S，KARACOR D，ERCAN T，等.白细胞的自动分割、计数、大小测定与分类〔J〕。测量，2014，55：58-65.10.1016/j.测量.2014.04.008
6	苏敏聪，程慈云，王宝川.一种基于神经网络的白细胞分类方法〔J〕。科学世界杂志，20142014年第796371号。10.1155/2014/796371
7	周飞燕，金林鹏，董军. 卷积神经网络研究综述［记者：。计算机学报，2017，40（6）： 1229-1251.10.11897/SP.J.1016.2017.01229；
	周福英，金丽萍，董杰.卷积神经网络综述〔J〕。中国计算机杂志，2017，40（6）： 1229-1251.10.11897/SP.J.1016.2017.01229；
8	KUTLU H，AVCI E，ZYURT F.基于区域卷积神经网络的白细胞检测与分类〔J〕。医学假设，2020，135:第109472号。10.1016/j.mehy.2019.109472
9	赵建伟，张敏生，周志华，等.基于卷积神经网络的白细胞自动检测与分类〔J〕。医学生物工程与计算，2017，55（8）：1287-1301.2007年10月17日/11517-016-1590-x
10	NATEGHI R，FATEHI M，SADEGHITABAR A，等.基于卷积神经网络的血涂片图像中白细胞的自动检测与分类〔J〕。伊朗放射学杂志，2019，16（特刊）：编号e99159。10.5812/iranjradiol.99159
11	范海英，张福斌，XI L，等.白细胞掩模：基于深度神经网络的血涂片图像白细胞自动定位与分割方法〔J〕。生物光子学杂志，2019，12（7）：编号e201800488。10.1002/jbio.201800488年
12	刘阳. 基于卷积神经网络和胶囊网络的白细胞图像分类技术研究［D）。包头：内蒙古科技大学，2020：19-34.
	刘Y.基于卷积神经网络和胶囊网络的白细胞图像分类〔D〕。包头：内蒙古科技大学2020：19-34.
13	吕毅，秦晓杰，范海英，等.基于UNet++和ResNet的白细胞分割网络〔J〕。应用软计算，2021，101:编号107006。2016年10月10日/j.asoc.2020.107006
14	王庆伟，毕思思，孙明利，等.外周血白细胞识别的深度学习方法〔J〕。公共科学图书馆，2019，4（6）：编号：e0218088。10.1371/日记本0218808
15	耿磊，杨盟盟，肖志涛，等. 结合通道空间加权特征金字塔网络的白细胞检测与分割［记者：。计算机辅助设计与图形学学报，2021，33（9）：1418-1427.10.3724/sp.j.1089.2021.18672
	耿磊，杨明明，肖振堂，等.基于通道空间加权特征金字塔网络的白细胞检测与分割〔J〕。计算机辅助设计与计算机图形学杂志，2021，33（9）： 1418-1427.10.3724/sp.j.1089.2021.18672
16	陈奕君. 基于半监督学习的外周血白细胞自动分类识别［D）。南京：东南大学，2021： 16-31.
	陈永杰.基于半监督学习的外周血白细胞自动分类与识别〔D〕。南京：东南大学2021：16-31.
17	王榆锋，李大海. 改进YOLO公司框架的血细胞检测算法［记者：。计算机工程与应用，2022，58（12）：191-198.10.3778/j.issn.1002-8331.2110-0224
	王永发，李德海.改进的YOLO框架血细胞检测算法〔J〕。计算机工程与应用，2022，58（12）：191-198.10.3778/j.issn.1002-8331.2110-0224
18	MOHAMED M，FAR B，GUAILY A.一种高效的白细胞细胞核自动分割技术〔C〕//2012 IEEE系统、人与控制论国际会议论文集。皮斯卡塔韦：IEEE2012：220-225.10.1109/icsmc.2012.637703
19	王静，孙紫雲，郭苹，等. 改进YOLOv5型的白细胞检测算法［记者：。计算机工程与应用，2022，58（4）：134-142.10.3778/j.issn.1002-8331.2107-0332
	王杰，孙志勇，郭鹏，等.改进的YOLOv5白细胞检测算法〔J〕。计算机工程与应用，2022，58（4）：134-142.10.3778/j.issn.102至8331.2107至0332
20	姚江帆. 基于深度学习目标检测的白细胞分类技术研究［D）。杭州：杭州电子科技大学，2022： 19-35.
	姚建芳.基于深度学习和目标检测的白细胞分类技术研究〔D〕。杭州：杭州电子大学2022： 19-35.
21	ZHOU X Y，WANG D Q，KRáHENBüHL P.对象作为点[EB/OL]。（2019-04-25）［2021-10-22］..10.5260/字符21.2.8
22	GIRSHICK R，DONAHUE J，DARRELL T，等.用于精确目标检测和语义分割的丰富特征层次〔C〕//2014 IEEE计算机视觉和模式识别会议论文集。皮斯卡塔韦：IEEE2014：580-587.10.1109/cvpr.2014.81
23	GIRSHICK R.Fast R-CNN〔C〕//2015 IEEE计算机视觉国际会议论文集。皮斯卡塔韦：IEEE2015： 1440-1448.10.1109/iccv.2015.169
24	REN S Q，HE K M，GIRSHICK R，等.快速R-CNN：基于区域提议网络的实时目标检测〔J〕。IEEE模式分析和机器智能汇刊，2017，39（6）：1137-1149.10.1109/tpami.2016.2577031
25	REDMON J，DIVVALA S，GIRSHICK R，et al.你只看一次：统一的实时目标检测〔C〕//2016 IEEE计算机视觉和模式识别会议论文集。皮斯卡塔韦：IEEE2016： 779-788.2016.91年10月10日/cvpr
26	BOCHKOVSKIY A，WANG C Y，LIAO H Y M.YOLOv4：目标检测的最佳速度和精度[EB/OL]。（2020-04-23）［2021-11-12］.
27	超分子分析。YOLOv5〔CP/OL〕.〔2021-11-26］..10.1117/1.jei.31.3.033033
28	刘伟，安圭洛夫D，埃尔汉·D，等.SSD:单次多盒探测器〔C〕//2016年欧洲计算机视觉会议论文集，LNCS9905商会：施普林格，2016:21-37。
29	LIN T Y，GOYAL P，GIRSICK R，等.密集物体检测中的焦点损失〔J〕。IEEE模式分析和机器智能汇刊，2020，42（2）： 318-327.10.1109/tpami.2018.2858826
30	NEWELL A，YANG K Y，DENG J.用于人体姿态估计的堆积沙漏网络〔C〕//2016年欧洲计算机视觉会议论文集，LNCS9912查姆：施普林格，2016:483-499。
31	于峰，王德清，谢哈默E，等.深层聚合〔C〕//2018 IEEE/CVF计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2018： 2403-2412.2010年10月10日/2018.00255
32	何克明，张晓云，任世清，等.基于深度残差学习的图像识别〔C〕//2016 IEEE计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2016： 770-778.2016.90年10月10日/cvpr
33	HOU Q B，ZHOU D Q，FENG J S.高效移动网络设计的协调关注〔C〕//2021 IEEE/CVF计算机视觉和模式识别会议论文集。皮斯卡塔韦：IEEE2021： 13708-13717.10.1109/cvpr46437.2021.01350
34	LIN T Y，DOLLáR P，GIRSHICK R，等.用于目标检测的特征金字塔网络〔C〕//2017 IEEE计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE2017： 936-944.10.1109/cvpr.2017.106
35	陈立中，帕潘德里欧，柯金诺斯I，等.基于深度卷积网络的语义图像分割、反褶积和全连通CRF〔J〕。IEEE模式分析和机器智能汇刊，2018，40（4）： 834-848.10.1109/tpami.2017.2699184
36	赵斐. 基于金字塔注意力机制的遥感图像语义分割［记者：。国外电子测量技术，2019，38（8）：150-154.
	赵凤.基于金字塔注意机制的遥感图像语义分割〔J〕。国外电子测量技术，2019，38（8）：150-154.
37	胡杰，沈力，阿尔巴尼，等.压缩和激励网络〔J〕。IEEE模式分析和机器智能汇刊，2020，42（8）： 2011-2023.10.1109/tpami.2019.2913372
38	刘瑞，莱曼J，莫利诺P，等.卷积神经网络和CoordConv解的有趣失败〔C〕//第32届神经信息处理系统国际会议论文集。纽约州Red Hook:Curran Associates Inc2018：9628-9639.10.1109/icinpro43533.2018.9096860
39	张福玲，张少敏，支力佳，等. 融合注意力机制和特征金字塔网络的计算机断层扫描图像肺结节检测［记者：。中国图象图形学报，2021，26（9）：2156-2170.10.11834/夹具210160
	张福林，张小明，张丽杰，等.结合注意机制和特征金字塔网络检测CT图像中的肺结节〔J〕。图像与图形杂志，2021，26（9）：2156-2170.1834年10月4日，第210160页
40	徐晓光，李海. 多尺度特征在YOLO公司算法中的应用研究［记者：。电子测量与仪器学报，2021，35（6）： 96-101.
	徐晓刚，李宏.多尺度特征在YOLO算法中的应用研究〔J〕。电子测量与仪器杂志，2021，35（6）：96-101.
41	化嫣然，张卓，龙赛，等. 基于改进YOLO公司算法的遥感图像目标检测［记者：。电子测量技术，2020，43（24）： 87-92.
	华永荣，张泽，龙S，等.基于改进YOLO算法的遥感图像目标检测〔J〕。电子测量技术，2020，43（24）：87-92.
42	蓝金辉，王迪，申小盼. 卷积神经网络在视觉图像检测的研究进展［记者：。仪器仪表学报，2020，41（4）： 167-182.10.19650/j.cnki.cjsi。J2006003型
	LAN J H，WANG D，SHEN X P.基于卷积神经网络的视觉图像检测研究进展〔J〕。中国科学仪器杂志，2020，41（4）：167-182.10.19650/j.cnki.cjsi。J2006003型

[1]	徐则林, 杨敏, 陈勐.融合空间和文本信息的兴趣点类别表征模型[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(8): 2456-2461.
[2]	李豆豆, 李汪根, 夏义春, 束阳, 高坤.基于特征交互与自适应融合的骨骼动作识别[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(8): 2581-2587.
[3]	轩勃娜, 李进, 宋亚飞, 马泽煊.基于改进MobileNetV2手机的恶意代码分类方法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(7): 2217-2225.
[4]	郑帅, 张晓龙, 邓鹤, 任宏伟.基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(7): 2303-2310.
[5]	吕学强, 张煜楠, 韩晶, 崔运鹏, 李欢.融合边特征与注意力的表格结构识别模型[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(3): 752-758.
[6]	王萍, 陈楠, 鲁磊.基于场景先验及注意力引导的跌倒检测算法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(2): 529-535.
[7]	陈刚, 廖永为, 杨振国, 刘文印.基于多特征融合的多尺度生成对抗网络图像修复算法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(2): 536-544.
[8]	李文举, 张干, 崔柳, 储王慧.基于坐标注意力的轻量级交通标志识别模型[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(2): 608-614.
[9]	杨洪刚, 陈洁洁, 徐梦飞.双线性内卷神经网络用于眼底疾病图像分类[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 259-264.
[10]	吕玉超, 姜茜, 徐英豪, 朱习军.基于多尺度特征融合的改进臂丛神经分割方法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 273-279.
[11]	孟昱煜, 郭静.信息熵改进主成分分析模型的链路预测算法[J] ●●●●。《计算机应用》唯一官方网站, 2022, 42(9): 2823-2829.
[12]	强赞霞, 鲍先富.基于卷积长短期记忆的残差注意力去雨网络[J] ●●●●。《计算机应用》唯一官方网站, 2022, 42(9): 2858-2864.
[13]	张达为, 刘绪崇, 周维, 陈柱辉, 余瑶.基于改进YOLOv3型的实时交通标志检测算法[J] ●●●●。《计算机应用》唯一官方网站, 2022, 42(7): 2219-2226.
[14]	杨瑞杰, 郑贵林.基于开胃V3和特征融合的人脸活体检测[J] ●●●●。《计算机应用》唯一官方网站, 2022, 42(7): 2037-2042.
[15]	胡新荣, 张君宇, 彭涛, 刘军平, 何儒汉, 何凯.级联跨域特征融合的虚拟试衣[J] ●●●●。《计算机应用》唯一官方网站, 2022, 42(4): 1269-1274.

基于特征双融合中心网的白细胞检测方法

基于双融合特征CenterNet的白细胞检测方法

RichHTML格式

PDF格式

可视化

摘要/摘要

引用本文

使用本文

图/表14

参考文献42

相关文章15

编辑推荐

韵律学