Defect detection in code characters with complex backgrounds based on BBE

Jianzhong Peng; Wei Zhu; Qiaokang Liang; Zhengwei Li; Maoying Lu; Wei Sun; Yaonan Wang; Jianzhong Peng; Wei Zhu; Qiaokang Liang; Zhengwei Li; Maoying Lu; Wei Sun; Yaonan Wang

doi:10.3934/mbe.2021189

数学生物科学与工程

2021,第18卷, 第4版: 3755-3780. doi（操作界面）：10.3934/mbe.2021189

研究文章特殊问题

基于BBE的复杂背景下代码字符缺陷检测

1
湖南大学电气与信息工程学院，长沙410082
2
湖南大学机器人视觉感知与控制国家工程实验室，长沙410082
三。
加拿大阿尔伯塔省埃德蒙顿市阿尔伯塔大学机械工程系T6G2E1
4
T-Line科技有限公司，中国宿迁223700

学术编辑：程宗钦

收到：2021年3月11日 认可的：2021年4月26日 出版：2021年4月29日

计算机视觉技术在缺陷检测中得到了广泛的应用。然而，现有的大多数检测方法通常需要高质量的图像，并且只能处理具有高对比度的简单背景上的代码字符。本文提出了一种基于深度学习的缺陷检测方法，以高效、准确地检测复杂背景下的代码字符缺陷。具体而言，利用图像处理算法和数据增强技术生成大量缺陷样本，构建具有均衡正负样本比率的大数据集。基于EfficientNet的核心模块构建了一个称为BBE的目标检测网络。实验结果表明，模型的mAP和精度分别达到0.9961和0.9985。通过设置相关质量检验标准对单个字符检测结果进行筛选，以评估代码字符的整体质量，其结果验证了所提方法在工业生产中的有效性。它的准确性和速度都很高，并且具有很高的鲁棒性和可移植性，可用于其他类似的缺陷检测任务。据我们所知，本报告描述了BBE首次应用于实际塑料容器行业的缺陷检测。
- 缺陷检测,
- 深度学习,
- 效率网,
- 英国广播公司,
- 字符识别,
- 迁移学习
引用：彭建忠、朱伟、梁巧康、李正伟、陆茂英、孙伟、王耀楠。基于BBE的复杂背景下代码字符缺陷检测[J]。数学生物科学与工程，2021，18（4）：3755-3780。doi:10.3934/mbe.2021189

相关论文：

摘要

计算机视觉技术在缺陷检测中得到了广泛的应用。然而，现有的大多数检测方法通常需要高质量的图像，并且只能处理具有高对比度的简单背景上的代码字符。本文提出了一种基于深度学习的缺陷检测方法，以高效、准确地检测复杂背景下的代码字符缺陷。具体而言，利用图像处理算法和数据增强技术生成大量缺陷样本，构建具有均衡正负样本比率的大数据集。基于EfficientNet的核心模块构建了一个称为BBE的目标检测网络。实验结果表明，模型的mAP和精度分别达到0.9961和0.9985。通过设置相关质量检验标准对单个字符检测结果进行筛选，以评估代码字符的整体质量，其结果验证了所提方法在工业生产中的有效性。它的准确性和速度都很高，并且具有很高的鲁棒性和可移植性，可用于其他类似的缺陷检测任务。据我们所知，本报告描述了BBE首次应用于实际塑料容器行业的缺陷检测。

工具书类

[1]	Y.Qin，Z.Z.Zhang，场景文本检测和识别概述，in2020年IEEE第15届工业电子与应用会议，（2020），85-89。
[2]	L.Shufeng，S.Shaohong，S.Zhiyuan，复杂背景图像中的汉字识别研究2017年第二届国际图像、视觉和计算大会（ICIVC），（2017），第214-217页。
[3]	B.Wang，C.L.P.Chen，使用关键字符定位和投影分析进行车牌字符分割，in2018年安全、模式分析和控制论国际会议（SPAC），（2018），510-514。
[4]	R.A.P.Putro，F.P.Putri，M.I.Prasetiyowati，一种结合边缘检测分析和基于聚类的实时文本检测方法2019年第五届新媒体研究国际会议（CONMEDIA）, (2019), 59-62.
[5]	V.V.Rampurkar，S.K.Shah，G.J.Chhajed，S.K.Biswash，《使用形态学技术从复杂图像中检测文本的方法》2018年第二届国际发明系统与控制大会（ICISC）, (2018), 969-973.
[6]	B.Tan，Q.Peng，X.Yao，C.Hu，Z.Xu，基于角点检测和卷积神经网络的字符识别，in2017年第十三届自然计算、模糊系统和知识发现国际会议（ICNC-FSKD）, (2017), 503-507.
[7]	T.Zheng，X.Wang，X.Yuan，S.Wang，一种基于字符分割的倾斜中文屏幕渲染文本检测和识别新方法2020年IEEE第15届工业电子与应用会议（ICIEA）, (2020), 950-954.
[8]	R.Bagi，T.Dutta，H.P.Gupta，《杂乱文本检查器：一种适用于杂乱环境的端到端可训练的轻量级场景文本检查器》，IEEE接入,8(2020), 111433-111447. doi（操作界面）：10.1109/通道.2020.3002808
[9]	S.Y.Arafat，M.J.Iqbal，使用深度学习在自然场景图像中进行乌尔都语文本检测和识别，IEEE接入,8(2020), 96787-96803. doi（操作界面）：10.1109/通道.2020.2994214
[10]	Y.S.Chernyshova、A.V.Sheshkus、V.V.Arlazarov，用于摄像机采集图像中文本行识别的两步CNN框架，IEEE接入,8(2020), 32587-32600. doi（操作界面）：10.1109/通道.2020.2974051
[11]	L.Cao，H.Li，R.Xie，J.Zhu，基于CTPN和增强YOLOv3的学生习题图像文本检测算法，IEEE接入,8(2020), 176924-176934. doi（操作界面）：10.1109/通道.2020.3025221
[12]	田中伟，黄文华，何涛，何鹏，乔勇，用连接主义文本提议网络检测自然图像中的文本，in欧洲计算机视觉会议, (2016), 56-72.
[13]	X.Ren，Y.Zhou，Z.Huang，J.Sun，X.Yang，K.Chen，一种用于中文场景文本检测和识别的新型文本结构特征提取器，IEEE接入,5(2017), 3193-3204. doi（操作界面）：10.1109/访问2017.2676158
[14]	R.C.Gonzalez、R.E.Woods、Q.Ruan、Y.Ruan，数字图像处理, 3^第个中国版，电子工业出版社，北京，（2017），404-411。
[15]	Zou，Shi，Y.Guo，J.Ye，20年来的物体探测：调查，预印本，arXiv:1905.05055。
[16]	Y.LeCun，L.Bottou，Y.Bengio，P.Haffner，基于梯度的学习应用于文档识别，程序。电气与电子工程师协会,86(1998), 2278-2324. doi（操作界面）：10.1109/5.726791年
[17]	A.Krizhevsky，I.Sutskever，G.E.Hinton，深度卷积神经网络的Imagenet分类，Commun公司。ACM公司,60(2017), 84-90. doi（操作界面）：2014年10月14日/3065386
[18]	K.Simonyan，A.Zisserman，《用于大规模图像识别的极深卷积网络》，预印本，arXiv:1409.1556。
[19]	C.Szegedy，W.Liu，Y.Jia，P.Sermanet，S.Reed，D.Angelov，et al.，《深入卷积》IEEE计算机视觉和模式识别会议记录, (2015), 1-9.
[20]	K.He，X.Zhang，S.Ren，J.Sun，图像识别的深度剩余学习，inIEEE计算机视觉和模式识别会议记录, (2016), 770-778.
[21]	F.N.Iandola、S.Han、M.W.Moskewicz、K.Ashraf、W.J.Dally、K.Keutzer、SqueezeNet：AlexNet级精度，参数少50倍，模型大小<0.5MB，预打印，arXiv:1602.07360。
[22]	F.Cholet，Xception：深度学习与深度可分离卷积，inIEEE计算机视觉和模式识别会议记录, (2017), 1251-1258.
[23]	A.G.Howard，M.Zhu，B.Chen，D.Kalenichenko，W.Wang，T.Weyand，et al.，《移动设备：移动视觉应用的高效卷积神经网络》，预印本，arXiv:1704.04861。
[24]	马勇，黄明明，基于BP神经网络的数字识别研究，技术信息。,4(2007), 87-91.
[25]	R.Girshick，J.Donahue，T.Darrell，J.Malik，《用于精确对象检测和语义分割的丰富特征层次》IEEE计算机视觉和模式识别会议记录, (2014), 580-587.
[26]	K.He，X.Zhang，S.Ren，J.Sun，视觉识别深层卷积网络中的空间金字塔池，IEEE TPAMI标准,37(2015), 1904-1916. doi（操作界面）：10.1109/TPAMI.2015.2389824年10月10日
[27]	R.Girshick，快速R-cnn，英寸IEEE计算机视觉国际会议记录, (2015), 1440-1448.
[28]	S.Ren，K.He，R.Girshick，J.Sun，《Faster R-cnn：使用区域建议网络实现实时目标检测》，预印本，arXiv:1506.01497。
[29]	K.He、G.Gkioxari、P.Dollár、r.Girshick、Mask r-cnnIEEE计算机视觉国际会议记录, (2017), 2961-2969.
[30]	J.Redmon，S.Divvala，R.Girshick，A.Farhadi，《你只看一次：统一的实时对象检测》IEEE计算机视觉和模式识别会议记录, (2016), 779-788.
[31]	W.Liu、D.Angelov、D.Erhan、C.Szegedy、S.Reed、C.Y.Fu等，Ssd：单点多盒探测器，in欧洲计算机视觉会议, (2016), 21-37.
[32]	M.Tan，Q.V.Le，《效率网：卷积神经网络模型缩放的再思考》，预印本，arXiv:1905.11946。
[33]	P.Ramachandran，B.Zoph，Q.V.Le，《寻找激活函数》，预印本，arXiv:1710.05941。
[34]	X.Y.Yin，J.Goudriaan，E.A.Lantinga，J.Vos，H.J.Spiertz，确定增长的弹性S形函数，安·博特。,91(2003), 361-371. doi（操作界面）：10.1093/aob/mcg029
[35]	X.Glorot，A.Bordes，Y.Bengio，深度稀疏整流神经网络第十四届人工智能和统计国际会议记录, (2011), 315-323.
[36]	S.Ioffe，C.Szegedy，批量归一化：通过减少内部协变量偏移来加速深度网络训练，预印本，arXiv:1502.03167。
[37]	M.Tan，R.Pang，Q.V.Le，Efficientdet:可扩展和有效的对象检测，inIEEE/CVF计算机视觉和模式识别会议记录, (2020), 10781-10790.
[38]	M.Abadi、P.Barham、J.Chen、Z.Chen、A.Davis和J.Dean等人，《Tensorflow:大规模机器学习系统》，年第十二届{USENIX}操作系统设计与实现研讨会（{OSDI}16）, (2016), 265-283.
[39]	D.P.Kingma，J.Ba，Adam：随机优化方法，预印本，arXiv:1412.6980。
[40]	L.Bottou，具有随机梯度下降的大规模机器学习，in2010年COMPSTAT会议记录。Physica-Verlag高清, (2010), 177-186.
[41]	J.Redmon，A.Farhadi，Yolov3:增量改进，预印本，arXiv:1804.02767。
[42]	Z.Jiang，L.Zhao，S.Li，Y.Jia，基于改进YOLOv4-tiny的实时目标检测方法，预打印，arXiv:2011.04244。
[43]	J.格伦，约洛夫2021年5月。可从以下位置获得：https://github.com/ultralytics/yolov5.
[44]	X.Zhou，D.Wang，P.Krähenbühl，作为点的对象，预印本，arXiv:1904.07850。
[45]	N.Cai、Y.Chen、G.Liu、G.Cen、H.Wang、X.Chen，基于视觉的轮胎模具字符检查系统，阿塞姆。自动。,37(2017), 230-237. doi（操作界面）：10.1108/AA-07-2016-066
[46]	X.Yang，J.Zhang，Q.Zhou，畸变印刷品字符校正的多项式自优化方法，包装。工程师。,39(2018), 187-193.
[47]	F.Lei，K.Sun，X.Wang，基于改进LeNet-5的产奶日期识别研究，计算。Technol公司。开发。,30(2020), 96-99.
[48]	周毅，沈涛，奚忠，杨毅，邱忠，基于halcon的日化瓶底喷码质量检测算法研究，仪器。技术传感器。,11(2020), 101-104.
[49]	H.Wang，L.Zhu，Z.Pan，基于外部轮廓配准的活塞侧缺陷检测方法，西电大学。,46(2019), 75-83.
[50]	Tan，F.Sun，T.Kong，W.Zhang，C.Yang，C.Liu，深度迁移学习调查，年人工神经网络国际会议, (2018), 270-279.