基于多支路卷积神经网络的磁瓦表面缺陷检测算法

doi:10.13229/j.cnki.jdxbgxb.20210855

摘要/Abstract

摘要：

针对磁瓦表面缺陷检测难度大和精度低的问题，提出了一种新的磁瓦表面缺陷检测算法。首先，设计了一种多支路网络结构，并在各支路中构建了一种能有效提取磁瓦图像特征的卷积神经网络；然后，引入注意力模块突出图像的重要特征；最后，通过判别相关分析使同类特征的相关性和不同类特征的差异性最大化，并通过级联融合得到优化的磁瓦图像融合特征。在磁瓦图像数据集上，对算法检测性能进行了测试，测试精度达到99.90%；在实际检测工作中，本文算法的检测准确率保持在99%以上，检测速度达到129块/min。实验和运行结果表明：本算法检测精度高，性能稳定可靠，能满足磁瓦大批量生产实时在线检测要求。

关键词: 计算机应用, 磁瓦, 缺陷检测, 多支路, 卷积神经网络, 特征融合

Abstract:

Aiming at the problem of great difficulty and low accuracy in the detection of magnetic tile surface defects（DMTSD）， a novel algorithm of DMTSD is proposed. In this paper， a multi-branch network structure is designed， and a convolutional neural network which can effectively extract the features of the magnetic tile images is constructed in each branch， and then the attention module is introduced to highlight the important features of the image. Finally， the correlation of the intra-class features and the difference of the inter-class features is maximized through discriminant correlation analysis， and the optimized fusion feature of magnetic tile images is obtained by concatenation fusion. The performance of the algorithm is tested on the magnetic tile image data set， and the test accuracy is up to 99.90%. In the actual detection work， the detection accuracy of the algorithm remains above 99%， and the detection speed reaches 129 pcs/min. The results of test and operation show that the algorithm has the advantage of high detection accuracy and stable performance， and can meet the requirements of real-time online detection in mass production of magnetic tiles.

Key words: computer application, magnetic tile, defect detection, multi-branch, convolutional neural network, feature fusion

中图分类号:

TP391

刘培勇,董洁,谢罗峰,朱杨洋,殷国富. 基于多支路卷积神经网络的磁瓦表面缺陷检测算法[J]. 吉林大学学报(工学版), 2023, 53(5): 1449-1457.

Pei-yong LIU,Jie DONG,Luo-feng XIE,Yang-yang ZHU,Guo-fu YIN. Surface defect detection algorithm of magnetic tiles based on multi⁃branch convolutional neural network[J]. Journal of Jilin University(Engineering and Technology Edition), 2023, 53(5): 1449-1457.

图/表 15

图1

图2

图3

图4

表1

四个经典CNN在磁瓦表面缺陷检测中的性能测试"

网络名称	训练精度	测试精度	平均测试时间 $t 1$ /s	单张图像平均测试时间 $t 2$ /s	最大测试时间 $t 3$ /s	最大平均测试时间 $t 4$ /s	检测速度n/（块·min^-1）
VGG16	0.9912	0.992	2.93	0.0293	3.45	0.0345	217
AlexNet	0.9842	0.984	1.99	0.0199	2.58	0.0258	290
ResNet18	0.9892	0.989	2.34	0.0234	2.39	0.0239	313
GoogLeNet	0.9848	0.985	4.69	0.0469	4.78	0.0478	156

表1

图5

图6

图7

图8

图9

表2

图10

表3

表4

表5

参考文献 13

1	刘恩泽, 吴文福. 基于机器视觉的农作物表面多特征决策融合病变判断算法[J]. 吉林大学学报: 工学版, 2018, 48(6): 1873-1878.
	Liu En-ze, Wu Wen-fu. Agricultural surface multiple feature decision fusion diseasejudgment algorithm based on machine vision[J]. Journal of Jilin University(Engineering and Technology Edition), 2018, 48(6):1873-1878.
2	Zhang K H, Wang W D, Lv Z Q, et al. Computer vision detection of foreign objects in coal processing using attention CNN[J]. Engineering Applications of Artificial Intelligence, 2021,102: 104242-104253.
3	谢舰, 姚剑敏, 严群, 等. 基于深度学习的磁瓦表面缺陷分割与识别[J]. 液晶与显示, 2021, 36(5): 713-722.
	Xie Jian, Yao Jian-min, Yan Qun, et al. Segmentation and recognition of magnetic tile surfacedefects based on deep learning[J]. Chinese Journal of Liquid Crystals and Displays, 2021, 36(5): 713-722.
4	Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module[C]∥The 15th European Conference on Computer Vision, Munich, Germany, 2018: 3-19.
5	赵宏伟, 刘晓涵, 张媛, 等. 基于关键点注意力和通道注意力的服装分类算法[J]. 吉林大学学报: 工学版, 2020, 50(5): 1765-1770.
	Zhao Hong-wei, Liu Xiao-han, Zhang Yuan, et al. Clothing classification algorithm based on landmark attention and channel attention[J]. Journal of Jilin University(Engineering and Technology Edition), 2020, 50(5): 1765-1770.
6	Qiu X J. A new multilevel feature fusion network for medical image segmentation[J]. Sensing and Imaging, 2021, 22(1): 1-20.
7	Haghighat M, Abdel-Mottaleb M, Alhalabi W. Discriminant correlation analysis: real-time feature level fusion for multimodal biometric recognition[J]. IEEE Transactions on Information Forensics and Security, 2016, 11(9): 1984-1996.
8	胡锦丽, 杨辉华, 刘振丙. 基于判别相关分析法的手指多模态融合身份识别方法[J]. 桂林电子科技大学学报, 2017, 37(6): 431-436.
	Hu Jin-li, Yang Hui-hua, Liu Zhen-bing.A finger multi-modal fusion identification method based on discriminant correlation analysis[J]. Journal of Guilin University of Electronic Technology, 2017, 37(6): 431-436.
9	Pan H, Jiang J, Chen G. TDFSSD: top-down feature fusion single shot MultiBox detector[J].Signal Processing Image Communication, 2020, 89(4): 115987-115996.
10	Li X Q, Jiang H H, Yin G F. Detection of surface crack defects on ferrite magnetic tile[J]. NDT&E Int. 2014, 62: 6-13.
11	Yang C L, Liu P Y, Yin G F, et al. Crack detection in magnetic tile images using nonsubsampled shearlet transform and envelope gray level gradient[J]. Optics and Laser Technology, 2017, 90: 7-17.
12	刘畅, 张剑, 林建平. 基于神经网络的磁瓦表面缺陷检测识别[J]. 表面技术, 2019, 48(8): 330-339.
	Liu Chang, Zhang Jian, Lin Jian-ping. Detection and identification of surface defects of magnetic tile based on neural network[J]. Surface Technology, 2019, 48(8): 330-339.
13	Huang Y B, Qiu C Y, Yuan K. Surface defect saliency of magnetic tile[J]. The Visual Computer, 2020, 36(1): 85-96.

相关文章 15

[1]	张振海,季坤,党建武. 基于桥梁裂缝识别模型的桥梁裂缝病害识别方法[J]. 吉林大学学报(工学版), 2023, 53(5): 1418-1426.
[2]	张则强,梁巍,谢梦柯,郑红斌. 混流双边拆卸线平衡问题的精英差分进化算法[J]. 吉林大学学报(工学版), 2023, 53(5): 1297-1304.
[3]	于鹏,朴燕. 基于多尺度特征的行人重识别属性提取新方法[J]. 吉林大学学报(工学版), 2023, 53(4): 1155-1162.
[4]	姜宇,潘家铮,陈何淮,符凌智,齐红. 基于分割方法的繁体中文报纸文本检测[J]. 吉林大学学报(工学版), 2023, 53(4): 1146-1154.
[5]	吴振宇,刘小飞,王义普. 基于DKRRT^*-APF算法的无人系统轨迹规划[J]. 吉林大学学报(工学版), 2023, 53(3): 781-791.
[6]	陶博,颜伏伍,尹智帅,武冬梅. 基于高精度地图增强的三维目标检测算法[J]. 吉林大学学报(工学版), 2023, 53(3): 802-809.
[7]	薛珊,张亚亮,吕琼莹,曹国华. 复杂背景下的反无人机系统目标检测算法[J]. 吉林大学学报(工学版), 2023, 53(3): 891-901.
[8]	潘弘洋,刘昭,杨波,孙庚,刘衍珩. 基于新一代通信技术的无人机系统群体智能方法综述[J]. 吉林大学学报(工学版), 2023, 53(3): 629-642.
[9]	何颖,樊俊松,王巍,孙庚,刘衍珩. 无人机空地安全通信与航迹规划的多目标联合优化方法[J]. 吉林大学学报(工学版), 2023, 53(3): 913-922.
[10]	郭鹏,赵文超,雷坤. 基于改进Jaya算法的双资源约束柔性作业车间调度[J]. 吉林大学学报(工学版), 2023, 53(2): 480-487.
[11]	刘近贞,高国辉,熊慧. 用于脑组织分割的多尺度注意网络[J]. 吉林大学学报(工学版), 2023, 53(2): 576-583.
[12]	祁贤雨,王巍,王琳,赵玉飞,董彦鹏. 基于物体语义栅格地图的语义拓扑地图构建方法[J]. 吉林大学学报(工学版), 2023, 53(2): 569-575.
[13]	时小虎,吴佳琦,吴春国,程石,翁小辉,常志勇. 基于残差网络的弯道增强车道线检测方法[J]. 吉林大学学报(工学版), 2023, 53(2): 584-592.
[14]	申铉京,张雪峰,王玉,金玉波. 像素级卷积神经网络多聚焦图像融合算法[J]. 吉林大学学报(工学版), 2022, 52(8): 1857-1864.
[15]	曲福恒,丁天雨,陆洋,杨勇,胡雅婷. 基于邻域相似性的图像码字快速搜索算法[J]. 吉林大学学报(工学版), 2022, 52(8): 1865-1871.

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed

数据集	线状缺陷	块状缺陷	正常图像	合计
训练集	960	960	960	2880
验证集	320	320	320	960
测试集	320	320	320	960

实际类别	检测结果			样品数量
实际类别	合格	线状缺陷	块状缺陷	样品数量
合格	289/299	7/0	4/1	300
线状缺陷	16/3	279/296	5/1	300
块状缺陷	9/1	7/0	284/299	300
正确拒绝率	3.67% / 0.33%
错误接受率	6.17% / 0.83%
分类准确率	94.67% / 99.33%

支路网络	训练精度	测试精度
AlexNet	0.9929	0.9927
ResNet18	0.9959	0.9956
GoogLeNet	0.9937	0.9938
VGG16	0.9963	0.9958
IVGG	0.9987	0.9990