吉林大学学报(工学版) ›› 2019, Vol. 49 ›› Issue (6): 2038-2044.doi: 10.13229/j.cnki.jdxbgxb20190243

• • 上一篇    下一篇

基于Fast RCNN改进的布匹瑕疵识别算法

车翔玖(),刘华罗,邵庆彬   

  1. 吉林大学 计算机科学与技术学院,长春 130012
  • 收稿日期:2019-03-15 出版日期:2019-11-01 发布日期:2019-11-08
  • 作者简介:车翔玖(1969-),男,教授,博士生导师.研究方向:计算机图形学,大数据可视化.E-mail:chexj@jlu.edu.cn
  • 基金资助:
    国家自然科学基金项目(61672260)

Fabric defect recognition algorithm based onimproved Fast RCNN

Xiang-jiu CHE(),Hua-luo LIU,Qing-bin SHAO   

  1. College of Computer Science and Technology, Jilin University, Changchun 130012, China
  • Received:2019-03-15 Online:2019-11-01 Published:2019-11-08

摘要:

针对布匹瑕疵数据集分辨率高、瑕疵区域小,使用已有图像分类算法识别效果差的问题,提出了一种基于经典目标检测算法Fast RCNN改进的图像识别算法,用目标检测的流程完成图像识别任务。算法利用布匹瑕疵区域小的特性,在图像中生成大量潜在的瑕疵区域,利用卷积神经网络预测潜在区域包含瑕疵的概率,在算法的后期对潜在区域的概率进行合并,最终达到识别布匹中存在瑕疵的概率。在一个具有3 331张高分辨率图片的数据集上进行实验,结果表明,本文算法比OurNet以及已有的图像分类算法具有更好的性能。

关键词: 计算机应用, 布匹瑕疵识别, 卷积神经网络, 图像识别, 目标检测

Abstract:

Fabric defect dataset usually has high resolution but small defect area, which is different from common image classification datasets (such as ImageNet, etc). When applying exist classification algorithms to fabric defect dataset directly, it cannot achieve expected accuracy. To address this problem, this paper proposes a new classification algorithm based on improved Fast RCNN. For an image with small defect area, we follow the pipeline of object detection, generating lots of ROI (Region of Interest), extracting feature map with deep convolutional neural network and predicting each ROI's class probability. On the last stage, we combine all ROIs' class probabilities to get the full image's class probability. Experiments performed in a fabric defect dataset which has 3331 high resolution images show that our algorithm outperforms OurNet and exist classification algorithm.

Key words: computer application, fabric defect recognition, convolutional neural network, image classification, object detection

中图分类号: 

  • TP391.4

图1

本文瑕疵识别算法框架"

图2

ROI生成过程"

图3

目标检测中重叠度的计算方法"

图4

本文新定义的重叠度的计算方法"

图5

无法用单个ROI包含整个瑕疵区域的情况"

图6

全局信息嵌入过程"

图7

多任务概率合成过程"

图8

图片属于正常的概率计算演示"

图9

多任务训练"

图10

瑕疵类别数量分布"

图11

三种算法在部分小瑕疵区域的布匹图片上的结果对比"

表1

瑕疵图像不同方法结果比较"

AUCmAPScore
OurNet(双网络)0.7870.1040.582
Base?ResNet0.8700.1980.668
本文方法0.9610.4040.794
增加上采样0.9610.4480.807
增加全局信息0.9690.4760.821
1 孙君顶, 李欣, 盛娜, 等. 基于MBLBPV算法的布匹瑕疵检测方法[J]. 测控技术, 2019, 38(1): 71-76.
1 SunJun-ding, LiXin, ShengNa, et al. Fabric defect detection based on multi-scale block local binary patterns variance[J]. Measurement & Control Technology, 2019, 38(1): 71-76.
2 邓超, 刘岩岩. 基于边缘检测的斜纹布匹瑕疵检测[J]. 测控技术, 2018, 37(12): 110-113.
2 DengChao, LiuYan-yan. Twill fabric defect detection based on edge detection[J]. Measurement & Control Technology, 2018, 37(12): 110-113.
3 车翔玖, 王利, 郭晓新. 基于多尺度特征融合的边界检测算法[J]. 吉林大学学报:工学版, 2018, 48(5): 1621-1628.
3 CheXiang-jiu, WangLi, GuoXiao-xin. Improved boundary detection based on multi-scale cues fusion[J]. Journal of Jilin University(Engineering and Technology Edition), 2018, 48(5): 1621-1628.
4 吴志洋, 卓勇, 李军, 等. 基于卷积神经网络的单色布匹瑕疵快速检测算法[J]. 计算机辅助设计与图形学学报, 2018, 30(12): 2262-2270.
4 WuZhi-yang, ZhuoYong, LiJun, et al. A fast monochromatic fabric detect fast detection method based on convolutional neural network[J]. Journal of Computer-aided Design & Computer Graphics, 2018, 30(12): 2262-2270.
5 GirshickR. Fast R-CNN[C]∥Proceedings of the IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 1440-1448.
6 HeKai-ming, ZhangXiang-yu, RenShao-qing, et al. Deep residual learning for image recognition[C]∥Proceedings of the IEEE conference on computer vision and pattern recognition, Vegas, Nevada, 2016: 770-778.
7 GirshickR, DonahueJ, DarrellT, et al. R-CNN: region-based convolutional neural networks[C]∥Conference on Computer Vision and Pattern Recognition, Columbus, Ohio, 2014: 2-9.
8 RenShao-qing, HeKai-ming, RossGirshick, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]∥Advances in Neural Information Processing Systems, Montréal, CANADA, 2015: 91-99.
9 HeK, GkioxariG, DollárP, et al. Mask R-CNN[C]∥Proceedings of the IEEE International Conference on Computer Vision,Venice, Italy, 2017: 2961-2969.
10 UijlingsJ R R, van de SandeK E A, GeversT, et al. Selective search for object recognition[J]. International Journal of Computer Vision, 2013, 104(2): 154-171.
11 SzegedyC, LiuW, JiaY, et al. Going deeper with convolutions[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,Boston, Massachusetts, 2015: 1-9.
12 NaikA, RangwalaH. Multi-task Learning[M]. Berlin:Springer, 2018: 75-88.
13 NeubeckA, van GoolL. Efficient non-maximum suppression[C]∥18th International Conference on Pattern Recognition (ICPR?06), Hong Kong, China, 2006: 850-855.
14 LinT Y, GoyalP, GirshickR, et al. Focal loss for dense object detection[C]∥Proceedings of the IEEE International Conference on Computer Vision, Venice, Italy, 2017: 2980-2988.
15 DengJ, DongW, SocherR, et al. Imagenet: a large-scale hierarchical image database[C]∥2009 IEEE Conference on Computer Vision and Pattern Recognition, Florida, US, 2009: 248-255.
[1] 赵宏伟,王鹏,范丽丽,胡黄水,刘萍萍. 相似性保持实例检索方法[J]. 吉林大学学报(工学版), 2019, 49(6): 2045-2050.
[2] 周炳海,吴琼. 考虑工具和空间约束的机器人装配线平衡优化[J]. 吉林大学学报(工学版), 2019, 49(6): 2069-2075.
[3] 马子骥,卢浩,董艳茹. 双通道单图像超分辨率卷积神经网络[J]. 吉林大学学报(工学版), 2019, 49(6): 2089-2097.
[4] 沈军,周晓,吉祖勤. 服务动态扩展网络及其结点系统模型的实现[J]. 吉林大学学报(工学版), 2019, 49(6): 2058-2068.
[5] 周柚,杨森,李大琳,吴春国,王岩,王康平. 基于现场可编程门电路的人脸检测识别加速平台[J]. 吉林大学学报(工学版), 2019, 49(6): 2051-2057.
[6] 李宾,周旭,梅芳,潘帅宁. 基于K-means和矩阵分解的位置推荐算法[J]. 吉林大学学报(工学版), 2019, 49(5): 1653-1660.
[7] 徐谦,李颖,王刚. 基于深度学习的行人和车辆检测[J]. 吉林大学学报(工学版), 2019, 49(5): 1661-1667.
[8] 郭继昌,吴洁,郭春乐,朱明辉. 基于残差连接卷积神经网络的图像超分辨率重构[J]. 吉林大学学报(工学版), 2019, 49(5): 1726-1734.
[9] 孙延君,申铉京,陈海鹏,赵永哲. 基于局部平面线性点的翻拍图像鉴别算法[J]. 吉林大学学报(工学版), 2019, 49(4): 1320-1328.
[10] 李雄飞,宋璐,张小利. 基于协同经验小波变换的遥感图像融合[J]. 吉林大学学报(工学版), 2019, 49(4): 1307-1319.
[11] 翟凤文,党建武,王阳萍,金静,罗维薇. 基于扩展轮廓的快速仿射不变特征提取[J]. 吉林大学学报(工学版), 2019, 49(4): 1345-1356.
[12] 刘元宁,刘帅,朱晓冬,霍光,丁通,张阔,姜雪,郭书君,张齐贤. 基于决策粒子群优化与稳定纹理的虹膜二次识别[J]. 吉林大学学报(工学版), 2019, 49(4): 1329-1338.
[13] 李宾,申国君,孙庚,郑婷婷. 改进的鸡群优化算法[J]. 吉林大学学报(工学版), 2019, 49(4): 1339-1344.
[14] 王楠,李金宝,刘勇,张玉杰,钟颖莉. TPR⁃TF:基于张量分解的时间敏感兴趣点推荐模型[J]. 吉林大学学报(工学版), 2019, 49(3): 920-933.
[15] 刘富,宗宇轩,康冰,张益萌,林彩霞,赵宏伟. 基于优化纹理特征的手背静脉识别系统[J]. 吉林大学学报(工学版), 2018, 48(6): 1844-1850.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 付燕宁,刘磊,张家晨 . 构造语义Web服务工作流的模型[J]. 吉林大学学报(工学版), 2007, 37(03): 600 -0605 .
[2] 梁平,徐涛,左文杰 . 计算有限元结构特征值的D值迭代法[J]. 吉林大学学报(工学版), 2007, 37(06): 1313 -1316 .
[3] 符寒光. 高硼铸钢衬板的组织和性能[J]. 吉林大学学报(工学版), 2006, 36(04): 467 -471 .
[4] 任远,崔平远,栾恩杰. 基于标称轨道的小推力轨道设计方法[J]. 吉林大学学报(工学版), 2006, 36(06): 998 -1002 .
[5] 鲁金忠,张永康,顾韡,孔德军,冯爱新 . 激光复合处理K24超合金表面残余应力[J]. 吉林大学学报(工学版), 2008, 38(02): 309 -0313 .
[6] 刘铁刚,李君,高莹 . 498型柴油机冷却水套优化设计[J]. 吉林大学学报(工学版), 2008, 38(04): 778 -781 .
[7] 李莉,屈桢深,曾庆双 . 扩展差值函数及其在图像运动估计中的应用[J]. 吉林大学学报(工学版), 2008, 38(04): 897 -901 .
[8] 李鹏,崔祜涛,崔平远 . 探测器交会小天体的UPF自主导航方案[J]. 吉林大学学报(工学版), 2007, 37(03): 691 -0695 .
[9] 贺宝琴,吴允柱,傅立敏 . 汽车外形对智能车辆队列行驶气动特性的影响[J]. 吉林大学学报(工学版), 2008, 38(01): 7 -011 .
[10] 董劲男, 秦贵和,,张晋东,崔玥 . 基于多项式预测滤波理论的实时信号传输[J]. 吉林大学学报(工学版), 2008, 38(04): 890 -896 .