吉林大学学报(工学版) ›› 2024, Vol. 54 ›› Issue (10): 2799-2806.doi: 10.13229/j.cnki.jdxbgxb.20230474
• 交通运输工程·土木工程 • 上一篇
融合GPNet与图像多尺度特性的红外-可见光道路目标检测优化方法
孙文财1(
),胡旭歌1,杨志发1,2,3(),孟繁雨2,孙微3
- 1.吉林大学 交通学院，长春 130022
2.中国第一汽车集团有限公司 产品策划及项目管理部，长春 130013
3.长春汽车工业高等专科学校，长春 130031
Optimization of infrared-visible road target detection by fusing GPNet and image multiscale features
Wen-cai SUN1(),Xu-ge HU1,Zhi-fa YANG1,2,3(),Fan-yu MENG2,Wei SUN3
- 1.College of Transportation，Jilin University，Changchun 130022，China
2.Product Planning and Project Management Department，China FAW Group Co. ，Ltd. ，Changchun 130013，China
3.Changchun Automobile Industry Institute，Changchun 130031，China
摘要：
为提高道路交通安全领域中的道路目标检测的精度，本文借鉴图像融合技术中多尺度特征图像融合思想，融合和GPNet中Ghost瓶颈模块，实现了融合质量和较小算法复杂度的平衡，建立了一种红外和可见光融合及目标检测网络。网络分为选择性图像融合模块、轻量化目标检测模块和融合质量及检测精度判别网络3个部分。在白天、夜间和特殊天气（雨、雾等）下，平均车速30~40 km/h的城市工况下进行3组试验作为数据集，实验结果表明：平均梯度最高提升5.648 81、交叉熵提升了0.936 68、边缘强度提升了56.945 7、信息熵提升了0.925 208 781、互信息提升了1.000 548 571、峰值信噪比提升了3.053 893 252、Qab提升了0.342 882 208、Qcb提升了0.208 983 81以及均方误差降低0.08。轻量化目标检测网络输出的AP、mAP和Recall均为最优水平，验证了红外和可见光技术应用在道路障碍物检测方面的优势。
中图分类号:
- U492.8
| 1 | 纪嘉树.基于多传感器融合的无人驾驶环境感知技术研究[D].济南: 山东大学能源与动力工程学院,2022. |
| Ji Jia-Shu. Research on environment perception technology of unmanned driving based on multi-sensor fusion[D]. Ji'nan: School of Energy and Power Engineering,Shandong University, 2022. | |
| 2 | 张博雅. 红外与可见光数字图像融合技术研究[D].南京: 南京理工大学电子工程与光电技术学院, 2015. |
| Zhang Bo-Ya. Infrared and visible light digital image fusion technology research[D]. Nanjing: School of Electronic Engineering and Optoelectronic Technology, Nanjing University of Science & Technology, 2015. | |
| 3 | 刘畅. 基于深度卷积网络的多模图像融合与质量提升方法研究[D].衡阳: 南华大学电气工程学院, 2022. |
| Liu Chang. Research on multimodal image fusion and quality improvement method based on deep convolutional network[D]. Hengyang: School of Electrical Engineering,University of South China, 2022. | |
| 4 | 张婉婉. 基于深度学习的遥感图像融合算法研 究[D]. 烟台: 山东工商学院计算机科学与技术学院, 2022. |
| Zhang Wan-wan. Research on remote sensing image fusion algorithm on deep learning[D]. Yantai: College of Computer Science and Technology,Shandong Technology and Business University, 2022. | |
| 5 | Fang L, Wang X, Wan Y. Adaptable active contour model with applications to infrared ship target segmentation[J].Journal of Electronic Imaging,2016,25(4):1093-1100. |
| 6 | Bavirisetti D P, Dhuli R, Fusion of infrared and visible sensor images based on anisotropic diffusion and karhunen-loeve transform[J]. IEEE Sensors Journal, 2016, 16(1): 203-209. |
| 7 | Kumar B K S. Image fusion based on pixel significance using cross bilateral filter[J]. Signal, Image and Video Processing, 2013, 9(5): 1193-1204. |
| 8 | Liu Y, Chen X, Cheng J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(3): No.1850018. |
| 9 | 高雪琴, 刘刚, 肖刚, 等. 基于FPDE的红外和可见光图像融合算法[J]. 自动化学报, 2020, 46(4): 796-804. |
| Gao Xue-Qin, Liu Gang, Xiao Gang, et al. Fusion algorithm of infrared and visible images based on FPDE[J]. Acta Automatica Sinica, 2020, 46(4): 796-804. | |
| 10 | Zhou Z, Dong M, Xie X, et al. Fusion of infrared and visible images for night-vision context enhancement[J]. Appl Opt, 2016, 55(23): 6480-6490. |
| 11 | Zhang Y, Zhang L, Bai X Z, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]. Infrared Physics & Technology,2017. 83: 227-237. |
| 12 | Bavirisetti D P, Xiao G, Zhao J, et al. Multi-scale guided image and video fusion[J]. Circuits, Systems, and Signal Processing, 2019, 38: 5576-5605. |
| 13 | Vasiliki B, Loukas B, Stefanos K, et al. Generating graph-inspired descriptors by merging ground-level and satellite data for robot localization[J]. Cybernetics and Systems, 2022, 13(1): 697-715. |
| 14 | Bavirisetti D P, Dhuli R. Two-scale image fusion of visible and infrared images using saliency detection[J]. Infrared Physics & Technology, 2016, 76: 52-64. |
| 15 | Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[J/OL].[2015-01-10]. . |
| 16 | 高明华,杨璨.基于改进卷积神经网络的交通目标检测方法[J].吉林大学学报: 工学版,2022,52(6):1353-1361. |
| Gao Ming-hua, Yang Can.Traffic target detection method based on improved convolution neural network[J].Journal of Jilin University(Engineering and Technology Edition), 2022, 52(6): 1353-1361. |
| [1] | 张娜,陈峰,王剑坡,朱亚迪. 基于时空序列相似性的城轨乘客出行模式识别[J]. 吉林大学学报(工学版), 2024, 54(9): 2588-2599. |
| [2] | 周锡浈,宫贺,李敦敦,季彦婕,严杰. 建成环境对路内停车泊位使用率的非线性影响模型[J]. 吉林大学学报(工学版), 2024, 54(9): 2520-2530. |
| [3] | 严利鑫,曾涛,贺宜,郭军华,胡鑫辉. 共驾型智能车辆人机接管行为序列编码与解析[J]. 吉林大学学报(工学版), 2024, 54(9): 2547-2556. |
| [4] | 曲昭伟,李霖,陈永恒,吴场建. 长区间掉头车辆特性分析及其安全评价[J]. 吉林大学学报(工学版), 2024, 54(8): 2206-2213. |
| [5] | 才华,寇婷婷,杨依宁,马智勇,王伟刚,孙俊喜. 基于轨迹优化的三维车辆多目标跟踪[J]. 吉林大学学报(工学版), 2024, 54(8): 2338-2347. |
| [6] | 朱圣杰,王宣,徐芳,彭佳琦,王远超. 机载广域遥感图像的尺度归一化目标检测方法[J]. 吉林大学学报(工学版), 2024, 54(8): 2329-2337. |
| [7] | 程国柱,盛林,王浩宇,冯天军. 考虑右转车二次冲突的信号交叉口行人过街安全评价方法[J]. 吉林大学学报(工学版), 2024, 54(7): 1903-1912. |
| [8] | 何永明,权聪,魏堃,冯佳,万亚楠,陈世升. 超高速公路车路协同路侧单元感知融合方法[J]. 吉林大学学报(工学版), 2024, 54(7): 1923-1934. |
| [9] | 孙铭会,薛浩,金玉波,曲卫东,秦贵和. 联合时空注意力的视频显著性预测[J]. 吉林大学学报(工学版), 2024, 54(6): 1767-1776. |
| [10] | 王宇,赵凯. 基于亚像素定位的人体姿态热图后处理[J]. 吉林大学学报(工学版), 2024, 54(5): 1385-1392. |
| [11] | 王殿伟,张池,房杰,许志杰. 基于高分辨率孪生网络的无人机目标跟踪算法[J]. 吉林大学学报(工学版), 2024, 54(5): 1426-1434. |
| [12] | 张明业,杨敏,黎彧,黄世玉,李清韵. 考虑有序充电策略的多车型电动公交调度优化[J]. 吉林大学学报(工学版), 2024, 54(5): 1293-1301. |
| [13] | 秦雅琴,钱正富,谢济铭. 协同换道避障模型和轨迹数据驱动的车辆协同避障策略[J]. 吉林大学学报(工学版), 2024, 54(5): 1311-1322. |
| [14] | 高云龙,任明,吴川,高文. 基于注意力机制改进的无锚框舰船检测模型[J]. 吉林大学学报(工学版), 2024, 54(5): 1407-1416. |
| [15] | 涂辉招,王万锦,乔鹏,郭静秋,鹿畅,吴海飞. 自动驾驶卡车路测安全员接管干预行为解析[J]. 吉林大学学报(工学版), 2024, 54(3): 727-740. |
|
||