基于深度学习的交通事故救援图像融合算法

doi:10.13229/j.cnki.jdxbgxb.20230346

摘要/Abstract

摘要：

针对严重交通事故现场出现火灾、浓烟等情况影响探测设备完成被困人员搜救的问题，提出了一种基于卷积注意力机制自适应改进损失型双判别器条件生成对抗网络（CBAM-IL-DDCGAN）的红外和可见图像融合方法。首先，利用添加注意力特征融合模块的解码网络从空间和通道对图像进行恢复重建。然后，设计了一种基于梯度信息的自适应权重计算方法。最后，进行了融合图像连续帧的测试实验。实验结果表明，本文图像融合算法表现出色，相较于传统算法和生成对抗网络算法，在PSNR、SSIM和MSE等指标上均取得了超过7%的显著提升，验证了该融合算法在复杂交通事故救援中的可行性和优越性。

关键词: 交通运输系统工程, 红外图像, 可见光图像, 图像融合, 判别器, 注意力机制

Abstract:

Aiming at the problem that fire， smoke and other situations at the scene of serious traffic accidents affect the detection equipment to complete the search and rescue of trapped persons， a Convolutional Block Attention Module-Improved Loss-Dual-Discriminator Conditional Generative Based on Convolutional Attention Mechanism Adversarial Network （CBAM-IL-DDCGAN） infrared and visible image fusion method is proposed. Firstly， the decoding network with attention feature fusion module is used to restore and reconstruct the image from space and channel. Secondly， an adaptive weight calculation method based on gradient information is designed. Finally， the test experiment of fused image continuous frames was carried out. Experimental results show that the proposed image fusion algorithm performs well， and achieves a significant improvement of more than 7% in PSNR， SSIM and MSE compared with the traditional algorithm and the generative adversarial network algorithm. These results verify the feasibility and superiority of the fusion algorithm in complex traffic accident rescue.

Key words: transportation systems engineering, infrared image, visible light image, image fusion, discriminator, attention mechanism

中图分类号:

TP301.6

江晟,王鹏朗,邓志吉,别一鸣. 基于深度学习的交通事故救援图像融合算法[J]. 吉林大学学报(工学版), 2023, 53(12): 3472-3480.

Sheng JIANG,Peng-lang WANG,Zhi-ji DENG,Yi-ming BIE. Image fusion algorithm for traffic accident rescue based on deep learning[J]. Journal of Jilin University(Engineering and Technology Edition), 2023, 53(12): 3472-3480.

图/表 15

图1

图2

图3

图4

图5

图6

图7

图8

图9

图10

表1

表2

表3

表4

图11

参考文献 19

1	李庆庆. 基于多层信息提取和传递的红外与可见光图像融合研究[D]. 长春:中国科学院长春光学精密机械与物理研究所, 2022.
	Li Qing-qing. Research on infrared and visible image fusion based on multilayer information extraction and transmission[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, 2022.
2	程博阳. 基于滚动引导剪切波变换的红外与可见光图像融合研究[D]. 长春: 中国科学院长春光学精密机械与物理研究所, 2020.
	Cheng Bo-yang. Research on infrared and visible image fusion based on rolling guided shear wave transform[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, 2020.
3	顾振飞, 袁小燕, 张登银, 等. 一种基于区域显著性识别的红外图像增强方法[J]. 江苏大学学报: 自然科学版, 2019, 40(6): 681-687.
	Gu Zhen-fei, Yuan Xiao-yan, Zhang Deng-yin, et al. A method of infrared image enhancement based on regional saliency recognition[J]. Journal of Jiangsu University (Natural Science Edition), 2019, 40(6): 681-687.
4	圣文顺, 孙艳文, 张会影. 基于稀疏理论与FFST-GIF的多聚焦图像融合算法[J]. 江苏大学学报: 自然科学版, 2022, 43(2): 195-200.
	Sheng Wen-shun, Sun Yan-wen, Zhang Hui-ying. Multi-focus image fusion algorithm based on sparseness theory and FFST-GIF[J]. Journal of Jiangsu University (Natural Science Edition), 2022, 43(2): 195-200.
5	王彬, 赵作鹏. 基于双流全卷积网络的驾驶员姿态估计方法[J]. 江苏大学学报: 自然科学版, 2022, 43(2): 161-168.
	Wang Bin, Zhao Zuo-peng. Driver attitude estimation method based on dual-stream fully convolutional network[J]. Journal of Jiangsu University(Natural Science Edition), 2022, 43(2): 161-168.
6	李臣旭, 江浩斌, 王成雨, 等. 基于传感器信息融合的车辆位姿估算方法[J]. 江苏大学学报: 自然科学版, 2022, 43(6): 636-644.
	Li Chen-xu, Jiang Hao-bin, Wang Cheng-yu, et al. Vehicle pose estimation method based on sensor information fusion[J]. Journal of Jiangsu University(Natural Science Edition), 2022, 43(6): 636-644.
7	Liu Y, Chen X, Peng H, et al. Multi-focus image fusion with a deep convolutional neural network[J]. Information Fusion, 2017, 36:191-207.
8	Zhao Y, Fu G, Wang H, et al. The fusion of unmatched infrared and visible images based on generative adversarial networks[J]. Mathematical Problems in Engineering, 2020, 2020: No. 3739040.
9	An W B, Wang H M. Infrared and visible image fusion with supervised convolutional Neural network[J]. Optik, 2020, 219: No. 165120.
10	Ma Jia-yi, Xu Han, Jiang Jun-jun, et al. DDcGAN: a dual-discriminator conditional generative adversarial network for multi-resolution image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4980-4995.
11	Fu Y, Wu X J, Durrani T. Image fusion based on generative adversarial network consistent with perception[J]. Information Fusion, 2021, 72: 110-125.
12	于鹏, 朴燕. 基于多尺度特征的行人重识别属性提取新方法[J]. 吉林大学学报: 工学版: 2023, 53(4): 1155-1162.
	Yu Peng, Pu Yan. New method for extracting pedestrian re-identification attributes based on multi-scale features[J]. Journal of Jilin University(Engineering and Technology Edition): 2023, 53(4): 1155-1162.
13	刘晶红, 邓安平, 陈琪琪, 等. 基于多重注意力机制的无锚框目标跟踪算法[J/OL]. [2022-12-01].
14	曾春艳, 严康, 王志锋, 等. 多尺度生成对抗网络下图像压缩感知重建[J/OL]. [2022-12-26].
15	申铉京, 张雪峰, 王玉, 等. 像素级卷积神经网络多聚焦图像融合算法[J]. 吉林大学学报: 工学版, 2022, 52(08):1857-1864.
	Shen Xuan-jing, Zhang Xue-feng, Wang Yu, et al. Pixel-level convolutional neural network multi-focus image fusion algorithm[J]. Journal of Jilin University(Engineering and Technology Edition), 2022, 52(8): 1857-1864.
16	秦浩, 熊凌, 陈琳. 基于CBAM-DDcGAN的锌渣红外与可见光图像融合[J]. 武汉科技大学学报, 2023, 46(3): 216-224.
	Qin Hao, Xiong Ling, Chen Lin. Fusion of zinc slag infrared and visible light images based on CBAM-DDcGAN[J]. Journal of Wuhan University of Science and Technology, 2023, 46(3): 216-224.
17	黄倩. 基于深度学习的GUI源码自动生成[D]. 武汉: 武汉大学计算机学院, 2019.
	Hang Qian. GUI source code based on deep learning is automatically generated[D]. Wuhan: College of Computer Science and Technology, Wuhan University, 2019.
18	苏宁, 叶晗鸣, 王逍遥. 基于Adam优化的多传感器对接位姿融合算法研究[J]. 现代制造技术与装备,2022,58(2): 35-37, 41.
	Su Ning, Ye Han-ming, Wang Xiao-yao. Research on multi-sensor docking pose fusion algorithm based on Adam optimization[J]. Modern Manufacturing Technology and Equipment, 2022, 58(2): 35-37, 41.
19	张威. 生成式双波段彩色融合图像质量评价[J]. 电子设计工程, 2023, 31(5): 1-6.
	Zhang Wei. Generative dual-band color fusion image quality evaluation[J]. Electronic Design Engineering, 2023, 31(5): 1-6.

相关文章 15

[1]	张健,李青扬,李丹,姜夏,雷艳红,季亚平. 基于深度强化学习的自动驾驶车辆专用道汇入引导[J]. 吉林大学学报(工学版), 2023, 53(9): 2508-2518.
[2]	郑植,袁佩,金轩慧,魏思斯,耿波. 桥墩复合材料柔性防撞护舷试验[J]. 吉林大学学报(工学版), 2023, 53(9): 2581-2590.
[3]	霍光,林大为,刘元宁,朱晓冬,袁梦,盖迪. 基于多尺度特征和注意力机制的轻量级虹膜分割模型[J]. 吉林大学学报(工学版), 2023, 53(9): 2591-2600.
[4]	肖明尧,李雄飞,朱芮. 基于NSST域像素相关分析的医学图像融合[J]. 吉林大学学报(工学版), 2023, 53(9): 2640-2648.
[5]	郭晓新,李佳慧,张宝亮. 基于高分辨率网络的视杯和视盘的联合分割[J]. 吉林大学学报(工学版), 2023, 53(8): 2350-2357.
[6]	李建华,王泽鼎. 考虑路径耗时的城市汽车分布式充电桩选点规划[J]. 吉林大学学报(工学版), 2023, 53(8): 2298-2303.
[7]	李洪涛,王琳虹,李俊达. 公路交叉口照明和限速对视觉搜索能力的影响[J]. 吉林大学学报(工学版), 2023, 53(8): 2287-2297.
[8]	程国柱,盛林,赵浩,冯天军. 基于危险度分析的信号交叉口专用相位设置条件[J]. 吉林大学学报(工学版), 2023, 53(7): 1962-1969.
[9]	何永明,陈世升,冯佳,万亚楠. 基于高精地图的超高速公路虚拟轨道系统[J]. 吉林大学学报(工学版), 2023, 53(7): 2016-2028.
[10]	巫威眺,曾坤,周伟,李鹏,靳文舟. 基于多源数据和响应面优化的公交客流预测深度学习方法[J]. 吉林大学学报(工学版), 2023, 53(7): 2001-2015.
[11]	唐菲菲,周海莲,唐天俊,朱洪洲,温永. 融合动静态变量的滑坡多步位移预测方法[J]. 吉林大学学报(工学版), 2023, 53(6): 1833-1841.
[12]	薛志佳,王召阳,张久鹏,晏长根,许子凯,张英立,黄晓明,马涛. 泥石流作用下道路结构韧性分析及提升[J]. 吉林大学学报(工学版), 2023, 53(6): 1773-1781.
[13]	刘振亮,赵存宝,吴云鹏,马迷娜,马龙双. 数据驱动的公路桥梁网络全寿命抗震韧性评估[J]. 吉林大学学报(工学版), 2023, 53(6): 1695-1701.
[14]	田彦涛,黄兴,卢辉遒,王凯歌,许富强. 基于注意力与深度交互的周车多模态行为轨迹预测[J]. 吉林大学学报(工学版), 2023, 53(5): 1474-1480.
[15]	贾洪飞,徐英俊,杨丽丽,王楠. 商品车多式联运联盟成员选择及利益分配[J]. 吉林大学学报(工学版), 2023, 53(4): 1060-1069.

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed

指标	拉普拉斯算法	对抗网络算法	本文算法
PSNR	15.34	17.77	19.14
SSIM	0.73	0.78	0.86
MSE	1902.12	1087.34	792.65

序号	原融合图和可见图	本文算法融合图和可见图	提升幅度/%	原融合图和红外图	本文算法融合图和红外图	提升幅度/%
1	0.3976	0.5253	32.10	0.4927	0.5539	12.42
2	0.3958	0.5251	32.68	0.4932	0.5551	12.56
3	0.3939	0.5243	33.11	0.4934	0.5562	12.73
4	0.3959	0.5248	32.55	0.4942	0.5574	12.79
5	0.3980	0.5283	32.76	0.4941	0.5580	12.93

序号	原融合图和可见图	本文算法融合图和可见图	提升幅度/%	原融合图与红外图	本文算法融合图和红外图	提升幅度/%
1	12.2605	13.5765	10.73	13.849	14.843	7.17
2	12.2912	13.6010	10.66	13.860	14.855	7.18
3	12.2781	13.5963	10.74	13.843	14.847	7.25
4	12.2970	13.6041	10.63	13.872	14.865	7.16
5	12.3358	13.6566	10.71	13.880	14.862	7.07

序号	原融合图和可见图	本文算法融合图和可见图	提升幅度/%	原融合图和红外图	本文算法融合图和红外图	提升幅度/%
1	3863.9	2853.9	26.1	2680.1	2132.2	20.4
2	3836.7	2837.8	26.0	2673.6	2126.1	20.5
3	3848.3	2840.9	26.2	2683.9	2130.3	20.6
4	3831.6	2835.7	26.0	2666.1	2121.1	20.4
5	3797.5	2801.7	26.2	2661.1	2122.6	20.2