吉林大学学报(工学版) ›› 2018, Vol. 48 ›› Issue (6): 1895-1903.doi: 10.13229/j.cnki.jdxbgxb20170815

• • 上一篇    下一篇

基于卷积神经网络的水下图像增强方法

徐岩(),孙美双   

  1. 天津大学 电气自动化与信息工程学院,天津 300072
  • 收稿日期:2017-08-15 出版日期:2018-11-20 发布日期:2018-12-11
  • 作者简介:徐岩(1977-),女,副教授,博士.研究方向:数字图像处理,模式识别.
  • 基金资助:
    国家自然科学基金项目(61372145);天津大学自主创新基金项目(2015XZC-0005)

Enhancing underwater image based on convolutional neural networks

XU Yan(),SUN Mei-shuang   

  1. School of Electrical and Information Engineering, Tianjin University, Tianjin 300072,China
  • Received:2017-08-15 Online:2018-11-20 Published:2018-12-11

摘要:

为了避免传统水下图像增强方法需要人工选取特征,特征提取困难、清晰度低的问题,本文提出一种基于卷积神经网络的水下图像增强方法。首先根据清晰图像,通过水下图像退化模型模拟水下图像形成过程并建立水下图像库。然后,提出一种用于增强水下图像的卷积神经网络模型,该模型可以直接在清晰图像和水下图像之间建立映射关系。最后,通过卷积神经网络提取的图像特征,对水下图像进行恢复。试验结果表明:本文方法较传统方法噪声更少,并且提高了清晰度,为水下图像增强方法的研究提供了新的思路。

关键词: 信息处理技术, 卷积神经网络, 水下图像, 图像增强, 清晰度

Abstract:

In order to avoid the problems of manually selecting features, difficulties in feature extraction and low visibility in traditional underwater image enhancing methods, an underwater image enhancing method based on convolution neural network was proposed. First, an underwater image dataset was established by simulation of underwater image formatting process by using clear images and underwater degraded model. Then, a convolution neural network model for underwater image enhancement was established, which can directly create a mapping relationship between the clear image and the underwater image. Finally, underwater images were restored by the features extracted by convolution neural network of underwater image. The experimental results show that the proposed method has less noise and improves contrast than tradition methods, and the algorithm provides a new idea for the underwater image enhancing research.

Key words: information procession technology, convolutional neural network, underwater images, image enhancing, visibility

中图分类号: 

  • TP391.4

图1

水下图像成像模型"

图2

光在水中衰减情况"

图3

海水体积衰减系数随波长变化规律"

图4

水下图像库"

图5

本文网络"

表1

不同特征图试验结果对比"

试验
编号
第1层特
征图数量
第2层特
征图数量
第3层特
征图数量
第4层特
征图数量
平均
PSNR/dB
1 32 32 16 3 25.981
2 64 32 16 3 26.363
3 64 64 16 3 26.292
4 64 64 64 3 26.120
5 128 32 16 3 26.310
6 128 64 16 3 26.330
7 256 64 16 3 26.169

表2

不同卷积核试验结果对比"

试验编号 第1层卷积核尺寸 第2层卷积核尺寸 第3层卷积核尺寸 第4层卷积核尺寸 平均PSNR/dB
1 7×7 5×5 5×5 3×3 26.363
2 5×5 5×5 5×5 3×3 26.181
3 5×5 5×5 3×3 3×3 26.121
4 3×3 3×3 3×3 3×3 26.080

表3

本文网络参数"

层的
名称
特征图
个数
卷积核
尺寸
特征图扩
充尺寸
卷积核移
动步长
1 64 7×7 2 1
2 32 5×5 2 1
3 16 5×5 2 1
4 3 3×3 2 1

图6

Aloe图片增强结果对比"

图7

Teddy图片增强结果对比"

图8

Reindeer图片增强结果对比"

表4

PSNR和RMSE结果对比"

指标 算法 图 片
Teddy Art Reindeer Aloe Dolls
PSNR/dB Fattal 10.134 11.759 13.001 10.012 10.681
Fu 15.712 14.251 12.136 11.709 15.024
Ancuti 14.891 11.971 10.484 16.094 12.946
本文 25.926 25.104 25.585 26.801 26.599
RMSE Fattal 8.639 7.687 7.039 8.839 8.209
Fu 5.953 6.489 7.046 7.477 6.061
Ancuti 6.179 7.274 7.851 5.771 6.778
本文 3.804 3.058 3.141 2.909 3.048

图9

水下图像增强结果对比"

表5

真实场景水下图像下算法评价指标均值对比"

算法 均值 标准差 信息熵 平均梯度
Fattal 98.4971 61.3326 6.8398 6.2389
Fu 135.9848 69.0856 7.0569 8.4456
Ancuti 144.8726 68.5824 7.7185 9.1866
本文 143.2409 69.2448 7.7712 9.5125
[1] Fattal R . Single image dehazing[J]. ACM Transactions on Graphics, 2008,27(3):11-15.
[2] 张凯, 裘溯, 王霞 , 等. 水下彩色图像的亮度通道多尺度Retinex增强算法[J]. 红外技术, 2011,33(11):630-634.
Zhang Kai, Qiu Su, Wang Xia , et al. Multi-scale retinex enhancement algorithm on luminance channel of color underwater image[J]. Infrared Technology, 2011,33(11):630-634.
[3] Land E H, McCann J . Lightness and Retinex theory[J]. Journal of the Optical Society of America, 1971,61(1):1-11.
doi: 10.1364/JOSA.61.000001
[4] He K M, Sun J, Tang X O . Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011,33(12):2341-2353.
doi: 10.1109/TPAMI.2010.168 pmid: 20820075
[5] Chiang J Y, Chen Y C . Underwater image ehancement by wavelength compensation and dehazing[J]. IEEE Transactions on Image Processing, 2012,21(4):1756-1769.
doi: 10.1109/TIP.2011.2179666 pmid: 22180510
[6] Ancuti C O, Bekaert P, Haber T, et al. Enhancing underwater images and videos by fusion [C]//2012 IEEE Conference on Computer Vision and Pattern Recognition, RI, USA, 2012: 81-88.
[7] 刘智, 黄江涛, 冯欣 . 构建多尺度深度卷积神经网络行为识别模型[J]. 光学精密工程, 2017,25(3):799-805.
doi: 10.3788/OPE.20172503.0799
Liu Zhi, Huang Jiang-tao, Feng Xin . Action recognition model construction based on multi-scale deep convolution neural network[J]. Optics and Precision Engineering, 2017,25(3):799-805.
doi: 10.3788/OPE.20172503.0799
[8] 熊昌镇, 单艳梅, 郭芬红 . 结合主体检测的图像检索方法[J]. 光学精密工程, 2017,25(3):792-798.
doi: 10.3788/OPE.20172503.0792
Xiong Chang-zhen, Shan Yan-mei, Guo Fen-hong . Image retrieval method based on image principal part detection[J]. Optics and Precision Engineering, 2017,25(3):792-798.
doi: 10.3788/OPE.20172503.0792
[9] 李琳辉, 伦智梅, 连静 , 等. 基于卷积神经网络的道路车辆检测方法[J]. 吉林大学学报:工学版, 2017,47(2):384-391.
doi: 10.13229/j.cnki.jdxbgxb201702006
Li Lin-hui, Lun Zhi-mei, Lian Jing , et al. Convolution neural network-based vehicle detection method[J]. Journal of Jilin University (Engineering and Technology Edition), 2017,47(2):384-391.
doi: 10.13229/j.cnki.jdxbgxb201702006
[10] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 2014: 580-587.
[11] Liu S, Liang X, Liu L, et al. Matching-CNN meets KNN: quasi-parametric human parsing [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 2015: 1419-1427.
[12] Cai B, Xu X, Jia K , et al. DehazeNet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016,25(11):5187-5198.
doi: 10.1109/TIP.2016.2598681
[13] Jaffe J S . Computer modeling and the design of optimal underwater imaging systems[J]. IEEE Journal of Oceanic Engineering, 2002,15(2):101-111.
doi: 10.1109/48.50695
[14] 杨爱萍, 郑佳, 王建 , 等. 基于颜色失真去除与暗通道先验的水下图像复原[J]. 电子与信息学报, 2015,37(11):2541-2547.
doi: 10.11999/JEIT150483
Yang Ai-ping, Zheng Jia, Wang Jian , et al. Underwater image restoration based on color cast removal and dark channel prior[J]. Journal of Electronics and Information Technology, 2015,37(11):2541-2547.
doi: 10.11999/JEIT150483
[15] 马淼, 李贻斌 . 基于多级图像序列和卷积神经网络的人体行为识别[J]. 吉林大学学报:工学版, 2017,47(4):1244-1252.
doi: 10.13229/j.cnki.jdxbgxb201704033
Ma Miao, Li Yi-bin . Multi-level image sequences and convolutional neural networks based human action recognition method[J]. Journal of Jilin University (Engineering and Technology Edition), 2017,47(4):1244-1252.
doi: 10.13229/j.cnki.jdxbgxb201704033
[16] 刘万军, 梁雪剑, 曲海成 . 不同池化模型的卷积神经网络学习性能研究[J]. 中国图象图形学报, 2016,21(9):1178-1190.
Liu Wan-jun, Liang Xue-jian, Qu Hai-cheng . Learning performance of convolutional neural networks with different pooling models[J]. Journal of Image and Graphics, 2016,21(9):1178-1190.
[17] Duntley S Q . Light in the sea[J]. Journal of the Optical Society of America, 1963,53(2):214-233.
doi: 10.1364/JOSA.53.000214
[18] 默顿斯 L E, 张闻迪 . 水中摄影学[M]. 北京: 科学出版社, 1979.
[19] Lecun Y, Bottou L, Bengio Y , et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998,86(11):2278-2324.
doi: 10.1109/5.726791
[20] Scharstein D, Szeliski R, Zabih R . A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International Journal of Computer Vision, 2002,47(1-3):7-42.
doi: 10.1023/A:1014573219977
[21] Scharstein D, Szeliski R. High-accuracy stereo depth maps using structured light [C]//2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Madison, WI, USA, 2003: 195-202.
[22] Scharstein D, Pal C . Learning conditional random Fields for stereo[J/OL]. [2017-07-30]..
[23] Hirschmuller H, Scharstein D . Evaluation of cost functions for stereo matching[J/OL].[2017-08-01]..
[24] Dong C, Loy C C, He K M , et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016,38(2):295-307.
doi: 10.1109/TPAMI.2015.2439281 pmid: 26761735
[25] Kwon H H, Tai Y W, Lin S. Data-driven depth map refinement via multi-scale sparse representation [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 2015: 159-167.
[26] Fu X Y, Zhuang P X, Huang Y, et al. A retinex-based enhancing approach for single underwater image [C]//2014 IEEE International Conference on Image Processing, Paris, France, 2014: 4572-4576.
[1] 托乎提努尔,张海龙,王杰,王娜,冶鑫晨,王万琼. 基于图形处理器的高速中值滤波算法[J]. 吉林大学学报(工学版), 2019, 49(3): 979-985.
[2] 付银娟,李勇,徐丽琴,张昆辉. NLFM⁃Costas射频隐身雷达信号设计及分析[J]. 吉林大学学报(工学版), 2019, 49(3): 994-999.
[3] 苏寒松,代志涛,刘高华,张倩芳. 结合吸收Markov链和流行排序的显著性区域检测[J]. 吉林大学学报(工学版), 2018, 48(6): 1887-1894.
[4] 黄勇,杨德运,乔赛,慕振国. 高分辨合成孔径雷达图像的耦合传统恒虚警目标检测[J]. 吉林大学学报(工学版), 2018, 48(6): 1904-1909.
[5] 李居朋,张祖成,李墨羽,缪德芳. 基于Kalman滤波的电容屏触控轨迹平滑算法[J]. 吉林大学学报(工学版), 2018, 48(6): 1910-1916.
[6] 应欢,刘松华,唐博文,韩丽芳,周亮. 基于自适应释放策略的低开销确定性重放方法[J]. 吉林大学学报(工学版), 2018, 48(6): 1917-1924.
[7] 陆智俊,钟超,吴敬玉. 星载合成孔径雷达图像小特征的准确分割方法[J]. 吉林大学学报(工学版), 2018, 48(6): 1925-1930.
[8] 刘仲民,王阳,李战明,胡文瑾. 基于简单线性迭代聚类和快速最近邻区域合并的图像分割算法[J]. 吉林大学学报(工学版), 2018, 48(6): 1931-1937.
[9] 单泽彪,刘小松,史红伟,王春阳,石要武. 动态压缩感知波达方向跟踪算法[J]. 吉林大学学报(工学版), 2018, 48(6): 1938-1944.
[10] 姚海洋, 王海燕, 张之琛, 申晓红. 双Duffing振子逆向联合信号检测模型[J]. 吉林大学学报(工学版), 2018, 48(4): 1282-1290.
[11] 全薇, 郝晓明, 孙雅东, 柏葆华, 王禹亭. 基于实际眼结构的个性化投影式头盔物镜研制[J]. 吉林大学学报(工学版), 2018, 48(4): 1291-1297.
[12] 陈绵书, 苏越, 桑爱军, 李培鹏. 基于空间矢量模型的图像分类方法[J]. 吉林大学学报(工学版), 2018, 48(3): 943-951.
[13] 陈涛, 崔岳寒, 郭立民. 适用于单快拍的多重信号分类改进算法[J]. 吉林大学学报(工学版), 2018, 48(3): 952-956.
[14] 孟广伟, 李荣佳, 王欣, 周立明, 顾帅. 压电双材料界面裂纹的强度因子分析[J]. 吉林大学学报(工学版), 2018, 48(2): 500-506.
[15] 林金花, 王延杰, 孙宏海. 改进的自适应特征细分方法及其对Catmull-Clark曲面的实时绘制[J]. 吉林大学学报(工学版), 2018, 48(2): 625-632.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 裘建新, 王晰巍, 范晓春. 协同产品设计中计算机辅助设计系统与产品数据管理系统的信息集成[J]. 吉林大学学报(工学版), 2005, 35(05): 505 -0510 .
[2] 岳建伟, 姜忻良 . 速成墙板的宏观计算模型[J]. 吉林大学学报(工学版), 2006, 36(05): 824 -0828 .
[3] 卢秀泉1,褚亚旭2,才委1,马文星1,宋建军1. 基于一维束流理论的液力减速器部分充液特性预测[J]. 吉林大学学报(工学版), 2011, 41(4): 988 -992 .
[4] 刘宗巍,王登峰,姜吉光,梁杰,王世刚 . 用主动噪声控制法改善车内声品质[J]. 吉林大学学报(工学版), 2008, 38(02): 258 -0262 .
[5] 张晓伟,刘三阳,迟晓妮 . 高效求解多峰值全局优化的区间-遗传算法
[J]. 吉林大学学报(工学版), 2008, 38(04): 876 -879 .
[6] 姚国凤,高雪飞. 重 频 结 构 可 控 性[J]. 吉林大学学报(工学版), 2008, 38(06): 1359 -1365 .
[7] 孟令启,杜勇,马生彪,郭斌 . 中厚板轧机垂直振动的非线性[J]. 吉林大学学报(工学版), 2009, 39(03): 712 -0715 .
[8] 郭孔辉,吴海东,卢荡 . 冰面上轮胎稳态侧偏刷子模型[J]. 吉林大学学报(工学版), 2007, 37(02): 253 -0258 .
[9] 刘峰,王鑫伟 . 直井中钻柱非线性屈曲的DQ法分析[J]. 吉林大学学报(工学版), 2007, 37(01): 234 -238 .
[10] 孔繁森,王军,孙海港 . 基于层次分析法的发动机缸体生产线设备可用性的模糊综合评价[J]. 吉林大学学报(工学版), 2008, 38(06): 1332 -1336 .