基于深度卷积神经网络的信息流增强图像压缩方法

doi:10.13229/j.cnki.jdxbgxb20190793

吉林大学学报(工学版) ›› 2020, Vol. 50 ›› Issue (5): 1788-1795.doi: 10.13229/j.cnki.jdxbgxb20190793

• 计算机科学与技术 • 上一篇

基于深度卷积神经网络的信息流增强图像压缩方法

李志军(),杨楚皙,刘丹,孙大洋()

吉林大学通信工程学院，长春 130012

收稿日期:2019-08-08 出版日期:2020-09-01 发布日期:2020-09-16
通讯作者: 孙大洋 E-mail:zhijun@jlu.edu.cn;dysun@jlu.edu.cn
作者简介:李志军（1971-），男，高级工程师，硕士.研究方向：无线通信与图像编码.E-mail:zhijun@jlu.edu.cn
基金资助:
国家自然科学基金面上项目(61671219)

Deep convolutional networks based image compression with enhancement of information flow

Zhi-jun LI(),Chu-xi YANG,Dan LIU,Da-yang SUN()

College of Communication Engineering, Jilin University, Changchun 130012, China

Received:2019-08-08 Online:2020-09-01 Published:2020-09-16
Contact: Da-yang SUN E-mail:zhijun@jlu.edu.cn;dysun@jlu.edu.cn

摘要/Abstract

摘要：

在图像压缩过程中，信息利用率对图像压缩的效率起决定性作用。为了更好地提高信息的利用率，提出了一种端到端的基于深度卷积神经网络的信息流增强图像压缩方法。在编解码网络中，采用特殊的网络结构，增加了卷积层之间的前向与后向连接，与传统的前向神经网络相比，信息流的双向流动和视觉特征的循环反馈可有效实现信息流的增强，从而提高图像的压缩效率。实验表明：在相同码率下，本文算法复原图像的MS-SSIM分别比JPEG、JPEG2000和HEVC高0.08、0.027和0.012。将基于深度神经网络的信息流增强结构用于图像压缩，可有效提高压缩效率。

关键词: 图像压缩, 自动编码器, 卷积神经网络, 信息流增强

Abstract:

In the image compression process, the compression efficiency is largely affected by the information utilization. In order to improve the utilization of information, in this paper, we propose an end-to-end image compression method with information enhancement based on deep convolutional networks. In the encoding and decoding networks, a special network structure is adopted, which can both increase the forward and backward connections between the convolutional layers. As a result, the bidirectional information flow and the cyclic feedback of visual features are realized, which can effectively reduce the number of bits required for image compression. Experimental results show that, at the same compression ratio, the multiscale structural similarity index (MS-SSIM) of the reconstructed image of the proposed method can gain 0.08, 0.027 and 0.012 higher than JPEG, JPEG2000 and HEVC, respectively. The information enhancement structure based on deep convolutional network can effectively improve the coding efficiency when it is used for image compression.

Key words: image compression, auto encoder, convolution networks, information enhancement

中图分类号:

TN919.81

李志军,杨楚皙,刘丹,孙大洋. 基于深度卷积神经网络的信息流增强图像压缩方法[J]. 吉林大学学报(工学版), 2020, 50(5): 1788-1795.

Zhi-jun LI,Chu-xi YANG,Dan LIU,Da-yang SUN. Deep convolutional networks based image compression with enhancement of information flow[J]. Journal of Jilin University(Engineering and Technology Edition), 2020, 50(5): 1788-1795.

图/表 6

图1

表1

信息增强模块的特征获取过程"

总输入	第一阶段			第二阶段			总输出
总输入	输入特征	权重系数	输出	输入特征	权重系数	输出	总输出
$X 0$	$X 0$	$w 01$	$X 1 (1)$	$X 2 (1), X 3 (1), X 4 (1)$	$w 21, w 31, w 41$	$X 1 (2)$	$X 0, X 1 (2), X 2 (2), X 3 (2), X 4 (2)$
	$X 0, X 1 (1)$	$w 02, w 12$	$X 2 (1)$	$X 3 (1), X 4 (1), X 1 (2)$	$w 32, w 42, w 12$	$X 2 (2)$
	$X 0, X 1 (1), X 2 (1)$	$w 03, w 13, w 23$	$X 3 (1)$	$X 4 (1), X 1 (2), X 2 (2)$	$w 43, w 13, w 23$	$X 3 (2)$
	$X 0, X 1 (1), X 2 (1), X 3 (1)$	$w 04, w 14, w 24, w 34$	$X 4 (1)$	$X 1 (2), X 2 (2), X 3 (2)$	$w 14, w 24, w 34$	$X 4 (2)$

表1

图2

图3

图4

图5

参考文献 15

1	刘丽丽, 陈贺新, 桑爱军, 等. 基于多维矢量矩阵正交变换理论的彩色图像压缩编码[J]. 吉林大学学报: 工学版,2011, 41(6): 1754-1759.
	Liu Li-li, Chen He-xin, Sang Ai-jun, et al. Color image coding based on multidimensional vector matrix discrete cosine transform theory[J]. Journal of Jilin University(Engineering and Technology Edition), 2011, 41(6): 1754-1759.
2	桑爱军, 杨树媛, 赵欣. 基于多维矢量矩阵离散余弦变换的熵编码[J]. 吉林大学学报: 工学版, 2011, 41(): 319-324.
	Sang Ai-jun, Yang Shu-yuan, Zhao Xin. Entropy code based on multidimensional vector matrix DCT[J]. Journal of Jilin University(Engineering and Technology Edition), 2011, 41(Sup.1): 319-324.
3	赵岩, 李丽, 王世刚. 结合成像几何特征的立体元图像阵列编码[J]. 光学精密工程, 2018, 26(12): 3060-3066.
	Zhao Yan, Li Li, Wang Shi-gang. Elemental image array coding combining imaging geometry features[J]. Optics and Precision Engineering, 2018, 26(12): 3060-3066.
4	Wallace G K. The JPEG still picture compression standard[J]. IEEE Transactions on Consumer Electronics, 1992, 38(11): 1-17.
5	Skodras A, Christopoulos C, Ebrahimi T. The JPEG 2000 still image compression standard[J]. IEEE Signal Processing Magazine, 2001, 18(5): 36-58.
6	Sullivan G, Ohm J, Han W, et al. Overview of the high efficiency video coding(HEVC) standard[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(12): 1649-1668.
7	He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), Las Vegas, USA, 2016: 770-778.
8	Huang G, Liu Z, Maaten L V D, et al. Densely connected convolutional networks[C]∥IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, USA, 2017: 2261-2269.
9	Yang Y, Zhong Z, Shen T, et al. Convolutional neural networks with alternately updated clique[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake, 2018: 2413-2422.
10	Li M, Zuo W, Gu S, et al. Learning convolutional networks for content-weighted image compression[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake, 2018: 3214-3223.
11	Mentzer F, Agustsson E, Tschannen M, et al. Conditional probability models for deep image compression[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake, 2018: 4394-4402.
12	Deng J, Dong W, Socher R, et al. ImageNet: a large-scale hierarchical image database[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Miami, USA, 2009: 248-255.
13	Photo CD dataset Kodak [EB/OL]. (1999-11-15). [2013-01-27].
14	Wang Z, Simoncelli E P, Bovik A C. Multiscale structural similarity for image quality assessment[C]∥Proceedings of the 37th Asilomar Conference on Signals, Systems and Computers, Pacific Grove, USA, 2003: 1398-1402.
15	Theis L, Shi W, Cunningham A, et al. Lossy image compression with compressive autoencoders[C]∥ICLR2017, Toulon, 2017: 1-19.

相关文章 15

[1]	王柯俨,王迪,赵熹,陈静怡,李云松. 基于卷积神经网络的联合估计图像去雾算法[J]. 吉林大学学报(工学版), 2020, 50(5): 1771-1777.
[2]	谌华,郭伟,闫敬文,卓文浩,吴良斌. 基于深度学习的SAR图像道路识别新方法[J]. 吉林大学学报(工学版), 2020, 50(5): 1778-1787.
[3]	车翔玖,董有政. 基于多尺度信息融合的图像识别改进算法[J]. 吉林大学学报(工学版), 2020, 50(5): 1747-1754.
[4]	张根保,李浩,冉琰,李裘进. 一种用于轴承故障诊断的迁移学习模型[J]. 吉林大学学报(工学版), 2020, 50(5): 1617-1626.
[5]	马子骥,卢浩,董艳茹. 双通道单图像超分辨率卷积神经网络[J]. 吉林大学学报(工学版), 2019, 49(6): 2089-2097.
[6]	周柚,杨森,李大琳,吴春国,王岩,王康平. 基于现场可编程门电路的人脸检测识别加速平台[J]. 吉林大学学报(工学版), 2019, 49(6): 2051-2057.
[7]	赵宏伟,王鹏,范丽丽,胡黄水,刘萍萍. 相似性保持实例检索方法[J]. 吉林大学学报(工学版), 2019, 49(6): 2045-2050.
[8]	车翔玖,刘华罗,邵庆彬. 基于Fast RCNN改进的布匹瑕疵识别算法[J]. 吉林大学学报(工学版), 2019, 49(6): 2038-2044.
[9]	郭继昌,吴洁,郭春乐,朱明辉. 基于残差连接卷积神经网络的图像超分辨率重构[J]. 吉林大学学报(工学版), 2019, 49(5): 1726-1734.
[10]	徐岩,孙美双. 基于卷积神经网络的水下图像增强方法[J]. 吉林大学学报(工学版), 2018, 48(6): 1895-1903.
[11]	王方石, 王坚, 李兵, 王博. 基于深度属性学习的交通标志检测[J]. 吉林大学学报(工学版), 2018, 48(1): 319-329.
[12]	马淼, 李贻斌. 基于多级图像序列和卷积神经网络的人体行为识别[J]. 吉林大学学报(工学版), 2017, 47(4): 1244-1252.
[13]	李琳辉, 伦智梅, 连静, 袁鲁山, 周雅夫, 麻笑艺. 基于卷积神经网络的道路车辆检测方法[J]. 吉林大学学报(工学版), 2017, 47(2): 384-391.
[14]	陈绵书, 王园园, 桑爱军, 陈贺新. 基于多维矢量矩阵理论的KL变换[J]. 吉林大学学报(工学版), 2016, 46(2): 627-631.
[15]	侯阿临, 廖庆, 靳志娟, 陈娟, 耿莹. 计算全息图的人工神经网络压缩算法[J]. 吉林大学学报(工学版), 2013, 43(增刊1): 21-24.

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed

基于深度卷积神经网络的信息流增强图像压缩方法

Deep convolutional networks based image compression with enhancement of information flow

RICH HTML

PDF (PC)

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 15

相关文章 15

Metrics

本文评价

推荐阅读 0