基于局部标准差与显著图的模糊图像质量评价方法
卢彦飞1,2,3, 张涛1, 郑健3, 李铭1,2,3, 章程1,2,3
1.中国科学院 长春光学精密机械与物理研究所,长春 130033
2.中国科学院大学,北京 100049
3.中国科学院 苏州生物医学工程技术研究所,江苏 苏州 215163
通讯作者:张涛(1964-),男,研究员,博士.研究方向:探测与成像.E-mail:zhangt@ciomp.ac.cn

作者简介:卢彦飞(1989-),男,博士研究生.研究方向:图像处理与图像质量评价.E-mail:bestluyf@126.com

摘要

为了有效地对模糊图像的质量进行评价,提出了基于局部标准差和显著图的无参考模糊图像质量评价方法。首先,针对待评价图像,利用高斯低通滤波器对其进行模糊化来构造参考图像。然后,利用图像的局部标准差和显著图两个特征在模糊化前后的变化情况,对原模糊图像的质量进行评价。最后分别在LIVE图像库和CSIQ图像库上对本文方法进行了验证,其中Pearson线性相关系数(PLCC)值分别达到了0.9315和0.9254,Spearman秩相关系数(SROCC)值分别达到了0.9258和0.8962。实验结果表明本文方法与当前公认性能优越的算法LPC-SI表现接近,且计算复杂度较低,耗时仅为其4.7%。

关键词: 信息处理技术; 模糊图像质量评价; 再模糊效应; 局部标准差; 显著图
中图分类号:TN911.73 文献标志码:A 文章编号:1671-5497(2016)04-1337-07
No-reference blurring image quality assessment based on local standard deviation and saliency map
LU Yan-fei1,2,3, ZHANG Tao1, ZHENG Jian3, LI Ming1,2,3, ZHANG Cheng1,2,3
1.Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China
2.University of Chinese Academy of Sciences, Beijing 100049, China
3.Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Sciences, Suzhou 215163, China
Abstract

In order to evaluate the quality of blur image effectively, a no-reference image quality assessment method based on local standard deviation and saliency map is proposed. First, the Gaussian low-pass filter is used to construct a reference image through blurring the given image. Then, two features, namely local standard deviation map and saliency map, are selected to evaluate the quality of the blur image according to the changes of the two features before and after the blurring process. The proposed method is tested on LIVE database and CSIQ database, on which the Pearson linear correlation coefficients are 0.9315 and 0.9254 respectively, and the Spearman rank correlation coefficients are 0.9258 and 0.8962 respectively. Experimental results indicate that the proposed method is close to the state-of-art method LPC-SI, however its computational complexity is much lower, only about 4.7% of that of LPC-SI.

Keyword: information processing; blur image quality metric; reblur effect; local standard deviation; saliency map
0 引 言

图像质量评价主要分为主观评价方法和客观评价方法[1]。由于主观评价方法成本太高、耗时过长、无法实时进行, 现在的研究重点主要集中在客观评价方法。客观评价方法根据参考图像是否存在可以分为三类:全参考评价方法[2]、部分参考评价方法[3]和无参考评价方法[4, 5]。全参考评价方法需要完整的参考图像; 部分参考评价方法只需要原图像的部分特征或信息, 不需要完整的参考图像; 而无参考评价方法在无法得到参考图像的情况下, 只根据失真图像的性质得到质量评价指标, 相关算法的设计较有挑战性。

无参考图像质量评价方法一般是针对某种特定失真类型来设计的。本文主要关注的是无参考模糊图像质量评价方法。成像系统设计的不合理、大气扰动、观测目标的运动、重采样及图像压缩等, 都会产生相应的模糊现象。模糊图像质量评价方法可以用在光学成像系统中, 根据图像的模糊程度来对成像系统的参数进行调节, 也可以评价图像去噪、增强或者复原算法的效果, 还可以用来对图像压缩算法带来的模糊效应进行估计。目前无参考模糊图像评价方法主要分为以下几类:①基于图像空间信息的评价方法, 比如全局方差法、自相关法、基于梯度或二阶微分的方法等[6]。此类方法利用了模糊图像空间信息的变化情况, 比较简单和直观; ②基于变换域的评价方法, 比如傅里叶变换法、基于DCT域的Kurtosis法[7]等。此类方法利用了模糊图像在变换域的性质, 物理意义比较清晰, 缺点是计算比较复杂; ③基于统计的评价方法, 比如直方图阈值、全局熵法等[8]。此种方法根据模糊图像和清晰图像在统计上的差异进行算法设计, 准确性不够高; ④基于边缘的方法, 如边缘宽度法[9], 恰可感知模糊法(Just noticeable blur measure, JNB)[10], 模糊检测累积概率法(Cumulative probability of blur detection, CPBD)[11]等。前三类方法主要是针对同一幅图像的不同模糊程度进行质量评价, 其主要应用于成像系统的自动调焦等领域, 使用范围受到限制。最后一类方法能够对不同图像的模糊程度进行评价, 可以得到较好的评价效果, 但是计算过程一般比较复杂。

本文针对图像的模糊程度评价问题, 提出了一种新的无参考模糊图像质量评价方法。该方法针对图像的再模糊效应进行了研究, 对待评价图像进行低通滤波, 得到一个模糊副本, 利用模糊后的图像与原图像之间局部标准差和显著图两个特征的变化情况, 设计模糊图像质量评价算法。最后用本文方法在LIVE图像库和CSIQ图像库上进行实验, 并与其他5种方法进行比较, 实验结果表明, 本文方法具有与当前公认性能优异的算法LPC-SI接近的评价性能, 且计算复杂度较低。

1 图像的再模糊效应

由于参考图像不存在, 为了衡量待评价图像的模糊程度, 本文采用了Crete等[12]提出的再模糊效应。该方法基于人眼的主观感受:对于人眼来说, 一幅模糊图像与再次模糊后的图像之间的差别相对于模糊图像与清晰图像之间的差别更难感知到。图1所示的就是这个现象, 在第一幅图像与第二幅图像之间由于细节的丢失, 两者的差别很容易感知到, 而第二幅图像与第三幅图像之间的差别看起来没有前两幅之间的明显。

图1 图像的再模糊效应示意图Fig.1 Illustration of image reblur effect

如果将一幅较清晰的图像模糊化, 对于某一像素点, 其邻域像素的灰度分布将会有较大的变化, 而如果将一幅已经模糊的图像再次进行模糊化, 同一位置邻域像素的灰度分布虽然仍会有变化, 但是这种变化的程度就显得比较轻微。这个现象在空域直观的解释为:模糊化是一个减小相邻像素间差异的过程, 再次模糊虽然也减小了相邻像素间的差异, 但是由于人眼存在掩盖效应, 这个差异变得更加难感知到; 在频域可以解释为:模糊化主要减少了原图像的高频成分, 再次模糊时, 由于高频分量已经很少, 其对图像的改变不大, 视觉上看起来变化程度较小。因此, 不同模糊程度的图像进行再次模糊之后其对应的视觉变化程度是不同的, 本文利用这个现象, 通过比较再次模糊前、后图像局部标准差和显著图的变化来度量图像的模糊程度。

2 图像局部标准差和显著图
2.1 图像的局部标准差

图像的局部方差可以较好地体现图像的细节结构信息。局部方差不仅可以表示像素与其邻域像素之间的关系, 还可以表示区域内像素灰度变化的剧烈程度。当图像模糊时, 像素之间的相关性变强, 像素灰度变化程度减缓, 局部方差随着变小。

计算图像的局部方差时, 局部区域的大小一般取 (2k+1)×(2k+1),k为正整数,窗口的中心为(m,n)。为了降低计算复杂度, 对于每一个像素点, 本文利用它的3× 3邻域来计算像素点处的局部方差, 计算公式为:

v(m, n)=19i=n-1n+1j=m-1m+1[x(i, j)-x-(m, n)]21

式中: v(m,n)为点(m,n)处的局部方差;x(i,j)为3×3邻域内像素的灰度值; x-(m,n)为3× 3邻域内所有像素的平均灰度值, 其计算公式为:

x-(m, n)=19i=n-1n+1j=m-1m+1x(i, j)(2)

由于方差的量纲与原图像中像素的量纲不一致, 为了使评价方法的物理意义更明确, 本文采用标准差来代替方差, 即点 (m, n)处的局部标准差为σ(m, n)=v(m, n)

2.2 图像的显著图

人眼具有视觉注意选择机制, 能够从大量视觉信息中选择特定的感兴趣区域。建立有效的计算模型来模拟人眼的视觉注意机制, 已经吸引了很多学者, 越来越多的视觉注意机制模型被提出。大部分视觉注意模型都是自底向上的视觉显著性计算模型。研究者发现, 视觉显著性与图像的感知质量相关。自底向上的视觉显著性图基于图像的低级特征, 反映了人眼的视觉特性, 当图像的模糊程度变化时, 其视觉显著性图也会发生相应的变化。

在计算图像的视觉显著性图时, 为了使最终的评价方法有效而且简单, 本文选择傅里叶变换相位谱法(Phase spectrum of Fourier transform, PFT)[13]来计算视觉显著图。PFT模型认为图像的相位谱是获得显著性区域的关键。首先对图像进行傅里叶变换, 得到相位谱, 然后将相位谱变换到空域, 即可得到图像的视觉显著性图。对于一幅图像 I(x, y), 其PFT显著图计算如下:

fu, v=FIx, y3pu, v=Pfu, v4VSx, y=gx, y* F-1ei·pu, v25

式中: F代表反傅里叶变换;F-1代表反傅里叶变换;p(·)可以得到相位谱; g(x,y)是高斯函数; * 代表卷积运算; VS(x, y)代表显著图。

图2给出了两幅图像及其对应的局部标准差图和显著图, 图2(b)中的原图比2(a)图模糊。可以看出, 较清晰图像的局部标准差图较好地保持了原图的主要结构, 而模糊图像的局部标准差图对原图主要结构的保持能力较差。另外, 模糊图像的显著图相对于清晰图像显著图有部分内容减少, 如方框处所示。

图2 不同清晰度图像的局部标准差图和显著图对比Fig.2 Comparison of local standard maps and saliency maps of different blurred image

2.3 无参考模糊图像质量评价方法

本文利用局部标准差图和显著图作为特征, 提出了一种无参考模糊图像评价方法。利用Crete[12]等提出的再模糊效应, 针对要评价的图像进行低通滤波, 得到一个模糊副本, 再通过衡量模糊副本与原图像之间局部标准差图及显著图的变化程度, 对原图像的模糊程度进行评价。

X进行低通滤波,得到再模糊图像Y,并将其作为参考图像,其中Y=LPF(X)。其中 实验表明, 基于高斯模型的低通滤波器可以取得较好的效果, 因此本文采用高斯滤波器来获取参考图像, 模板高度取4, 标准差取1.5。

对于待评价图像X和参考图像Y,首先计算对应的局部标准差图像, 记为std(X)和std(Y)。然后利用待评价图像和参考图像对应局部标准差图像之间的相似程度来衡量再模糊前、后图像的局部标准差变化, 如果相似程度越大, 说明前后变化越小; 如果相似程度越小, 则前后变化越大。局部标准差变化因子定义为:

Qstd=2std(X)·std(Y)+c1std(X)2+std(Y)2+c1=2std(X)·std(Y)+c1Var(X)+Var(Y)+c16

式中:Var(X)和Var(Y)分别为X和Y是对应的方差图像;c1是很小的正常数, 主要作用是为了避免分母为零或者接近零时出现不稳定的情况。

同样,计算待评价图像X和参考图像Y对应的显著图,记为VS(X)和VS(Y),利用待评价图像与参考图像对应显著图之间的相似程度来衡量图像再模糊前、后的显著图变化, 则显著图变化因子为:

Qvs=2VS(X)·VS(Y)+c2VS2(X)+VS2(Y)+c27

式中: c2是很小的正常数, 作用与c1类似。

由于局部标准差可以描述图像的细节结构信息, 而显著图反映了人眼的视觉特性, 两者能够相互补充, 本文将再模糊前、后图像的局部标准差变化因子与显著图变化因子结合起来得到待评价图像的模糊程度图:

Qblurmap=(Qstd)α·Qvs8

式中: α为调节因子, 来调整两个特征变化因子的重要程度。

在计算最终的评价指标Qblur时, 由于待评价图像中每个像素点的局部方差不同, 局部方差大的像素点经过再模糊后, 相对于局部方差小的像素点, 其邻域变化更大, 对于最终的评价指标Qblur贡献也更大, 则图像模糊程度评价因子为:

Qblur=ΩQblurmap·std(X)Ωstd(X)9

式中: Ω表示图像的像素空间。

根据上面的分析可知, 评价指标Qblur越大, 待评价图像的模糊程度越大, Qblur越小, 待评价图像的模糊程度越小。

3 实验结果及分析

为了对本文方法的性能进行验证, 分别利用美国Texas大学的LIVE(Laboratory for image and video engineering)[14]图像数据库以及Oklahoma州立大学的CSIQ(Categorical subjective image quality)[15]图像数据库进行实验。LIVE图像库共包含145幅模糊图像, 并给出了每幅图像的差异平均主观评分(DMOS)值。CSIQ图像库共包含150幅模糊图像, 同样给出了图像的DMOS值。DMOS值由大量观测者对图像进行打分, 然后经过处理得到。DMOS值越小说明图像的主观质量越好。对于模糊图像来说, DMOS值越小则模糊程度越小; 越大说明模糊程度越大。经过多次实验, 主要参数取α =0.1时, 本文方法的性能较好。在其他图像库上进行实验时, 为了说明本文方法的性能, 参数保持不变。

3.1 算法的有效性

首先验证本文算法的有效性。本文从LIVE图像数据库中选取一组模糊图像进行实验。实验图像如图3所示, 6幅图像均是从LIVE图像库中任意选取得到。表1中列出了6幅图像的DMOS值, 并给出了本文方法对6幅图像质量的排序, 可以看出, 本文方法对图像模糊程度的排序与DMOS值的相对大小是一致的, 说明本文方法的评价结果与人眼的主观感受相符, 可以用来对模糊图像的质量进行评价。

图3 不同的模糊图像Fig.3 Different Blurred images

表1 图3中6幅图像的评价结果 Table 1 Evaluation of 6 images in Fig.3
3.2 在LIVE图像库上的评价结果

根据VQEG[16](Video quality evaluation group)提出的建议, 通常认为在客观评价值与主观评价值之间存在一定的非线性关系, 为了客观反映本文方法的性能, 采用下面的函数[2]建立这种非线性映射:

f(x)=β1(12-11+eβ2(x-β3))+β4x+β510

式中: x表示客观评价值,β1 、β2 、β3 、β4 和β5 为模型参数。对于不同的评价方法, 通常用以下4个指标来比较方法之间的优劣[2]:Spearman秩相关系数(Spearman rank-order correlation coefficient, SROCC)和Kendall秩相关系数(Kendall rank-order correlation coefficient, KROCC), 反映图像质量评价算法预测的单调性, 数值越大表明模型的预测能力越好; Pearson线性相关系数(Pearson linear correlation coefficient, PLCC), 客观评价与主观评价值之间的相关系数, 可以反映评价算法预测的准确性, 数值越大表明模型的预测能力越好; 均方根误差(Root mean-squared-error, RMSE), 反映客观评价与主观评价的一致性, 数值越小则表明模型的预测能力越好。

首先利用LIVE图像库进行实验, 对LIVE图像库中所有145幅模糊图像进行评价, 并与其他5种无参考模糊图像质量评价方法的结果进行比较。本文提出的评价指标Qblur非线性映射后的客观评价值与主观DMOS的拟合情况如图4(f)所示, 图4(a)~4(e)给出了所对比方法的拟合情况。

图4 6种方法非线性映射后的客观评价值和主观DMOS拟合图Fig.4 Curve fitting between DMOS and predicted scores of six methods after nonlinear mapping

图4中的Reblur[12]方法也利用了图像的再模糊效应; JNBM[10]利用了恰可感知模糊的概念; CPBD[11]是JNBM方法的扩展, 利用了模糊检测累积概率的概念; GPC-SI[17]利用了全局相位一致性; LPC-SI[18]则利用了局部相位一致性。其中CPBD和LPC-SI是公认的两种性能优异的无参考模糊图像质量评价方法, 但是计算模型均比较复杂。从图4可以看出, 本文方法的客观评价值紧凑地分布在拟合曲线的附近, 说明本文方法在LIVE库上有很好的单调性以及一致性。

本文方法在LIVE图像库上与5种无参考模糊图像评价方法的对比结果如表2所示。表中每种评价方法的SROCC、KROCC与PLCC最大的两个值及RMSE最小的两个值均用粗体标出。

表2 不同评价方法在LIVE图像库上的性能对比 Table 2 Performance comparison of different evaluation methods on LIVE

可以看到, 本文方法具有最小的RMSE, 说明本文方法的预测一致性最好; 本文方法的PLCC值与LPC-SI的基本相同, 说明本文方法有非常好的预测准确性; 而本文方法的SROCC值及KROCC值与LPC-SI的非常接近, 说明本文方法有很好的预测单调性。总的来说, 本文在LIVE图像库上具有很好的预测性能。

3.3 在CSIQ图像库上的评价结果

为了进一步说明本文方法的有效性和通用性, 下面利用CSIQ图像库进行实验, 对CSIQ图像库中所有150幅模糊图像进行评价, 同样与其他5种评价方法的结果进行比较。本文方法非线性映射后的客观评价值与主观DMOS的拟合情况如图5(f)所示, 图5(a)~5(e)给出了所对比方法的拟合情况。从图5可以看出, 本文方法在CSIQ图像库上的客观评价值也很紧凑地分布在拟合曲线的附近, 说明本文方法在CSIQ库上同样有很好的准确性、单调性以及一致性。

图5 6种方法非线性映射后的客观评价值与主观DMOS拟合图Fig.5 Curve fitting between DMOS and predicted scores (after nonlinear mapping) of six methods

本文方法在CSIQ图像库上与5种无参考模糊图像评价方法的对比结果如表3所示。表中每种评价方法的SROCC、KROCC与PLCC最大的两个值及RMSE最小的两个值均用粗体标出。可以看到, 本文方法的PLCC值及RMSE值与LPC-SI的基本相同, 说明本文方法的预测准确性和一致性非常好; 本文方法的SROCC值略小于LPC-SI, 而KROCC值略大于LPC-SI, 总体表现与LPC-SI接近, 说明本文方法的预测单调性很好。总的来说, 本文在CSIQ图像库上具有较好的预测性能。

表3 不同评价方法在CSIQ图像库上的性能对比 Table 3 Performance comparison of different evaluation methods on CSIQ
3.4 算法的计算复杂度

为了进一步对本文方法的特点进行说明, 表4中列出了不同评价方法运行时间的对比结果。每一种评价方法均对同一幅大小为512× 512像素的图像进行10次评价, 10次所耗费的时间求平均值得到表4中的运行时间, 单位为s。可以看到, 本文方法具有较低的计算复杂度, 在得到与LPC-SI接近的评价性能的同时, 运行时间仅为其4.7%。

表4 不同评价方法运行时间对比 Table 4 Running time comparison of different evaluation methods
4 结束语

本文对图像的再模糊效应进行了研究, 利用两种简单的特征, 提出了基于局部标准差和显著图的无参考模糊图像质量评价方法。首先, 针对待评价图像, 利用高斯低通滤波器构造再模糊图像作为参考图像; 然后, 利用局部标准差和显著图两个特征在低通滤波前、后的变化情况, 对待评价模糊图像的质量进行评价。最后利用LIVE图像库和CSIQ图像库对本文方法进行了验证。实验结果表明, 本文方法在两个图像库上的PLCC值分别达到了0.9315和0.9254, SROCC值分别达到了0.9258和0.8962, 与LPC-SI接近, 运行时间仅为LPC-SI的4.7%。可以看出, 本文方法具有很好的评价性能, 且计算复杂度较低。

The authors have declared that no competing interests exist.

参考文献
[1] 金伟其, 贾晓婷, 高绍姝, . 彩色融合图像的质量主观评价[J]. 光学精密工程, 2015, 23(12): 3465-3471.
Jin Wei-qi, Jia Xiao-ting, Gao Shao-shu, et al. Subjective evaluation of quality for color fusion images[J]. Optics and Precision Engineering, 2015, 23(12): 3465-3471. [本文引用:1]
[2] Sheikh H R, Sabir M F, Bovik A C. A statistical evaluation of recent full reference image quality assessment algorithms[J]. IEEE Transactions on Image Processing, 2006, 15(11): 3443-3452. [本文引用:3]
[3] 王宇庆. 基于局部方差和互信息的融合图像质量评价[J]. 光学精密工程, 2015, 23(10z): 515-521.
Wang Yu-qing. Fusion image assessment based on local variance and singular value decomposition[J]. Optics and Precision Engineering, 2015, 23(10z): 515-521. [本文引用:1]
[4] 刘建磊. 结合局部特征的无参考彩色图像质量评价[J]. 光学精密工程, 2016, 24(5): 1176-1184.
Liu Jian-lei. No-reference color image quality assessment based on local features[J]. Optics and Precision Engineering, 2016, 24(5): 1176-1184. [本文引用:1]
[5] 许鑫, 刘衍珩, 王爱民, . 无参考视频传输质量评价模型[J]. 吉林大学学报: 工学版, 2012, 42(4): 952-957.
Xu Xin, Liu Yan-heng, Wang Ai-min, et al. Null-reference video transport quality evaluation model[J]. Journal of Jilin University(Engineering and Technology Edition), 2012, 42(4): 952-957. [本文引用:1]
[6] Erasmus S J, Smith K C A. An automatic focusing and astigmatism correction system for the SEM and CTEM[J]. Journal of Microscopy, 1982, 127(2): 185-199. [本文引用:1]
[7] Caviedes J, Oberti F. A new sharpness metric based on local Kurtosis, edge and energy information[J]. Signal Processing: Image Communication, 2004, 19(2): 147-161. [本文引用:1]
[8] Firestone L, Cook K, Culp K, et al. Comparison of autofocus methods for automated microscopy[J]. Cytometry, 1991, 12(3): 195-206. [本文引用:1]
[9] Marziliano P, Dufaux F, Winkler S, et al. Perceptual blur and ringing metrics: applications to JPEG2000[J]. Signal Processing: Image Communication, 2004, 19(2): 163-172. [本文引用:1]
[10] Ferzli R, Karam L J. A no-reference objective image sharpness metric based on the notion of just noticeable blur(JNB)[J]. IEEE Transactions on Image Processing, 2009, 18(4): 717-728. [本文引用:2]
[11] Narvekar N D, Karam L J. A no-reference image blur metric based on the cumulative probability of blur detection(CPBD)[J]. IEEE Transactions on Image Processing, 2011, 20(9): 2678-2683. [本文引用:2]
[12] Crete F, Dolmiere T, Ladert P, et al. The blur effect: perception and estimation with a new no-reference perceptual blur metric[C]∥Proceeding of SPIE Conference on Human Vision and Electronic Imaging XII, Bellingham, 2007. [本文引用:3]
[13] Guo C, Ma Q, Zhang L. Spatio-temporal saliency detection using phase spectrum of quaternion Fourier transform[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2008: 1-8. [本文引用:1]
[14] Sheikh H R, Wang Z, Cormack L, et al. LIVE image quality assessment database[DB/OL]. [2012-06-23]. http:∥live.ece.utexas.edu/research/quality. [本文引用:1]
[15] Larson C, Chand ler D M. Categorical Image Quality (CSIQ) Database[DB/OL]. [2009-09-12]. http:∥vision.okstate.edu/csiq. [本文引用:1]
[16] Video Quality Experts Group. Validation of objective models of video quality assessment, phase II VQEG[R/OL]. [2003-08-12]. http:∥www.vqeg.org [本文引用:1]
[17] Blanchet G, Moisan L. An explicit sharpness index related to global phase coherence[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2012: 1065-1068. [本文引用:1]
[18] Hassen R, Wang Z, Salama M. Image sharpness assessment based on local phase coherence[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2798-2810. [本文引用:1]