21世纪随着互联网以及多媒体技术的快速发展, 人类对3D视频的关注度已高达72.5%^[1], 3D视频已成为人类视觉需求和高科技迅速发展的产物。3D立体视频在采集、处理以及传输过程中都可能会引起失真, 为此视频压缩程度所允许的失真程度需要人眼来感知, 也就是需要对其进行质量评价, 以及作为对信道、编解码器性能评估和优化的判断依据等。视频质量评价对3D产业的推广起着推动作用。

传统的视频图像质量评价方法一般可以分为两大类:主观评价和客观评价。目前国际上广泛使用的主观质量评价标准有双重刺激损伤标度(Double stimulus impairment scale, DSIS)和双重刺激连续质量标度(Double stimulus continuous quality scale, DSCQS)。主观评价方法需要大量的人力、物力、财力, 且评价结果容易受到测试者的主观因素和外界环境的影响, 评价过程的复杂性严重影响方法的准确性和通用性, 将其嵌入到实际视频处理系统中有一定的困难。因此研究人员提出了许多客观质量评价方法。均方根误差和峰值信噪比是目前发展比较成熟的全参考视频客观质量评价方法; Wang等^[2]提出基于结构相似度(Structural similarity, SSIM)方法, 性能优于PSNR, 但在评价严重模糊和压缩图像时主客观评价并不完全一致^[3]; 基于梯度的结构相似度(Gradient based structural similarity, GSSIM)方法^[4], 适合图像质量评价, 结合运动信息才可评价视频质量; 基于运动信息和结构信息视频质量客观评价(Motion information and structural similarity, MESSIM)方法^[5], 未考虑局部失真时边缘结构信息, 对压缩视频主客观评价相差较大; 基于失真度估计的无参考视频质量评价方法^[6]可以达到很好的精确度, 但计算复杂度较高; 基于结构相似的DCT域图像质量评价方法^[7]较SSIM和PSNR更符合人眼的视觉特性, 但DCT变换系数量化粗糙会造成视频图像在块边界出现视觉上的不连续; 基于编码前后视差图的峰值信噪比(Disparity peak signal to noise ratio, DPSNR)方法以及基于深度的视频质量评价方法考虑了第三维深度信息, 同时也存在应用范围上的局限性。

PSNR评价方法是应用最广的传统图像质量评价方法, 但在立体重构图像评价时, 其与人眼视觉感知还存在差距。因此, 本文提出了一种符合人眼视觉感知特性的改进PSNR立体图像质量评价方法, 并进行了实验验证, 进一步拓宽了PSNR方法的应用范围。

为了验证本文方法的有效性, 采用文献[12]提供的立体视频图像Tsukuba、Corridor、Venus、Parkmeter的右视图(见图2~图5)作为测试图像进行实验。基于时域相关性的BP恢复算法得到的重构图像, 在对象边界部分出现的少量误差, 引起了对象边界发生整体偏移, 而对象内部的误差很小。由于边界上的偏差只有一到两个像素的平移, 不会影响到整幅图像立体感知质量, 图像的观看质量整体比较高, 属于可以被接受的范围。即从主观效果图可以看出四幅重构图像都具有良好的主观观看效果, 但计算出来的PSNR值却较低, 不能很好地反映人眼视觉感知, 对此采取本文方法进行改进。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 Tsukuba主观效果图Fig.2 Subjective effects of Tsukuba

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 Corridor主观效果图Fig.3 Subjective effects of Corridor

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 Venus主观效果图Fig.4 Subjective effects of Venus

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 Parkmeter主观效果图Fig.5 Subjective effects of Parkmeter

基于加权均值滤波得到的窗函数最优权值如下: 由于水平视差只有一至两个像素的平移, 因此采取 的一维窗进行实验。针对有位置偏移的像素, 当 窗函数中已无法搜索到匹配的像素值时, 进行 窗口大小的简单加权均值处理, 窗口内的相应权值。

根据大量的实验统计数据, 得到加权均值滤波器的最优权值组合, 针对不同图像, 权值设定会略有差别, 但本实验采取相同的窗函数权值组合进行实验。实验结果使PSNR值最大的可能性得到了改进, 可以更好地反映主观视觉感知效果。

基于隶属度函数方法, 对不同图像进行隶属度函数 值确定的实验。表1为Corridor原始图像与重构图像采用1× 5窗函数时, 不同 值及其改进PSNR值。

由表1可知, 值选取3000时效果最佳, 改变 值从1000到9000, PSNR值只改变了0.2877 dB, 比较小, 故 值对实验影响并不是很大。针对个别像素点有噪声和冲击响应影响时, 隶属度函数会有较好的恢复效果。根据大量实验数据统计, 不同图像尺度函数 值基本相同, 均在3000左右, 故取3000作为隶属度函数中的 值。

利用本文方法对Tsukuba、Venus、Corridor、Parkmeter原始图像与重构图像进行实验, 实验选择最佳均值滤波器权值组合, 最佳一维窗函数1× 5, 最优 值3000。得到改进PSNR值, 结果如表2所示。

表1

Table 1

表1(Table 1)

表1 改变隶属度函数中的值结果 Table 1 Results when changing β value of membership function PSNR改进值/dB PSNR改进值/dB 1000 34.2481 6000 34.2774 2000 34.3717 7000 34.2209 3000 34.4086 8000 34.1641 4000 34.3862 9000 34.1209 5000 34.3373

表1 改变隶属度函数中的值结果 Table 1 Results when changing β value of membership function

由表2可知, 四组立体图像改进的客观PSNR值都可以很好地反映人眼主观视觉感知图像质量较好的事实, 使得改进PSNR值与人眼视觉感知相符, 解决了用PSNR方法评价立体重构图像时PSNR值与人眼视觉感知不一致的问题。

表2

Table 2

表2(Table 2)

表2 PSNR值对比结果 Table 2 Comparison results of PSNR 测试图像 图像大小 原始PSNR/dB 改进PSNR/dB Tsukuba 384× 288 24.9932 30.3537 Venus 434× 383 27.1932 32.2284 Corridor 256× 256 26.0813 34.4086 Parkmeter 256× 240 29.6711 35.4601

表2 PSNR值对比结果 Table 2 Comparison results of PSNR

随着图像质量评价技术在图像通信、多媒体技术、信息安全技术等领域越来越多的应用, 图像质量评价的研究越来越受到人们的重视。针对常用评价指标PSNR有时并不能很好地反映立体重构图像的人眼视觉感知特性问题, 本文采用加权均值滤波、隶属度函数和滑动窗三者融合的方法较好地解决了这一问题。改进的PSNR方法较原始方法更加符合人眼视觉特征, 从而能更精准、更方便地进行立体重构图像质量评价, 使其具有更广泛的应用价值。针对本文估计公式中一些参数的确定, 权值优化以及提高方法通用性等方面的问题, 将在进一步的实验研究中加以探索和改进。