对视频进行显著性分析前,首先对输入视频进行预处理。将输入视频分解为视频场景序列,每一个场景由一个关键帧表示,关键帧由文献^{[ 6]}中的算法提取得到。

视频空域显著性是指根据视频场景灰度图像计算出的显著性,它的输入为视频场景灰度图像。空域显著性计算模型首先对输入的视频场景灰度图像进行频域分析,提取空域显著图,然后利用Renyi熵量化空域显著图得到显著性值。

假定第 t张视频场景图像为 F( t),t∈{1,2,…, N}, N为视频场景的总数。 F( t)的灰度区间为[ a₁, a₂],则通过下式进行灰度调整,得到视频场景灰度图像 F _g( t)的灰度值:

(1)

式中: a和 分别为灰度调整前后像素的灰度值。

通过对 F _g( t)进行频域分析,可得到 F( t)的空域显著图,具体过程如下:

(1)对 F _g( t)进行二维傅立叶变换,得到视频场景图像的幅度谱和相位谱信息:

A_g(t)=amplitude(F[F_g(t)]) (2)

P_g(t)=angle(F[F_g(t)]) (3)

(2)将幅度谱 A _g( t)划分为多个子频带,对每一子频带的幅度谱和全局的相位谱进行傅立叶反变换,得到该子频带的显著图:

(4)

在上述公式中: F和 F^-1分别表示二维傅里叶变换和逆变换; A_gi(t)表示幅度谱中第 i个子频带; S_gi(t)表示该频带显著图;C_i是该子频带显著图的归一化因子,用以保证 S_gi(t)的值在[0,1]范围。

(3)由下式计算整个视频场景的空域显著图:

(5)

式中: M²是均匀划分子带的个数;w_i是第 i个子频带显著图的权重。在本文中将权重设为统一值(单位值1); S_g(t)为计算得到的视频场景 F( t)的空域显著图。

得到空域显著图 S_g(t)后,按照1.4节所述的Renyi熵量化过程得到场景 F( t)的时域显著性数值 。

不同的频带个数 M²对结果有较大影响,本文分别测试 M为10、20、30、40和50的情况,显著图结果如图2所示。实验结果显示,不同的分辨率数目产生了不同的显著图:一定范围内,子带数目越小,视频显著图的显著性区域轮廓越好,计算量也越小。通过实验,选用 M=10。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 不同的 M值对应的显著图结果Fig.2 Saliency maps with different M

视频时域显著性的计算过程与空域显著性计算过程相似。首先对输入的视频场景序列进行频域分析,提取时域显著图,然后利用Renyi熵量化显著图的显著性值。两者不同的是,时域显著性计算的输入是视频场景的运动信息特征图序列。计算视频场景运动信息特征图的方法有很多,本文采用文献^{[ 5]}的方法计算视频场景运动信息特征图。具体地:假定第 t张视频场景图像为F(t),r(t)、g(t)、b(t)分别是F(t)的RGB三个颜色通道,利用下式计算视频场景F(t)的运动信息特征图F_m(t):

F_m(t)=| I(t)- I(t-τ)| (6)

式中:I(t)=(r(t)+g(t)+b(t));τ是系数,通常设定为τ=3;F_m(t)表示第 t个视频场景的运动信息特征图。

通过对 F _m (t)进行频域分析,可得到F(t)的时域显著图,具体过程如下:

(1)对 F _m( t)进行傅立叶变换,得到运动信息特征图的幅度谱和相位谱信息:

A_m(t)=amplitude(F[F_m(t)]) (7)

P_m(t)=angle(F[F_m(t)]) (8)

(2)将幅度谱A_m(t)划分为多个子频带,对每一子频带的幅度谱和全局的相位谱进行傅立叶反变换,得到该子频带的显著图:

(9)

在上述公式中:A_mi(t)表示幅度谱中第 i个子频带;S_mi(t)表示该频带显著图;C_i是该子频带显著图的归一化因子,用以保证S_mi(t)的值在[0,1]内。

(3)整个视频场景的时域显著图计算式为

(10)

式中:M²是划分子频带的个数,M=10;w_i是第 i个子频带显著图的权重;在本文中将权重设为统一值(单位值1);S_m(t)为计算得到的视频场景F(t)的时域显著图。

得到时域显著图S_m(t)后,按照1.4节所述的Renyi熵量化过程得到场景F(t)时域显著性数值 。

得到一个视频场景的显著图后,还需估计一个视频场景整体的显著值。之前的研究工作^{[ 7, 8]}主要是通过线性组合显著图中的每个点的灰度值来得到整个视频场景的显著值,效果不是很理想。对于一幅图像,显著物体越分散,需要投放在这张图像上的注意力越多,这张图像越显著。因此,假设一幅图像显著点越分散,整幅图片的显著值越高。Renyi熵主要计算空间分布的离散程度,空间分布越分散,则对应的熵越大。因此,本文提出利用Renyi熵度量显著图中显著点的空间分布,将熵值作为整个视频场景显著值。受文献^{[ 9]}的启发,用高斯分布来近似计算特征图中的像素分布。显著图中所有的位置都用等权值的高斯分布来计算:

(11)

Renyi熵可以用下式计算得到:

(12)

在混合高斯模型中,Renyi熵可以表示为

(13)

更进一步,可以由下式近似:

(14)

式中:y_i表示显著图中的显著点 i的坐标;y_i表示显著图中的显著点 i的八邻域内任一其他显著点的坐标; L表示显著图中显著点的总数;G(y_i-y_j,Σ_i+Σ_j)表示图像中显著点 i到显著点 j的混合高斯分布; 为显著图的Renyi熵值。

根据Renyi熵的定义,场景F(t)的空域显著性值 和时域显著性值 分别为

(15)

(16)

图3(a)(b)为两幅原始输入图像,图3(c)(d)为根据红绿对比特征得到的显著图。根据Renyi熵的计算原理,图3(a)的Renyi熵值 ,图3(b)的Renyi熵值 。可以看出图3(a)的显著点比图3(b)更分散,这一点也验证了本文的假设:Renyi熵越大,显著性物体在该视频场景中越分散,该场景的显著性也越大。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 不同图像的Renyi熵比较Fig.3 Comparison of Renyi entropy in different images

视频的空域显著性与时域显著性需要很好地融合,从而获得视频整体的显著性结果。文献^{[ 10]}中提出了基于拟合生物特征的融合方法,文献^{[ 8]}提出了部分线性和非线性融合的方法。根据特征融合理论和运算效率,本文采用下式所示的线性融合方法:

(17)

式中:S(t)是场景F(t)整体显著性值; α是空域显著值所占权重。根据实验结果, α=0.7效果最好,本文取 α=0.7。

分别用Surprise模型和本文方法计算了8组不同数量视频帧的视频显著性,所用时间如图5所示。从结果可以看出,本文方法由于无需在提取图像特征上花费大量计算时间, 总体计算量大大减小,计算速度明显优于Surprise模型。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 不同方法的运算时间对比Fig.5 Computational time using different methods

本文选取了实验提取的前50幅视频场景作为素材,分别用Surprise模型和本文方法进行视频显著性曲线提取。图6为视频11~30帧原始场景缩略图。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 原始视频场景部分缩略图(11~30帧)Fig.6 Video frame samples(11~30th frames)

用本文算法得到的视频显著性曲线和用Surprise模型得到的视频显著性曲线如图7所示。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 用不同模型得到的视频显著性曲线Fig.7 Video saliency curves using different models

以11~30帧的视频显著值为研究对象,对两种算法的结果进行分析。从图7中可以看出,本文算法优于Surprise模型计算得到的视频显著性曲线,主要表现在两个方面:①本文方法的显著性曲线将不同场景间显著性的差异明显地表现了出来,而Surprise模型计算出的结果中,视频显著性曲线的不同帧之间的显著值差异表现不明显,差距很小;②本文计算出的视频显著性曲线的走势与我们观察到的原始场景图片得到的趋势比较一致,例如16到17帧之间,原始场景有了较大转换,本文得到的视频显著性曲线的显著值有比较明显的提升过程,之后场景的显著区域比较集中,显著值减小,曲线也有对应的下降部分,比较符合我们的主观感知,而用Surprise模型计算出的视频显著性曲线的走势和观察的结果有较大的出入。

在本文中,邀请了6位实验者来整体评价实验结果。他们的年龄为20~25岁、均为计算机相关专业的学生,在测试之前均未看过原始视频。实验中设置了2个对照组与本文结果对比:对照组1:不相关广告,在固定时间点加入;对照组2:相关广告,在固定时间点加入;本文结果:相关广告,根据视频内容加入。

实验者根据自己的判断进行打分,相应的指标与实际越符合,分数越高,打分区间为1~5分。实验结果如图8所示。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 广告侵扰性测试结果Fig.8 Intrusiveness test of video advertising

从图8可以看出,采用本文视频显著性分析指导下得到的广告插入点对用户有较小的侵扰性,这也间接说明本文算法能够正确模拟人类视觉机制,找到视频中显著的点和区域,并生成正确的视频场景显著值。