图像拼接篡改会在拼接边缘引入一些不易察觉的边、角、块信息,这些信息比自然图像更加尖锐。因此,提取图像显著边缘信息对拼接篡改的检测至关重要。基于次序统计滤波器(Order statistic filter,OSF)的非线性滤波方法^{[ 3]}会抑制那些波动相对缓慢区域的边缘的灰度峰值。图3(a)所示为拼接篡改图像,图3(b)为对图3(a)进行OSF滤波得到的均衡尖锐图像(Normalized sharpness map,NSM)。

自然图像中无灰度波动的区域,如白炽灯,经过抑制会与其周围形成巨大反差而成为图像可疑区域,如图3(c)(图3(c)为图3(b)的局部放大)所示:

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 拼接篡改图像、NSM和ECMFig.3 spliced image,NSM and ECM

另外,自然图像中,如铁栅栏、窗框等笔直边缘,也会造成VAM对注意点的误判,如图3(d)(图3(d)为图3(b)的局部放大)所示。因此,本文提出了改进的基于OSF的非线性滤波方法。设滤波器为 是2维矩阵,输出是 大的元素。

Step1 对图像每个通道 计算水平、垂直方向像素灰度陡然改变值。由于水平、垂直方向的计算方法一致,本文仅介绍水平方向的计算方法。

水平方向滤波得到降噪图像

水平方向求一阶导数得到

计算水平方向一阶导数与滤波图像差值的绝对值

Step2 结合三通道计算水平方向均衡边缘。

累加

计算水平方向均衡边缘

式中: 取10^-6。

用同样的方法可得到垂直方向均衡边缘

Step3 计算加强的均衡边缘图像。

水平、垂直方向均衡边缘的最大值 为

加强的均衡边缘图 为

Step4 提取最终边缘显著图像ECM。

加强均衡边缘图的梯度值 为

边缘显著图ECM为

通过式(7)计算加强的均衡边缘图,使图像边缘比均衡边缘图更加突出。另外,由于梯度指向标量场增长最快的方向,而梯度值是这个方向的最大变化率,因此,对于加强的均衡边缘图,式(9)利用梯度值对其进行处理,不仅可以减少梯度值较小的笔直边缘,也可以抑制大部分均匀波动区域,从而降低无灰度波动区域与其周围区域形成的反差。并且,对其进行次序统计滤波,对图像做平滑处理,使得图像边缘信息更加清晰,图3(e)所示为对图3(a)提取的ECM(为了便于观察,对ECM进行了二值化处理)。

2.2 基于VAM的显著边缘注意点的提取

在提取的边缘显著图像ECM中,拼接边缘比自然图像的边缘更加尖锐,因此可以利用视觉注意模型(VAM)提取这些边缘的注意点,进而获取图像关键特征片段。

将ECM作为输入,利用MATLAB中VAM的工具箱Saliency Toolbox^{[ 9]},生成特征显著图(Saliency map,SM)。搜索SM中具有局部最大值的点,这些点就是特征注意点,图4(a)所示:

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 VAM锁定ECM的10个注意点及5个拼接位置注意点Fig.4 10 located fixations of ECM by VAM and 5 fixations located on splicing edges

为利用VAM提取的10个特征注意点。实验发现,针对拼接篡改图像利用上述过程搜索到的注意点并非全部在拼接边缘处,如图4(a)中左边3个点不在拼接边缘。与非拼接边缘处的注意点相比,拼接边缘的注意点具有以下特点:①具有较强的空间聚类性;②区域内灰度值较大;③区域内仅有一条边缘。基于此,为了提高片段提取以及拼接检测的准确率,本文提出显著边缘定位法锁定 个显著边缘处的注意点,算法为:

Step1

对于提取的10个特征注意点(当注意点个数超过10,注意点在拼接边缘的概率极低)计算两两注意点之间的欧式距离。

Step2

将距离值最小和次小的两个注意点对分别记入集合 集合中的元素不同。

Step3

由于拼接边缘区域的灰度值较大,因此计算以注意点为中心、大小为13×13的矩形灰度和 中的第一个元素。

Step4

搜索与 中元素距离最小的3个注意点,按照Step3方法寻找点放入 中。

Step5

返回Step4,直到

根据以上过程对图4(a)进行处理, 时,得到如图4(b)所示的5个拼接边缘注意点。

2.3 获取图像关键特征片段

拼接图像的特征往往包含非拼接区域的信息,根据这些特征进行拼接篡改检测时会使误检率增高。为了使特征提取更有针对性,进而减小分类误差,本文首先获取图像的关键特征片段,然后根据这些片段的特征进行拼接篡改检测。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 提取的5个关键特征片段Fig.5 Five extracted key feature fragments

设利用VAM得到了 个片段。图5所示为当 取5时,对图3(a)提取的关键特征片段。

式中: 分别为图像的长和宽。

用传统方法得到的隐马尔可夫特征是所有转移概率矩阵的元素,其构成了 为钳制差分矩阵的阈值)^{[ 10]}。然而,原始HMM特征是基于块内相关的,忽略了由于8×8的分块引入的块间相关性。块间相关性反映在那些可以捕获到不同8×8频域特性的DCT系数,而图像拼接篡改往往会扰乱块间相关性。因此,本文提出如下算法,提取引入块间相关性的HMM特征,并构造扩展的HMM(E-HMM)特征向量。

Step1 对图像进行8×8块DCT变换,得到DCT变换系数。

Step2 对DCT变换系数取整,并取绝对值,得到矩阵

Step3 分别计算水平、垂直、主对角线和次对角线的8×8块间差分矩阵,依次为 和

式中: 为DCT矩阵 处的灰度值。

Step4 引入阈值 用于钳制差分矩阵,其中 为差分矩阵中的元素。

Step5 计算水平、垂直、主对角线和次对角线的转移概率矩阵,依次为

式中: 表示原始图像的大小。当参数条件满足时, ,否则, 于是,对于每一个关键特征片段得到 维的E-HMM特征向量。

图像拼接检测是一个典型的二分类模式识别问题,然而无法确切得到恰好能将待检测图像正确分类的某一个特征。因此,需要从获得的一系列特征中选取最利于图像检测分类的特征。

对于包含 个关键特征片段的图像,用本文提出的特征提取模型会得到 维特征向量。仅当 时,向量维度为3528,会造成信息爆炸,不利于分类模型的建立。然而实际检测中, 往往会大于3。为了降低特征向量维度,本文选取SVM-RFE(Support vector machine-recursive feature elimination)^{[ 12]}来进行特征筛选。该算法是根据SVM在训练时生成的权向量 来构造排序系数,每次迭代去掉一个排序系数最小的特征属性,最终得到所有特征属性的递减排序。

利用SVM-RFE将E-HMM特征向量排序,生成特性排序表,选取前 可取50,100等)进行训练和检测。

(1)Y、Cb、Cr通道选择

在构造E-HMM特征向量时,首先要提取关键特征片段的Y、Cb、Cr通道,并计算其离散小波重构图像。Y、Cb、Cr通道对本文算法性能具有不同的影响,通过对数据库进行测试,其统计结果如表1所示: 取5。

表1

Table 1

表1(Table 1)

表1 Y、Cb、Cr三通道对本文算法的影响 Table 1 Experiment results of the proposed approach of Y,Cb and Cr channels 通道 维度 TP/% TN/% Accuracy/% Y 50 88.92 91.98 90.46 100 89.30 92.72 91.02 150 90.45 91.23 91.23 Cb 50 92.43 95.40 93.92 100 93.12 95.71 94.42 150 93.23 95.88 94.56 Cr 50 93.52 95.57 94.54 100 94.54 96.90 95.75 150 93.96 96.96 95.47

表1 Y、Cb、Cr三通道对本文算法的影响 Table 1 Experiment results of the proposed approach of Y,Cb and Cr channels

其中阈值由表1数据可知,在Cb、Cr通道求取特征值有较好的检测效果,因此实验中提取片段Cr通道的特征。

(2)阈值 的选取

阈值 的大小直接影响转移概率矩阵的大小,进而影响特征筛选前特征向量的大小。如果 值过小,DCT系数之间的相关性就不足以用于区分原始图像和拼接篡改图像。如果 值过大,会增加计算代价。因此,阈值 的选择,要权衡计算代价和检测效果。当 大于4时,计算代价将难以控制,因此将 取2、3、4验证其对本文算法的影响,统计结果如表2所示: 取5。

表2

Table 2

表2(Table 2)

表2 不同参数 T对本文算法的影响 Table 2 Experiment results of the proposed approach with different threshold T 参数 T 维度 n TP/% TN/% Accuracy/% 2 50 90.33 92.23 91.30 100 90.97 92.90 91.93 150 92.46 93.44 92.96 3 50 93.80 94.03 93.91 100 92.89 95.78 94.32 150 93.37 96.06 94.69 4 50 93.52 95.57 94.54 100 94.54 96.90 95.75 150 93.96 96.96 95.47

表2 不同参数 T对本文算法的影响 Table 2 Experiment results of the proposed approach with different threshold T

其中选取Cr通道,分片数由表2数据可知,当 T=4时,本文算法的检测率最高。但是,对比 T=2或者 T=3的检测率并没有显著提高。因此,若在大规模批量检测中,计算代价需更受重视, T=2或者 T=3会更加适合。出于对实验阶段高准确率的要求,本文选取 T=4。

(3)图像关键特征片段数 的选取

图像的片段数量由VAM提取的显著边缘注意点的个数决定,个数越多,建立分类模型时可选择的特征向量就越多,建模越精确,但是相应的计算代价也会加大。对于拼接图像,选取注意点过多,会出现注意点不在拼接位置的情况。因此,选取Cr通道,阈值 T取4来验证不同分片数对本文算法的影响,统计结果如表3所示:

表3

Table 3

表3(Table 3)

表3 不同分片数 k对本文算法的影响 Table 3 Experiment results of the proposed approach with different fragment k 分片数 k 维度 n TP/% TN/% Accuracy/% 3 50 93.88 97.53 95.70 100 94.41 97.75 96.10 150 95.39 96.46 95.93 4 50 94.26 97.33 95.79 100 94.89 97.76 96.32 150 94.88 97.37 96.13 5 50 93.52 95.57 94.54 100 94.54 96.90 95.75 150 93.96 96.96 95.47

表3 不同分片数 k对本文算法的影响 Table 3 Experiment results of the proposed approach with different fragment k

由表3数据可知,当 k=3时,并没有充分获取图像中拼接篡改信息,使得建立的分类模型不够精确;当 k=5时,所选信息增多,但是其中包含部分未被拼接篡改的图像片段,这往往由于图像内容细节信息(如窗框等)对算法的误导,进而造成建模误差。当 k=4时,算法检测率达到了96.32%。

文献[3]利用视觉注意模型搜索图像的前 k个注意点,并以注意点信息构造多层分类模型底层的特征向量。文献[8]基于近似游程直方图特征函数的高阶矩构造特征向量,是目前十分前沿的检测方法。文献[10]在拼接篡改图像检测中具有非常高的检测率。所以,为了对比分析本文算法的性能优势,在相同的实验平台下基于相同的实验数据库(哥伦比亚大学拼接篡改图像库),作者将本文算法与这3个算法进行对比分析。

图6为本文算法与其他3种算法的ROC曲线,通过AUC可见,本文算法具有最好的分类效果。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 不同特征的ROC曲线Fig.6 The ROC curves of different feature vectors

文献[3]采用多层分类器,对特征维度的比较没有意义,所以针对TP、TN和Accuracy三个性能参数,对该算法与本文算法进行分析,统计结果如表4所示:

表4

Table 4

表4(Table 4)

表4 本文算法与文献[3]算法的比较 Table 4 Comparison between the proposed approach and the method in reference [3] 特征提取 TP/% TN/% Accuracy/% VC[ 5] 92.22 95.93 94.07 本文算法 94.89 97.76 96.32

表4 本文算法与文献[3]算法的比较 Table 4 Comparison between the proposed approach and the method in reference [3]

由表4中数据可知,本文算法的TP、TN和Accuracy均优于文献[3]的算法,主要是因为文献[3]存在以下3个方面的不足:①未考虑不在拼接位置注意点的情况,只是简单提取前 k个注意点,因此,窗框、栅栏等笔直边缘会造成建模误差;②需要利用边缘模板提取注意点;③利用多层分类器,加大了提取图像特征的计算复杂度。

表5为本文算法与文献[8]和文献[10]就检测率和特征维度进行对比分析的统计结果。

表5

Table 5

表5(Table 5)

表5 本文算法与文献[8]和文献[10]算法的比较 Table 5 Comparison between the proposed approach and the methods in reference [8] and [10] 特征 维度 n TP/% TN/% Accuracy/% ARL[ 9] 30 83.62 81.26 82.43 NIM[ 11] 266 90.29 94.26 92.27 本文算法 100 94.89 97.76 96.32

表5 本文算法与文献[8]和文献[10]算法的比较 Table 5 Comparison between the proposed approach and the methods in reference [8] and [10]

由表5数据可知,本文算法优于文献[8]和文献[10]的检测效果,并且在特征维度上也有较好的平衡。其原因主要有两个:①本文算法对图像采取分片手段以集中图像中最敏感部分的信息,并通过SVM-RFE进行特征筛选,选取最优的特征向量来降低特征维度,因此与文献[8]的全局纹理特征相比,本文算法的特征信息更具有针对性;②与文献[10]采用的HMM特征相比,本文采用的E-HMM特征提供了更多敏感的统计特征,使本文算法的检测率得到了提高。