由于HVS对图像中的对比度、方向、亮度等可视特征的变化比较敏感,因而本文选用这三个特征构造视觉显著图。以两源图像 A、 B为例,按以下步骤提取源图像的视觉显著图。

第一步:分别对两源图像进行线性滤波,得到其对比度、方向、亮度特征显著图。具体实现方法如下:

(1)对比度特征图:先用高斯金字塔对源图像进行5层滤波,对滤波结果应用文献[12]中的“中心-邻域”逐层求差法得到源图像的对比度显著点分布,再对其应用文献[14]的熵阈值分割法得到源图像的对比度特征图。

(2)方向特征图:先用有向Gabor滤波器在{0°,45°,90°,135°}四个方向对源图像滤波,将滤波结果加和得到源图像的方向特征点分布,再对其应用熵阈值法分割生成方向特征图。

(3)亮度特征图:先用均值滤波器对源图像进行平滑,以消除噪声和灰度突变的影响,再对平滑后的图像直接应用熵阈值法分割生成源图像的亮度特征图。

用上述方法获得的3个特征图均为二值图像。

第二步:对第一步得到的3个单特征图求交集,(即当3个特征都标记某点为显著点时,才认为其为视觉显著点),所得结果即为两源图像的初始视觉显著区域划分,分别记作Map A和Map B。

第三步:确定最终视觉显著区域划分。若Map A∩Map B≠ ϕ(非空),则提取两源图像共有的显著区域 S_public =Map A∩Map B。两源图像独有显著区域即为: S_{map A}=Map A-S_public, S_{map B}=Map B-S_public。

本文主要关注低频部分的融合规则。以两源图像 A、 B融合为例,在1.1节得到的视觉显著图基础上,设计低频部分的融合规则如下:

对低频图像中的每个点 i,若

(1) S_{map A}( i) =1,表明该点对应的区域为源图像 A的视觉显著区域,融合图像 F在该点的低频系数取源图像 A中对应点的低频系数。

(2) S_{map B}( i) =1,表明该点所在区域为源图像 B的视觉显著区域,融合图像 F在该点的低频系数取源图像 B中对应点的低频系数。

(3)若 S_public( i) =1,表明该点对应区域在两源图像中都显著,为不丢失信息,取两源图像对应点低频系数的均值作为融合图像 F在该点的低频系数。

(4) i不属于任意源图像的显著区域,即 i为非显著点,则先计算两源图像的邻域方差,邻域方差越大,表示该源图像在点 i所属区域内的细节越丰富,取其对应源图像的低频系数作为融合图像 F在点 i的低频系数,即:

式中: A_L( i)、 B_L( i)、 F_L( i)分别为两源图像和融合图像在点 i处的低频系数; ( i)和 ( i)分别为两源图像在 i点8邻域内的方差。

在1.1节得到的视觉显著图和1.2节设计的融合规则的基础上,本文提出一种基于视觉显著图的图像融合方法,其实现步骤如下:

(1)先对输入源图像 A、 B分别按照1.1节的方法进行处理,提取其独有视觉显著区域 S_{map A}、 S_{map B}和公共显著区域 S_public,并计算两源图像中非显著区域的邻域方差。

(2)利用多尺度分解算法对两源图像进行多尺度分解,得到其高频分量{ A_H}、{ B_H}及低频分量 A_L和 B_L。

(3)对高频分量,采用绝对值取大法,得到融合后的高频系数{ F_H}。

(4)对低频分量,按照式(1)选择融合系数 F_L。

(5)对所得的融合系数进行多尺度反变换,重构出融合图像 F。

在多尺度融合算法中,àtrous小波和NSCT由于采用非下采样分解,具有平移不变性,不会导致块效应,融合效果要优于离散小波变换(DWT)、轮廓波变换(CT)等基于下采样分解的多尺度融合方法。因而,本文选用àtrous小波和NSCT这两种多尺度变换技术,采用前述基于视觉显著图的融合规则选择低频融合系数,从而建立了两种新的多尺度融合算法,分别记作S-àtrous和S-NSCT。

图1为“UN Camp”可见光和红外图像的融合结果,图2为图1(a)(b)的视觉显著图提取过程示意,图中白色部分为显著区域。表1为5个客观评价指标对各融合结果的质量打分。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 “UN Camp”图像融合实验结果Fig.1 Fusion results of “UN Camp” source images

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 获取“UN Camp”图像的视觉显著图Fig.2 Process of obtaining visual saliency maps for “UN Camp” source images

表1

Table 1

表1(Table 1)

表1 对“UN Camp”图像各融合结果的客观评价得分 Table 1 Objective evaluation scores of different fusion results with“UN Camp” input images 评价 指标 融合算法 A-àtrous S-àtrous P-àtrous A-NSCT S-NSCT P-NSCT SF 6.2940 6.4782 6.2438 6.0685 6.3007 6.1296 MI 1.4387 2.5785 1.8631 1.4374 2.5619 1.8154 EP 0.4801 0.5260 0.4668 0.4725 0.5257 0.4679 QG 0.6227 0.6568 0.5893 0.6285 0.6739 0.6032 QY 0.8628 0.8973 0.8553 0.8640 0.8918 0.8602

表1 对“UN Camp”图像各融合结果的客观评价得分 Table 1 Objective evaluation scores of different fusion results with“UN Camp” input images

观察图1中各融合模式的融合结果可以看出,图1(d)和1(g)这两个基于本文提出的低频融合规则所得的融合结果不仅红外目标明确,而且较好地保留了可见光图像中的树丛、栅栏、道路等细节信息,融合效果最好,而基于PCNN加权的融合结果(图1(e)和1(h))虽然红外目标比基于平均法的融合结果(图1(c)和1(f))明确,但图像中的环境细节却不如图1(c)和1(f)。表1中的各客观评价指标的评分结果也与上述视觉感知一致,认为基于本文融合规则的两种融合算法S-àtrous和S-NSCT融合效果最优,基于PCNN的两种算法P-àtrous和P-NSCT最差。这也表明用PCNN选取融合系数可能不太适用于夜视图像融合应用。

从表1还可看到,多尺度分解算法的选择也影响着融合图像的质量。对红外与可见光图像融合应用,尽管NSCT能够提取更多高频细节,但A-NSCT的融合效果却不如A-àtrous。而应用本文融合规则后,S-NSCT所得融合图像的主观感知效果和客观评价得分均优于A-àtrous。这表明在不改变多尺度分解算法的情况下,通过本文算法优化其低频分量的融合规则,即可有效改善多尺度算法的融合效果。对CT和MRI医学图像的融合实验也肯定了这一点(在医学图像融合应用中,A-àtrous的融合效果不如A-NSCT,但采用本文融合规则后,S-àtrous的融合效果即得到大幅提升,优于A-NSCT)。限于篇幅,对医学图像的融合实验结果没有列出。而且,由于本文在构造视觉显著区域时仅采用了较为简单的线性滤波,与多尺度算法相比,增加的耗时很小,对较为复杂的多尺度融合算法如NSCT,本步骤增加的耗时甚至可以忽略不计(对“UN Camp”源图像,显著图构造过程耗时约0.37 s,A-àtrous、P-àtrous、A-NSCT和P-NSCT算法的耗时分别为2.3、4.4、262和266 s,而S-àtrous和S-NSCT的总时耗分别为2.5 s和263 s)。

利用多聚焦图像融合检验本文方法的性能。多聚焦图像融合的目标是把两源图像中聚焦清晰的内容转移到融合图像中。由于多聚焦源图像通常是在相同光照条件下获取的,不同聚焦的成像结果亮度差异较小,即图像的亮度特征不能体现不同源图像的差异。图像聚焦部分的细节通常比离焦部分清晰得多。由于图像的梯度恰恰反映了图像的细节变化,因而在对多聚焦图像提取视觉显著图时,用梯度特征取代亮度特征更符合视觉感知。梯度特征图的提取方法如下:

先用Sobel梯度算子对源图像滤波,提取其梯度显著点,即图像中梯度变化剧烈的点、线段和轮廓,再用8邻域多数滤波法去掉孤立点,最后用文献[21]的方法找到图中所有梯度显著点的凸壳区域,以此作为源图像的梯度特征图。

得到梯度特征图后,结合源图像的对比度特征图和方向特征图,依照1.1节的第二步和第三步,构造出视觉显著图,再按照1.2节的融合规则嵌入两种多尺度算法进行融合。融合结果见图3。表2为5个客观评价指标应用于各融合结果的质量得分。为便于对比不同算法的融合效果,在图4中放大显示了图3中各融合图像的部分细节。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 多聚焦图像融合实验结果Fig.3 Fusion results of multi-focus images

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 多聚焦图像融合实验结果细节放大图Fig.4 Detail of multi-focus fusion images

表2

Table 2

表2(Table 2)

表2 对多聚焦图像各融合结果的客观评价得分 Table 2 Objective evaluation scores of different fusion results with multi-focus images 评价 指标 融合算法 A-àtrous S-àtrous P-àtrous A-NSCT S-NSCT P-NSCT SF 2.8084 2.8448 2.8333 2.8126 2.8881 2.8403 MI 6.4241 6.6199 6.4419 6.4277 6.8702 6.4383 EP 0.6576 0.6681 0.6654 0.6589 0.6692 0.6594 QG 0.7197 0.7682 0.7495 0.7337 0.7805 0.7538 QY 0.9338 0.9699 0.9601 0.9608 0.9789 0.9639

表2 对多聚焦图像各融合结果的客观评价得分 Table 2 Objective evaluation scores of different fusion results with multi-focus images

由图3可以看出,对多聚焦图像而言,3种融合规则都能较好地体现两源图像中的聚焦部分,但观察图4中的细节则会发现,基于平均法和PCNN选择低频系数的两种融合模式,都在图像左侧边缘产生了明显赝相(见图4(a)、(c)、(d)和(f)中左侧类似纸张卷曲的纵向凸起),而基于本文融合规则的两种算法则要好得多,尤其是S-NSCT,几乎没有产生可见赝相。因而,对多聚焦图像而言,6种融合模式的融合效果由优到劣依次为:S-NSCT>S-àtrous>P-NSCT>P-àtrous>A-NSCT>A-àtrous,表2中的客观评价得分也肯定了这一判断。

以上实验表明,尽管不同融合应用对多尺度分解算法和融合规则的偏好有所差异(如红外与可见光图像采用S-àtrous融合效果最好,而多聚焦图像采用S-NSCT融合效果最好),但与基于平均法和神经网络激励的融合规则相比,本文提出的基于视觉显著图的低频融合规则,无论是对多传感器图像融合,还是多聚焦图像融合,均能有效改善多尺度图像融合算法的融合效果,在有些融合应用中,甚至能以少量的时间代价得到优于更复杂融合算法的结果。