有限离散剪切波域结合区域客观评价的图像融合

引用本文

陈广秋, 高印寒, 刘广文, 孙俊喜. 有限离散剪切波域结合区域客观评价的图像融合. 44(6): 1849-1859
CHEN Guang-qiu, GAO Yin-han, LIU Guang-wen, SUN Jun-xi. Image fusion based on area objective assessment in finite discrete shearlet transform domain. Journal of Jilin University Engineering and Technology Edition, 44(6): 1849-1859 复制到剪切板

Permissions

有限离散剪切波域结合区域客观评价的图像融合

陈广秋^1,³, 高印寒², 刘广文³, 孙俊喜³

1.吉林大学仪器科学与电气工程学院,长春130061

2.吉林大学汽车仿真与控制国家重点实验室,长春130022

3.长春理工大学电子信息工程学院,长春 130022

作者简介:陈广秋(1977-),男,博士研究生.研究方向:图像配准与融合.E-mail:guangqiu_chen@126.com

基金:高等学校博士学科点专项科研基金项目(20110061110059); 吉林省科技发展计划重点项目(20110326);

摘要

为了提升多源图像融合精度,提出了一种有限离散剪切波(FDST)域结合图像区域客观评价的自适应融合方法。该方法利用有限离散剪切波(FDST)对源图像进行多尺度、多方向分解,低频子带图像采用梯度信息相关性因子作为系数权值,高频子带图像应用绝对值与区域标准差一致性选择的融合策略。应用有限离散剪切波逆变换重构图像,采用多组多源图像进行融合试验,并对融合结果进行了客观评价。试验结果表明,本文提出的融合方法在主观和客观评价上均优于其他多尺度分解(MSD)融合方法。

关键词: 信息处理技术; 有限离散剪切波变换; 融合策略; 客观评价; 平移不变性

中图分类号:TP391.4 文献标志码:A 文章编号:1671-5497(2014)06-1849-11

Image fusion based on area objective assessment in finite discrete shearlet transform domain

CHEN Guang-qiu^1,³, GAO Yin-han², LIU Guang-wen³, SUN Jun-xi³

1.College of Instrumentation & Electrical Engineering, Jilin University,Changchun 130061,China

2.State Key Laboratory of Automotive Simulation and Control, Jilin University, Changchun 130022,China

3.School of Electronic and Information Engineering, Changchun University of Science and Technology, Changchun 130022, China

Abstract

To enhance the accuracy of multi-source image fusion, an adaptive fusion method is proposed. This method is based on the area objective assessment in Finite Discrete Shearlet Transform (FDST) domain. The source images are decomposed to subband images with multi-scale and multi-direction by FDST. The gradient information correlation factor is taken as the coefficient weight for low-frequency subband fusion; while for high-frequency subband, consistency selection of the coefficient absolute value and area standard deviation is adopted as the fusion rule. The fused low and high frequency coefficients are reconstructed to image by Finite Discrete Shearlet Inverse Transform (FDSIT). Fusion experiment is done with several sets of different modality images, and objective performance assessments of the fusion results are implemented. Results indicate that the proposed method performs better in subjective and objective assessments than other existing Multi-Scale Decomposition (MSD) fusion techniques.

Keyword: information processing; finite discrete shearlet transform (FDST); fusion rule; objective assessment; shift-invariant

Show Figures

0 引言

多尺度融合方法要解决两个核心问题:一是源图像的分解;二是分解后的子带图像的融合。对于第一个问题,离散小波变换(DWT)因其所具有空频域分析图像的能力而得到广泛应用^{[ 1, 2]}。但小波变换不能最优地表示图像结构中的直线或曲线的奇异性。为了解决小波变换的局限性,研究者先后提出了Curvelet^{[ 3]}和Contourlet变换^{[ 4]},这两种变换具有很好的方向敏感性和各向异性,能够准确地捕获图像中的边缘信息,取得了良好得融合效果^{[ 5, 6, 7, 8]}。但这两种MSD方法都缺乏平移不变性,在融合结果中容易引入虚假信息,对光谱差异较大或配准精度不高的图像进行融合的过程中,伪Gibbs现象明显。文献[9]通过尺度函数和剪切函数构造了有限欧几里德空间域内帕斯威尔框架的离散剪切波,称为有限离散剪切波变换(Finite discrete shearlet transform,FDST),它不仅具有Curvelet和Contourlet变换的优点,同时具备平移不变性。

对于第二个问题,在已有的MSD融合策略中,低频子带多采用加权平均的方法,权重是直接与源图像的局部或全局显著特征(如均值、标准差)相关的值;高频子带利用区域窗口显著特征选取系数或加权系数的方法^{[ 10, 11, 12]}。该方法融合过程易受噪声干扰,融合结果中容易引进虚假信息,得不到合适的亮度和对比度。文献[13]针对多层次曝光彩色图像提出了一种基于拉普拉斯分解的融合策略。该方法利用拉普拉斯金字塔对多层次曝光图像进行分解,利用图像曝光度、饱和度和对比度3种客观评价参数构造系数权重,得到较好的融合效果,但该方法中的各项客观评价参数仅适用于多层次曝光图像,对灰度图像不适用。受文献[13]的启发,本文提出了一种新的融合算法。采用有限离散剪切波变换作为源图像的多尺度分解工具,在低频子带区域窗口中,利用梯度信息相关性因子构造系数权重值,突出目标信息;在高频子带区域窗口中,应用系数绝对值与区域标准差一致性原则选取系数,消除可能出现的图像不连续性,使融合后的图像更符合人的视觉。

1 二维有限离散剪切波变换

1.1 连续剪切波变换

通过对函数 ψ∈ L₂(ℝ²)进行膨胀、剪切和平移变换形成剪切波:

$\begin{matrix} \begin{matrix} ψ_{a, s, t} (x) : = a^{- 3 / 4} ψ (A_{a}^{- 1} S_{s}^{- 1} (x - t)) = \\ a^{- 3 / 4} ψ ((\begin{matrix} \frac{1}{a} & - \frac{s}{a} \\ 0 & \frac{1}{\sqrt[]{a}} \end{matrix}) (x - t)) (1) \end{matrix} \end{matrix}$

式中: A_a= $\begin{matrix} (\begin{matrix} a & 0 \\ 0 & \sqrt[]{a} \end{matrix}) \end{matrix}$ 为尺度矩阵, a∈ℝ ⁺; S_s= $\begin{matrix} (\begin{matrix} 1 & s \\ 0 & 1 \end{matrix}) \end{matrix}$ 为剪切矩阵, s∈ℝ。定义辅助函数 v, b:ℝ→ℝ

$\begin{matrix} \begin{matrix} v (x) : = \{\begin{matrix} 0, x < 0 \\ 35 x^{2} - 84 x^{5} + 70 x^{6} - 20 x^{7}, 0 \leq x \leq 1 \\ 1, x > 1 \end{matrix} (2) \\ b (ω) : = \{\begin{matrix} \sin (\frac{π}{2} v (| ω |) - 1), 1 \leq | ω | \leq 2 \\ \cos (\frac{π}{2} v (\frac{1}{2} | ω | - 1)), 2 < | ω | < 4 \\ 0, ot h er \end{matrix} (3) \end{matrix} \end{matrix}$

定义函数 ψ₁, ψ₂:ℝ→ℝ的傅立叶变换分别为:

$\begin{matrix} \begin{matrix} {\hat{ψ}}_{1} (ω) : = \sqrt[]{b^{2} (2 ω) + b^{2} (w)} (4) \\ {\hat{ψ}}_{2} (ω) : = \{\begin{matrix} \sqrt[]{v (1 + ω)}, ω \leq 0 \\ \sqrt[]{v (1 - ω)}, ω > 0 \end{matrix} (5) \end{matrix} \end{matrix}$

令 $\begin{matrix} \hat{ψ} \end{matrix}$ ( ω₁, ω₂) = $\begin{matrix} {\hat{ψ}}_{1} \end{matrix}$ ( ω₁) $\begin{matrix} {\hat{ψ}}_{2} \end{matrix}$ ( ω₂ /ω₁),并对式(1)进行傅立叶变换,得到剪切波频域表现形式:

$\begin{matrix} {\hat{ψ}}_{a, s, t} (ω) = a^{\frac{3}{4}} e^{- 2 πi < ω, t >} {\hat{ψ}}_{1} (a ω_{1}) {\hat{ψ}}_{2} (a^{- 1 / 2} (\frac{ω_{2}}{ω_{1}} + s)) (6) \end{matrix}$

函数 f∈ L²(ℝ)的剪切波变换定义为:

$\begin{matrix} \begin{matrix} S H_{ψ} (f) (a, s, t) : = < f, ψ_{a, s, t} > = < \hat{f}, {\hat{ψ}}_{a, s, t} > = \\ a^{\frac{3}{4}} F^{- 1} (\hat{f} (ω) {\hat{ψ}}_{1} (a ω_{1}) {\hat{ψ}}_{2} (a^{- 1 / 2} (\frac{ω_{2}}{ω_{1}} + s))) (t) (7) \end{matrix} \end{matrix}$

在 $\begin{matrix} \hat{ψ} \end{matrix}$ ( ω₁, ω₂) = $\begin{matrix} {\hat{ψ}}_{1} \end{matrix}$ ( ω₁) $\begin{matrix} {\hat{ψ}}_{2} \end{matrix}$ ( ω₂ /ω₁))中,不同的 ω₁和 ω₂取值,将整个频域平面分成水平锥面 c^h、垂直锥面 c^v、锥面交叉线 c^×和低频部分 c⁰四个区域,如图1所示。

	Figure Option View Download New Window
	图1 剪切波频域剖分图Fig.1 Tiling of frequency plane induced by the shearlet

$\begin{matrix} \begin{matrix} c^{h} : = \{(ω_{1}, ω_{2}) \in R^{2} : | ω_{1} |\geq \frac{1}{2}, | ω_{2} |<| ω_{1} |\} (8) \\ c^{v} : = \\ \{(ω_{1}, ω_{2}) \in R^{2} : | ω_{2} |\geq \frac{1}{2}, | ω_{2} |>| ω_{1} |\} (9) \\ c^{\times} = : {(ω_{1}, ω_{2}) \in R^{2} : | ω_{1} |\geq \frac{1}{2}, \\ | ω_{2} |\geq \frac{1}{2}, | ω_{1} |=| ω_{2} |} (10) \\ c^{0} : = \{(ω_{1}, ω_{2}) \in R^{2} : | ω_{1} | < 1, | ω_{2} | < 1\} (11) \end{matrix} \end{matrix}$

重叠区域为:

$\begin{matrix} c^{Δ} : = {(- 1,1)}^{2} \ {(- \frac{1}{2}, \frac{1}{2})}^{2} (12) \end{matrix}$

锥面 c^h、 c^v和交叉线 c^×上的剪切波定义为:

$\begin{matrix} \begin{matrix} {\hat{ψ}}^{h} (ω_{1}, ω_{2}) : = \hat{ψ} (ω_{1}, ω_{2}) = {\hat{ψ}}_{1} (ω_{1}) {\hat{ψ}}_{2} (\frac{ω_{2}}{ω_{1}}) Γ c^{h} (13) \\ {\hat{ψ}}^{v} (ω_{1}, ω_{2}) : = \hat{ψ} (ω_{2}, ω_{1}) = {\hat{ψ}}_{1} (ω_{2}) {\hat{ψ}}_{2} (\frac{ω_{1}}{ω_{2}}) Γ c^{v} (14) \\ {\hat{ψ}}^{\times} (ω_{1}, ω_{2}) : = \hat{ψ} (ω_{1}, ω_{2}) Γ c^{\times} (15) \\ Γ c^{κ} = \{\begin{matrix} 1, ω \in c^{κ}, κ \in (h, v, \times) \\ 0, ω \notin c^{κ}, κ \in (h, v, \times) \end{matrix} (16) \end{matrix} \end{matrix}$

低频部分 c⁰上的剪切波为:

$\begin{matrix} \begin{matrix} {\hat{ϕ}}_{t} (ω) = e^{- 2 πi < ω, t >} \hat{ϕ} (ω) (17) \\ \hat{ϕ} (ω_{1}, ω_{2}) : = \{\begin{matrix} φ (ω_{1}) | ω_{1} | < 1, | ω_{2} |\leq| ω_{1} | \\ φ (ω_{2}) | ω_{2} | < 1, | ω_{1} |<| ω_{2} | \end{matrix} (18) \\ φ (ω) : = \{\begin{matrix} 1, | ω |\leq \frac{1}{2} \\ \cos (\frac{1}{2} v (2| ω | - 1)), \frac{1}{2} < | ω | < 1 \\ 0, ot h er \end{matrix} (19) \end{matrix} \end{matrix}$

1.2 有限离散剪切波

剪切波的离散化主要是对式(1)和式(6)中的缩放比例参数 a、剪切参数 s和平移参数 t进行的。

$\begin{matrix} \begin{matrix} a_{j} : = 2^{- 2 j}, j = 0, \dots, J - 1 (20) \\ s_{j, k} : = k 2^{- j}, - 2^{j} \leq k \leq 2^{j} (21) \\ t_{m} : = \frac{m}{N}, m \in I, N = 2^{2 J} (22) \\ ψ_{j, k, m} (x) : = ψ (A_{a_{j}}^{- 1} S_{s_{j, k}}^{- 1} (x - t_{m})) (23) \\ {\hat{ψ}}_{j, k, m} (ω) = {\hat{ψ}}_{1} (4^{- j} ω_{1}) {\hat{ψ}}_{2} (2^{j} \frac{ω_{2}}{ω_{1}} + k) e^{- 2 πi < ω, m > / N} (24) \end{matrix} \end{matrix}$

式中: I: ={( m₁, m₂): m_i=0,…, N-1, i=1,2}; J为分解尺度; ω∈{( ω₁, ω₂): ω_i=- -1, i=1,2}。

在水平锥面与垂直锥面连接处 k=|2 ^j|,离散剪切波定义为:

$\begin{matrix} {\hat{ψ}}_{j, k, m}^{h \times v} : = {\hat{ψ}}_{j, k, m}^{h} + {\hat{ψ}}_{j, k, m}^{v} + {\hat{ψ}}_{j, k, m}^{\times} (25) \end{matrix}$

图像 f的离散剪切波变换为:

$\begin{matrix} \begin{matrix} SH (f) (κ, j, k, m) : = \\ \{\begin{matrix} < f, φ_{m} >, κ = 0 \\ < f, ψ_{j, k, m}^{κ} >, κ \in \{h, v\} \\ < f, ψ_{j, k, m}^{h \times v} >, κ = \times, | k |= 2^{j} \end{matrix} (26) \\ SH (f) (κ, j, k, m) = \\ \{\begin{matrix} F^{- 1} (\hat{φ} (ω_{1}, ω_{2}) \hat{f} (ω_{1}, ω_{2})), \\ κ = 0 \\ F^{- 1} (\hat{ψ} (4^{- j} ω_{1}, 4^{- j} k ω_{1} + 2^{- j} ω_{2}) \hat{f} (ω_{1}, ω_{2})), \\ κ = h, | k |\leq 2^{j} - 1 \\ F^{- 1} (\hat{ψ} (4^{- j} ω_{2}, 4^{- j} k ω_{2} + 2^{- j} ω_{1}) \hat{f} (ω_{1}, ω_{2})), \\ κ = v, | k |\leq 2^{j} - 1 \\ F^{- 1} ({\hat{ψ}}^{h \times v} (4^{- j} ω_{1}, 4^{- j} k ω_{1} + 2^{- j} ω_{2}) \hat{f} (ω_{1}, ω_{2})), \\ κ = \times, | k |= 2^{j} \end{matrix} (27) \end{matrix} \end{matrix}$

图像 f的有限离散剪切波变换过程主要分3步:频域转换、多尺度分解和方向局部化。频域转换是通过快速傅立叶变换得到图像 f的频谱。对频谱图像进行低通和不同频带的带通滤波得到低频子带系数和带通子带系数,使FDST具备了多尺度特性。方向局部化是通过剪切滤波器(SF)实现的,利用辅助函数构造频域剪切波,将带通子带系数与剪切波相乘,得到方向子带系数,使FDST具备了多方向特性,具体过程如图2所示。FDST具有非常好的局部化特性,非常高的方向敏感性,满足抛物线尺度化特性。

	Figure Option View Download New Window
	图2 有限离散剪切波二层分解示意图Fig.2 Two level decomposition schematic of FDST

文献[9]证明上述离散剪切波构造了有限欧几里德几何空间域内的帕斯威尔紧支撑框架。有限离散剪切波变换过程中不存在下采样操作,使其具备了平移不变性。图像 f经过 J层FDST分解,会得到∑2 ^j+²个与原始图像尺寸大小相同的方向子带和1个低通子带,其中 j=0,1,…, J-1。图3为图像testimage的2层分解图( J=2),第一层方向数为4,第二层方向数为8。

	Figure Option View Download New Window
	图3 图像testimage的两层FDST分解Fig.3 Two level decomposition of image testimage

2 图像融合策略

多尺度图像融合包括多尺度分解、子带融合和图像重构3个过程。待融合图像分别进行有限离散剪切波分解,得到低频和高频子带图像,对低频和各层高频子带图像分别采用不同融合策略进行融合,最后应用有限离散剪切波逆变换重构,得到融合图像,具体过程如图4所示。

	Figure Option View Download New Window
	图4 融合方案Fig.4 Fusion scheme

设源图像 I₁和 I₂经过FDST分解后得到不同尺度、不同方向的子带系数为:{ IL₁, I $\begin{matrix} H_{1}^{l, k} \end{matrix}$ },{ IL₂, I $\begin{matrix} H_{2}^{l, k} \end{matrix}$ }, IL_x表示低频子带系数, I $\begin{matrix} H_{x}^{l, k} \end{matrix}$ 表示第 l层、第 k个高频子带系数, x=1,2,融合后的低频子带和高频子带系数表示为{ IL, IH^l^, ^k}。

2.1 低频子带图像融合策略

图像信号是高度结构化的,像素间具有很强的相关性,这些相关性携带了场景中物体结构和纹理的重要信息。人类视觉系统能够高度自适应地提取场景中的结构和纹理信息,因此对图像结构信息和纹理信息的改变量进行度量是感知图像质量的最好近似。文献[14]提出了一种将图像间结构信息和边缘纹理信息归一化到一个量对两幅图像间的相似度进行度量的方法,称为梯度信息相关性,非常符合人眼的视觉特性,具有很好的客观评价效果。设图像 x、 y,梯度图像为 x'、 y',区域窗口 w中心点( i, j)的结构信息和纹理信息相似度分别定义为:

$\begin{matrix} \begin{matrix} Q_{x, y} (i, j) = \frac{σ_{xy} + c_{1}}{σ_{x} σ_{y} + c_{1}} (28) \\ Q_{x', y'} (i, j) = \frac{σ_{x' y'} + c_{2}}{σ_{x'} σ_{y'} + c_{2}} (29) \end{matrix} \end{matrix}$

式中: σ_x、 σ_y、 σ_x'、 σ_y'、 σ_xy、 σ_x'y'分别为图像 x、 y、 x'、 y'的窗口 w的标准差和协方差。 c_i( i=1,2)是为了避免分母为零而引入的常数,且0 <c_i≪1,当 c_i的值远小于标准差和协方差时,对评价结果不会产生影响。

式(28)反映了局部亮度、对比度等结构的相似性。式(29)反映了梯度幅度的相似性,即边缘纹理信息的相似性,整合式(28)(29)信息,区域窗口 w的梯度信息相关性因子定义为:

$\begin{matrix} \begin{matrix} Q_{G, x, y} (i, j) = Q_{x, y} \cdot Q_{x', y'} = \\ \frac{(σ_{xy} + c_{1}) (σ_{x' y'} + c_{2})}{(σ_{x} σ_{y} + c_{1}) (σ_{x}' σ_{y}' + c_{2})} (30) \end{matrix} \end{matrix}$

低频子带融合的目的是在融合结果中根据源图像的局部特征尽量保持局部亮度、对比度和边缘纹理信息。在已有的加权平均融合方法中,权重都是直接与源图像的局部或全局显著特征相关的值,融合过程容易受到噪声的干扰,在融合结果中容易引进虚假信息,得不到合适的亮度和对比度。如果在融合图像已知的情况下,源图像与融合图像的梯度信息相关性因子的值越大,表明结构和纹理信息越相似,源图像中所对应的系数权值应越大;反之,应越小。本文受文献[13]启发,设计了一种利用初始融合图像与源图像间梯度信息相关性因子作为系数权重值的低频子带融合策略。具体步骤如下:

(1)低频子带均值加权融合

在低频子带中,采用等权值的加权平均,获取初始融合图像的估计,此种方法平均了源图像的亮度和对比度,但可作为评价因子计算的参考图像,以便获取最佳权重值:

$\begin{matrix} I L_{F} = \frac{I L_{1} + I L_{2}}{2} (31) \end{matrix}$

(2)计算局域结构相似度参数

在系数矩阵 IL_F、 IL₁和 IL₂中选择以点( i, j)为中心的局域窗口 N×N,再根据式(30)计算梯度信息相关性因子,得到 Q_G_, _IL_1, _F( i, j)和 $\begin{matrix} {Q_{G, IL}}_{2, F} \end{matrix}$ ( i, j),相关性因子值表示等权值融合的图像局部结构信息和纹理信息偏离源图像的程度。

(3)计算权重值

$\begin{matrix} \begin{matrix} ω_{IL 1} (i, j) = \frac{| Q_{G, IL 1, F} (i, j) |^{α}}{| Q_{G, IL 1, F} (i, j) |^{α} + | Q_{G, IL 2, F} (i, j) |^{α}} (32) \\ ω_{IL 2} (i, j) = 1 - ω_{IL 1} (i, j) (33) \end{matrix} \end{matrix}$

式中: α取非负值,用来调整权值的大小,当 α=0时, ω_IL₁ =ω_IL₂ =0 .5,此时为等均值权重,实际使用时一般取 α=1,表示源图像中权值偏离均值(0.5)的程度。

(4)计算低频子带融合系数

$\begin{matrix} \begin{matrix} I L_{F} (i, j) = ω_{IL 1} (i, j) \cdot I L_{1} (i, j) + \\ ω_{IL 2} (i, j) \cdot I L_{2} (i, j) (34) \end{matrix} \end{matrix}$

步骤(2)~(4)遍历整个低频子带系数矩阵,得到低频子带系数 IL。

2.2 高频子带图像融合策略

高频子带图像反映图像的细节,如直线、轮廓等信息。高频子带融合的目的是提取源图像中的边缘结构。在已有的高频子带图像融合策略中,多采用直接选取绝对值最大系数(像素)或利用区域特征值(如区域平均能量)取大原则进行融合。直接选取绝对值最大系数(像素)可以获取图像中丰富的边缘信息,但这种方法只考虑了像素的单点信息,容易造成图像的不连续性。区域特征值取大融合策略由于考虑了区域内各像素之间的相关性,降低了对噪声的敏感性,但容易使图像轮廓与非轮廓区域之间模糊,造成融合图像清晰度下降。本文提出了一种系数绝对值与区域标准差一致性选择的高频子带融合策略,在降低对噪声敏感性的同时,最大限度地提取源图像中边缘细节信息,提高融合图像的清晰度。其基本思想是在区域窗口 M×M中,采用系数绝对值与区域标准差构造一致性选择因子,根据因子值选取区域中心点系数。具体步骤如下:

(1)在高频子带系数矩阵 I $\begin{matrix} H_{1}^{l, k} \end{matrix}$ 和 I $\begin{matrix} H_{2}^{l, k} \end{matrix}$ 中,选取区域窗口 M×M,计算( i, j)点为中心的区域标准差:

$\begin{matrix} \begin{matrix} σ_{x}^{l, k} (i, j) = \\ \sqrt[]{\frac{\overset{(M - 1) / 2}{\sum_{m = - (M - 1) / 2}} \overset{(M - 1) / 2}{\sum_{n = - (M - 1) / 2}} [I H_{x}^{l, k} (i + m, j + n) - μ_{x} {(i, j)]}^{2}}{M \times N}} (35) \end{matrix} \end{matrix}$

式中: x的值为1或2; μ_x( i, j)为区域均值。

(2)计算一致性选择因子

$\begin{matrix} C_{x}^{l, k} (i, j) = | I H_{x}^{l, k} (i, j) | (1 + σ_{x}^{l, k} (i, j)) (36) \end{matrix}$

当 $\begin{matrix} σ_{x}^{l, k} \end{matrix}$ ( i, j)为零时,选择因子成为系数绝对值。

(3)融合系数选择

$\begin{matrix} I H^{l, k} (i, j) = \{\begin{matrix} I H_{1}^{l, k} (i, j), C_{1}^{l, k} (i, j) \geq C_{2}^{l, k} (i, j) \\ I H_{2}^{l, k} (i, j), C_{1}^{l, k} (i, j) < C_{2}^{l, k} (i, j) \end{matrix} (37) \end{matrix}$

上述过程遍历整个高频子带系数矩阵,得到高频子带融合系数 IH^l^, ^k。

3 仿真试验及结果分析

本文通过4步试验来验证所提出的融合方法的有效性。第1步,在传统融合策略下,对DWT、Curvelet、Contourlet和FDST域的融合结果进行比较。第2步,在FDST域,对本文融合策略与典型的区域特征值加权及选择策略的融合结果进行比较。第3步,对不同多尺度分解域结合不同区域客观评价的融合结果进行比较。第4步,对具有多尺度、多方向性的FDST、NSCT、Contourlet的分解效率进行比较;对本文融合方法、文献[11]融合方法、文献[15]融合方法、文献[16]融合方法的融合效率进行了比较。通过视觉观察对融合图像进行主观评价。应用互信息MI^{[ 17]}、信息熵EN^{[ 18]}和边缘信息传递量Q^{AB/F[ 19]}三种指标对融合图像进行客观评价。

3.1 传统融合策略在不同多尺度分解域融合结果的比较

为了验证有限离散剪切波变换的多方向性和平移不变性在图像融合领域的优越性,在FDST域、DWT域、Curvelet和Contourlet变换域采用传统融合策略,即低频子带采用等权值平均、高频子带利用系数绝对值取大原则选取系数,对图5(a)(b)和图6(a)(b)所示的红外与可见光、多聚焦2组不同模态图像进行融合试验,并对融合结果进行客观评价。融合结果如图5(c)(d)(e)(f)和图6(c)(d)(e)(f)所示,客观评价数据如表1所示。

	Figure Option View Download New Window
	图5 传统融合策略在不同多尺度分解域对红外和可见光图像的融合结果Fig.5 Infared and visible image fusion results using traditional fusion rule in different MSD domain

	Figure Option View Download New Window
	图6 传统融合策略在不同多尺度分解域对多聚焦图像的融合结果Fig.6 Multi-focus image fusion results using traditional fusion rule in different MSD domain

从图5融合结果及放大图像中可以看到:在图5(c)(d)(e)中目标周围出现不同程度的伪影或间隙,而图5(f)则完全没有这种现象且融合图像清晰自然,对比度适中,有良好的视觉效果。这

是由于DWT、Curvelet、Contourlet变换缺乏平移不变性引起的伪Gibbs效应。图5融合结果表明,在光谱差异较大的源图像融合过程中,FDST所具有的平移不变性能够有效地克服伪Gibbs效应。从图6融合结果及放大图像中可以看到: 图6(d)(e)(f)中时钟边缘的刻画要优于图6(c)( 图6(a)中下边缘有一定的弯曲),这表明Curvelet、Contourlet、FDST所具有的多方向性和各向异性对于图像边缘的刻画会更好。从表1的数据可看到:应用FDST融合的图像客观评价指标均为最优,这也说明在图像融合领域,FDST要比DWT、Curvelet和Contourlet变换更具有优势。

表1 传统融合策略在不同多尺度分解域融合结果的比较 Table 1 Fusion results comparison using traditional fusion rule in different MSD domain

3.2 FDST域不同融合策略融合结果的比较

为了验证本文融合策略的有效性,在FDST域,分别应用本文融合策略(记为OA)、文献[10]融合策略(低频子带采用主成分分析(PCA)法、高频子带利用局域方差加权与选择结合的方法选取系数进行融合,记为PCAVAR)、文献[11]融合策略(低频子带采用区域空间频率构造权重、高频子带采用系数绝对值取大的原则选取系数进行融合,记为SFABS)和文献[12]融合策略(低频子带采用区域均值和方差构造系数权值、高频子带采用空间频率比的加权与选择结合的方法选取系数进行融合,记为VARSFR)对图7中的源图像Ⅰ进行融合试验。融合结果如图8所示, 图8(a)(b)(c)为文献[10]融合策略融合结果; 图8(d)(e)(f)为文献[11]融合策略融合结果; 图8(g)(h)(i)为文献[12]融合策略融合结果; 图8(j)(k)(l)为本文融合策略融合结果; 图8(m)(n)(o)为低频部分 ω_IL₁权值图像; 图8(p)(q)(r)为低频部分 ω_IL₂权值图像。客观评价数据如表2所示。

	Figure Option View Download New Window
	图7 源图像ⅠFig.7 Source images Ⅰ

	Figure Option View Download New Window
	图8 FDST域不同融合策略融合结果Fig.8 Fusion results using different fusion rules in FDST domain

从图8中可以看出,在图8(j)中行走的人、车、路和灯箱牌匾等都清晰可见,对比度适中,图像清晰自然,相对于图8(a)(d)和(g)有更好的视觉效果,这表明应用本文融合策略能够更好地提取目标信息。在图8(a)中,由于待融合图像相关性较弱,PCA方法在低频分量中没得到合适的权值,造成融合图像有一定的灰度失真。从图8(b)(e)(h)(k)中可以看出,本文融合策略融合结果与文献[10-12]中融合策略的融合结果视觉上差异并不大,边缘刻画都较为准确,说明在光谱差异不大的图像融合过程中,4种融合策略都能得到较理想的结果。图8(l)中,结构细节和纹理信息系统详实、图像清晰、亮度适中,相对于图8(c)(f)(i)有更好的视觉效果,表明本文融合策略能够最大程度地提取源图像中的细节和保留源图像亮度信息。图8(m)(n)(o)与图8(p)(q)(r)中的权值图像也表明了本文低频融合策略中权值的有效性。对图8进行分析可知,利用本文融合策略融合的图像更能体现源图像的细节信息,保证了图像的整体清晰度和保留了源图像中的结构和纹理信息。这是由于在低频子带图像中,应用梯度信息相关性因子作为系数权值,增强了融合图像的对比度,突出了目标信息;高频子带采用系数绝对值与区域标准差一致性选择策略,保留了边缘细节丰富区域,消除了可能出现的图像不连续性和去除椒盐噪声,使融合后的图像更符合人的视觉。从表2可以看出:在FDST域,本文提出的融合策略融合的图像客观评价参数是最优的,表中数据与主观评价一致,进一步验证了本文融合策略的有效性。

表2 FDST域内不同融合策略融合结果的比较 Table 2 Fusion results comparison using different fusion rules in FDST domain

3.3 不同多尺度分解域基于不同区域客观评价融合结果的比较

为了验证本文融合方法的有效性,将本文融合方法(记为FDST_OA)与文献[20-22]中不同多尺度分解域结合不同区域客观评价的融合结果进行比较。文献[20]融合方法:在双树复小波(DTCW)域,低频子带采用区域相关系数构造权值进行加权融合;高频子带采用区域平均梯度取大策略选取系数,记为DTCWT_CG。文献[21]融合方法:在冗余提升不可分离小波(RLNSWT)域,低频子带采用区域梯度构造权值进行加权融合;高频子带采用区域梯度取大策略选取系数进

行融合,记为RLNSWT_LG。文献[22]融合方法:采用拉普拉斯分解(LP),低频子带利用区域窗口标准差构造权值进行加权融合;高频子带利用对比度和空间频率构造权值进行加权融合,记为LP_VAROA。源图像Ⅱ采用图9中红外和可见光、模糊和医学3组不同模态图像。融合结果如图10所示, 图10(a)(b)(c)为文献[18]DTCWT_CG融合结果; 图10(d)(e)(f)为文献[19]RLNSWT_LG融合结果; 图10(g)(h)(i)为文献[20]LP_VAROA融合结果; 图10(j)(k)(l)为本文融合方法FDST_OA融合结果。客观评价指标如表3所示。

表3 不同多尺度分解域结合不同区域客观评价融合结果的比较 Table 3 Fusion results comparison based on different area objective assessment t in different MSD domain

	Figure Option View Download New Window
	图9 源图像ⅡFig.9 Source images Ⅱ

	Figure Option View Download New Window
	图10 不同多尺度分解域结合不同区域客观评价融合结果Fig.10 Fusion results based on different area objective assessment in different MSD domain

3.4 融合效率的比较

本文融合方法中,FDST得到的子带尺寸与原始图像尺寸相同,需要计算的区域窗口数量较多。在低频子带中,需要计算区域窗口标准差、协方差,相对于具有下采样过程的多尺度分解和直接采用区域窗口特征值的加权平均方法^{[ 11, 15]}的融合效率要低,但本文方法能够进一步提高融合图像质量。

近年来,由于非下采样Contourlet波(NSCT)能够克服Contourlet变换不具备平移不变性的缺点而被广泛地作为多尺度分解工具,脉冲耦合神经网络(PCNN)能够有效地提取图像的细节特征,顾及图像的全局及单点像素特性而成为广泛应用的图像融合策略,取得了较好的融合效果^{[ 16]}。但NSCT的分解和重构滤波器需满足Bezout等式,构造复杂、数据量大、计算效率低,同时PCNN融合规则需要计算神经元的链接强度和点火次数,增加了计算的复杂度。而本文的融合方法中,利用膨胀、旋转和剪切等仿射理论构造的FDST结构简单、易于实现、计算效率高,融合规则中只需计算窗口标准差、协方差等参数,相对降低了计算复杂度。因此,对于融合效率的比较分两步进行:①对FDST、NSCT和Contourlet分解效率进行比较,在比较过程中,融合策略均采用传统融合策略,分别记为NSCT_ABS、FDST_ABS和Contourlet_ABS。这样可以避免过多融合运算的时间消耗,突出多尺度变换本身的时间消耗;②将本文融合方法FDST_OA与文献[11]融合方法DWT_SFABS、文献[15]融合方法Contourlet_AVSF、文献[16]融合方法NSCT_PCNN的融合效率进行比较。试验过程中,FDST分解尺度为3,NSCT和Contourlet的尺度向量为[2,3,4],使分解的子带数保持一致,以体现公平性,DWT分解尺度为4。运行环境:Intel(R) Celeron(R) CPU2.4 GHz,2 G内存,MATLAB2008a平台,源图像采用图11(a)(b)可见光和毫米波图像,灰度值为256,大小为256×256。试验结果如图11所示,客观评价及运行时间如表4所示。

	Figure Option View Download New Window
	图11 不同多尺度分解融合方法的融合结果Fig.11 Fusion results using different MSD fusion methods

由表4可以看出:NSCT_ABS与FDST_ABS融合方法的评价指标接近,优于Contourlet_ABS。说明NSCT和FDST所具有的平移不变性能够提高融合图像的质量,但NSCT融合所消耗的时间是FDST的40倍之多,这说明虽然具有类似的平移不变性,但是NSCT方法是以高时间消耗为代价的。由表4可以看出,本文融合方法FDST_OA的各项评价指标均优于DWT_SFABS、Contourlet_AVSF和NSCT_PCNN,但时间消耗要大于DWT_SFABS和Contourlet_AVSF,而小于NSCT_PCNN,这说明本文融合策略在得到较好融合效果的同时,具有较高的计算效率。

表4 不同多尺度分解融合方法计算效率比较 Table 4 Computation efficiency comparison of different MSD fusion methods

4 结束语

针对已有的多尺度分解图像融合方法的缺陷,将FDST引入图像融合领域,提出了基于区域客观评价的FDST域图像自适应融合方法。利用膨胀、旋转和剪切等仿射理论构造的FDST具有结构简单、易于实现等优点,使其具有较高的计算效率。FDST所具有的抛物线尺度化特性、平移不变性、高的方向敏感性和优良的局部化特性,可有效地提取源图像的特征信息。在融合过程中,低频子带采用梯度信息相关性因子作为系数权值,高频子带应用绝对值与区域标准差一致性选择的融合策略。试验结果表明:本文提出的图像融合方法与其他融合方法相比较,能够得到较好的融合效果,具有较强的自适应能力。同时,本文所提出的融合策略也可应用于其他多尺度分解图像的融合。

The authors have declared that no competing interests exist.

参考文献

View Option

[1]	付朝阳, 郭雷, 常威威. 基于小波变换和多通道脉冲耦合神经网络的高光谱图像融合[J]. 吉林大学学报: 工学版, 2011, 41(3): 838-843. Fu Zhao-yang, Guo Lei, Chang Wei-wei. Fusion algorithm of hyperspectral images based on wavelet transform and multi-channel PCNN[J]. Journal of Jilin University (Engineering and Technology Edition), 2011, 41(3): 838-843. [本文引用:1] [CJCR: 0.701]
[2]	孙明超, 张崇, 刘晶红. 多尺度图像增强可见光与红外图像融合[J]. 吉林大学学报: 工学版, 2012, 42(3): 738-742. Sun Ming-chao, Zhang Chong, Liu Jing-hong. Fusion of visible and infrared images based on multi-scale image enhancement[J]. Journal of Jilin University(Engineering and Technology Edition), 2012, 42(3): 738-742. [本文引用:1] [CJCR: 0.701]
[3]	Cand ès E J, Donoho D L. New tight frames of curvelets and optimal representations of objects with piecewise C2 singularities[J]. Comm on Pure and Appl Math, 2004, 57(2): 219-266. [本文引用:1]
[4]	Do M N, Vetterli M. The contourlet transform: an efficient directional multiresolution image representation[J]. IEEE Trans Image Proc, 2005, 14(12): 2091-2106. [本文引用:1]
[5]	马苗, 万仁远, 尹义龙. 基于相似性灰关联的Curvelet域多聚焦图像融合[J]. 电子学报, 2012, 40(10): 1984-1988. Ma Miao, Wan Ren-yuan, Yin Yi-long. Multi-focus image fusion based on grey relation of similarity in curvelet domain[J]. Acta Electronica Sinica, 2012, 40(10): 1984-1988. [本文引用:1] [CJCR: 0.686]
[6]	路雅宁, 郭雷, 李晖晖. 结合边缘信息和图像特征信息的曲波域遥感图像融合[J]. 光子学报, 2012, 41(9): 1118-1123. Lu Ya-ning, Guo Lei, Li Hui-hui. Remote sensing image fusion using edge information and features of SAR image based on curvelet transform[J]. ACTA Photonic Sinica, 2012, 41(9): 1118-1123. [本文引用:1]
[7]	宋梦馨, 郭平. 结合Contourlet和HSI变换的组合优化遥感图像融合方法[J]. 计算机辅助设计与图形学学报, 2012, 24(1): 83-88. Song Meng-xin, Guo Ping. A combinatorial optimization method for remote sensing image fusion with contourlet and HIS transform[J]. Journal of Computer-Aided Design & Computer Graphics, 2012, 24(1): 83-88. [本文引用:1]
[8]	冯鹏, 王静, 魏彪, 等. 一种基于Contourlet变换的GFP图像与相衬图像融合算法研究[J]. 光电子·激光, 2013, 24(1): 176-183. Feng Peng, Wang Jing, Wei Biao, et al. A fusion algorithim for GFP images and phase-contrast images based on Contourlet transform[J]. Journal of Optoelectronics·Laser, 2013, 24(1): 176-183. [本文引用:1]
[9]	Häuser S, Steidl G. Convex multiclass segmentation with shearlet regularization[J]. International Journal of Computer Mathematics, 2013, 90(1): 62-81. [本文引用:1] [JCR: 0.542]
[10]	牛晓晖, 贾克斌. 基于 PCA 和自适应区域方差的图像融合方法[J]. 计算机应用研究, 2010, 27(8): 3179-3181. Niu Xiao-hui, Jia Ke-bin. Image fusion algorithm based on PCA & self-adaptive region variance[J]. Application Research of Computers, 2010, 27(8): 3179-3181. [本文引用:1] [CJCR: 0.601]
[11]	王红梅, 陈励华, 李言俊, 等. 一种基于显著特征的图像融合算法[J]. 西北工业大学学报, 2010, 28(4): 486-490. Wang Hong-mei, Chen Li-hua, Li Yan-jun, et al. A new and more effective image fusion algorithm based on salient feature[J]. Journal of Northwestern Polytechnical University, 2010, 28(4): 486-490. [本文引用:1] [CJCR: 0.3229]
[12]	易正俊, 宋瑞晶, 李华锋. 基于非采样 Contourlet 变换的图像融合算法[J]. 信号处理, 2010, 26(6): 875-879. Yi Zheng-jun, Song Rui-jing, Li Hua-feng. Image fusion algorithm based on nonsubsampled contourlet transform[J]. Signal Processing, 2010, 26(6): 875-879. [本文引用:1] [JCR: 1.851]
[13]	Mertens T, Kautz J, Van Reeth F. Exposure fusion: a simple and practical alternative to high dynamic range photography[J]. Computer Graphics Forum, 2009, 28(1): 161-171. [本文引用:1] [JCR: 1.638]
[14]	李俊山, 杨威, 张雄美. 红外图像处理、分析与融合[M]. 北京, 科学出版社, 2009: 203-205. [本文引用:1]
[15]	刘坤, 郭雷, 常威威. 基于Contourlet变换的区域特征自适应图像融合算法[J]. 光学学报, 2008, 28(4): 681-686. Liu Kun, Guo Lei, Chang Wei-wei. Regional feature self-adaptive image fusion algorithm based on contourlet transform[J]. Acta Optica Sinica, 2008, 28(4): 681-686. [本文引用:1] [CJCR: 1.042]
[16]	金星, 李晖晖, 时丕丽. 非下采样Contourlet变换与脉冲耦合神经网络相结合的SAR与多光谱图像融合[J]. 中国图象图形学报, 2012, 17(9): 1188-1195. Jin Xing, Li Hui-hui, Shi Pi-li. SAR and multispectral image fusion algorithm based on pulse coupled neural networks and non-subsampled Contourlet transform[J]. Journal of Image and Graphics, 2012, 17(9): 1188-1195. [本文引用:1] [CJCR: 0.758]
[17]	Leung L W, King B, Vohora V. Comparison of image data fusion techniques using entropy and INI[C]∥Proc of 22nd Asian Conference on Remote Sensing, Singapore, 2001, 152-157. [本文引用:1]
[18]	Qu Gui-hong, Zhang Da-li, Yan Pin-fan. Information measure for performance of image fusion[J]. Electronic Letters, 2002, 38(7): 313-315. [本文引用:1]
[19]	Xydeas C S, Petrovi V. Objective image fusion performance measure[J]. Electronics Letters, 2000, 36(4): 308-309. [本文引用:1] [JCR: 1.038]
[20]	曾立庆, 蒋年德. 基于邻域内相关系数与平均梯度的图像融合方法[J]. 计算机工程与设计, 2010, 31(7): 1533-1535. Zeng Li-qing, Jiang Nian-de. Image fusion based on correlation coefficient and average gradient[J]. Computer Engineering and Design, 2010, 31(7): 1533-1535. [本文引用:1] [CJCR: 0.789]
[21]	王卫星, 曾基兵. 冗余提升不可分离小波的图像融合方法[J]. 电子科技大学学报, 2009, 38(1): 13-16. Wang Wei-xing, Zeng Ji-bing. Image fusion method based on redundant lifting non-separable wavelet transforms[J]. Journal of University of Electronic Science and Technology of China, 2009, 38(1): 13-16. [本文引用:1]
[22]	潘瑜, 王静, 孙权森, 等. 结合图像质量评价参数的多尺度分解融合策略[J]. 应用科学学报, 2011, 29(2): 159-168. Pan Yu, Wang Jing, Sun Quan-sen, et al. Fusion strategy of multi-scale image decomposition combined with image quality evaluation[J]. Journal of Applied Sciences, 2011, 29(2): 159-168. [本文引用:1] [CJCR: 0.5182]

2011

0.0

0.701

. 2011, 41(3):838-843

Fusion algorithm of hyperspectral images based on wavelet transform and multi-channel PCNN

College of Automation,Northwestern Polytechnical University,Xi’an 710072,China

A novel fusion algorithm based on Pulse Coupled Neural Networks (PCNN) is proposed to fuse multi-band of hyperspectral images. Using wavelet transform to decompose images into multi-levels for extracting the approximation and high frequency information in different orientations. Each sub-band in wavelet domain of multiple images is input to a multi-channel PCNN model to nonlinear fusion. Then the fused approximation sub-band is generated directly using the firing map. Various high frequency sub-bands are segmented into different regions by the histogram vector center of gravity and deviation of the firing matrix and are fused by different fusion rules in different regions. The fusion image is reconstructed by inverse wavelet transform. Experiment results of OMIS images show that the proposed algorithm can effectively fuse multiband of hyperspectral images and derive rich information of textures and details.

针对高光谱多波段图像融合的问题,提出了一种基于小波变换和多通道脉冲耦合神经网络模型的新融合方法。该算法利用小波变换对图像进行多尺度分解,将得到的低频和高频系数分别采用多通道PCNN模型进行非线性融合处理,对低频子带直接利用其点火频率图得到融合结果,对各高频子带则利用点火频率图的直方图矢量重心及偏差计算自适应阈值并进行区域分割,对不同的区域采用不同的融合规则进行融合处理；最后进行小波重构得到融合图像。对OMIS高光谱图像的实验结果表明:所提方法能够有效地融合高光谱多个波段图像信息,且纹理细节信息突出。

2012

0.0

0.701

. 2012, 42(3):738-742

Fusion of visible and infrared images based on multi-scale image enhancement

1. Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China; 2. Graduate School of the Chinese Academy of Sciences, Beijing 100039, China; 3. Military Representative Office Stationed in Changchun Area by Shenyang Military Respresentative Bureau, General Armament Department, Changchun 130033, China

Images of the same scene, respectively obtained from visible and infrared sensors, are different in the high-frequency details. Based on this character, first, wavelet transform is imposed on the infrared image and visible light image that are in register, and the edges of the two images are extracted under multi-scale. Second, local module square and its ratio are respectively considered as the activity measure and match measure, and the image edge feature is considered as fusion strategy. The fusion image is obtained through synthesis module and multi-scale inverse transform. Finally, the fusion image is enhanced and assessed. Under the wavelet domain, image edge extraction, image enhancement and image fusion are combined. Experimental results show that high quality visible and infrared images are obtained under the objective evaluation criteria in the absence of standard reference image.

针对同一场景在可见光和红外传感器得到的图像其高频细节部分存在着较大差异这一特点,首先对已经配准的红外传感器和可见光得到的图像进行小波变换,在多尺度下对两幅图像进行边缘提取。然后以局部模方为活性测度,局部模方的比值为匹配测度,并且利用图像的边缘特征指导融合策略,经过合成模块和多尺度逆变换得到融合图像。最后对融合后的图像进行图像增强,并对其进行客观评价,证明了本文方法的有效性。

2004

0.0

. 2004, 57(2):219-266

New tight frames of curvelets and optimal representations of objects with piecewise C² singularities

Emmanuel J. Candès 1 andDavid L. Donoho 2

1California Institute of Technology, Applied and Computational Mathematics, Pasadena, CA 91125 2Stanford University, Department of Statistics, Stanford, CA 94305

This paper introduces new tight frames of curvelets to address the problem of finding optimally sparse representations of objects with discontinuities along piecewise C² edges. Conceptually, the curvelet transform is a multiscale pyramid with many directions and positions at each length scale, and needle-shaped elements at fine scales. These elements have many useful geometric multiscale features that set them apart from classical multiscale representations such as wavelets. For instance, curvelets obey a parabolic scaling relation which says that at scale 2^−j, each element has an envelope that is aligned along a “ridge” of length 2^−j/2 and width 2^−j.

... 为了解决小波变换的局限性,研究者先后提出了Curvelet^[3]和Contourlet变换^[4],这两种变换具有很好的方向敏感性和各向异性,能够准确地捕获图像中的边缘信息,取得了良好得融合效果^[5,6,7,8] ...

2005

0.0

2012

0.0

0.686

. 2012, 40(10):1984-1988 DOI:10.3969/j.issn.0372-2112.2012.10.014

Multi-focus image fusion based on grey relation of similarity in curvelet domain

1. School of Computer Science, Shaanxi Normal University, Xi'an, Shaanxi 710062, China; 2. School of Computer Science and Technology, Shandong University, Jinan, Shandong 250101, China

Focusing on multi-focus image fusion,this paper presents a Curvelet domain method based on grey relation of similarity for visible-light images.In this method,source images are respectively decomposed by multilevel discrete Curvelet transform first.Then,after high frequency coefficients were divided into small blocks,grey Euclid relational degrees of grey theory are used to compute the similarities of these blocks,on which the high-frequency coefficients are fused,while the arithmetic mean method is used to fuse the low-frequency coefficients.Finally,a fused image is reconstructed with the fused coefficients by performing the inverse Curvelet transform.Experimental results show that the proposed method is superior to pyramid-based methods and wavelet-transform-based methods in terms of entropy,standard deviation and clarity.

针对多聚焦图像融合问题,提出一种基于相似性灰关联的Curvelet域可见光图像融合方法.该方法首先将待融合图像进行多级Curvelet分解,然后对各融合图像的高频系数进行分块,利用灰色理论中的灰色欧几里德关联度确定各子块间的相似性,并制定不同的高频系数融合策略,低频系数则采用算术平均法融合;最后,通过Curvelet逆变换重构融合图像.实验结果显示,该方法融合图像的信息熵、标准差和清晰度等指标优于金字塔融合法以及小波变换法等常见的多种融合方法.

2012

0.0

. 2012, 41(9):1118-1123 DOI:10.3788/gzxb20124109.1118

Remote sensing image fusion using edge information and features of SAR image based on curvelet transform

College of Automation, Northwestern Polytechnical University, Xi'an 710129, China

Curvelet transform, as a method of multiscale geometric analysis, is more suitable for image processing than wavelet, and more appropriate for analyzing the image edge characteristics of curve and line, which has better approximation precision and sparsity description. In this paper, the methods of integrating SAR image and MS image are proposed based on curvelet transform. SAR image and I image, which is given by a linear HSI transform are given by curvelet transform to obtain coarse coefficients and detail coefficients. The new coarse coefficients are obtained by using edge information and features of SAR image. The detail coefficients are dealt with traditional method that gets max of detail coefficients both I and SAR image.Then, the inverse curvelet transform gets the new intensity I image. Finally degree of distortion and space frequency are used to evaluate the result. The results of experiment indicate that the method excels those of based on HSI or curvelet transform in preserving spectral information and enhancing resolution.

曲波变换是一种更适合于图像处理的多尺度几何分析方法,具有比小波变换更强的方向选择和辨识能力,而且对图像边缘的表达更优于小波.结合色度-饱合度-亮度变换将其应用于合成孔径雷达图像和多光谱图像融合可以更好地表示图像中的有用特征.首先对多光谱图像进行色度-饱合度-亮度变换,得到亮度分量I,对雷达图像和I分量进行曲波变换得到粗尺度系数和细节尺度系数;将雷达图像的粗尺度系数和细节尺度系数进行叠加,计算归一化的曲波系数直方图,定义边缘有效因子,利用合成孔径雷达图像的特征信息将曲波变换系数分为均匀区、非均匀区和亮点目标区.然后采用相应的融合规则对融合图像的粗尺度系数进行处理,对细节尺度系数采用简单的直接取大方法,逆变换后得到新的亮度分量.用新的亮度分量替代原亮度分量进行逆色度-饱合度-亮度变换得到最终融合结果,利用统计类指标对融合结果进行评价.实验结果表明,该方法在保持光谱信息和提高空间分辨率上都有较好的效果.

2012

0.0

2013

0.0

2013

0.542

0.0

2010

0.0

0.601

2010

0.0

0.3229

. 2010, 28(4):486-490

A new and more effective image fusion algorithm based on salient feature

充分利用小波变换的多分辨率分析特性,文章提出了一种基于显著特征的小波变换图像融合方法.首先对待融合图像进行小波分解,得到低频系数和高频系数;然后对低频系数提出了一种基于显著特征--空间频率的融合规则,对高频分量使用系数绝对值选大的规则进行融合;最后对融合后的低频系数和高频系数进行小波反变换得到融合图像.同时探讨了多聚焦图像中存在的虚假轮廓现象并提出了一种简便的定位方法.仿真实验表明,文中算法得到的融合图像在视觉效果上较传统算法及其一些改进算法有所提高,同时熵、标准差和互信息等客观评价指标值也得到了提高.

... 在低频子带中,需要计算区域窗口标准差、协方差,相对于具有下采样过程的多尺度分解和直接采用区域窗口特征值的加权平均方法^[11,15]的融合效率要低,但本文方法能够进一步提高融合图像质量 ...

2010

1.851

0.0

2009

1.638

0.0

. 2009, 28(1):161-171

Exposure Fusion: A Simple and Practical Alternative to High Dynamic Range Photography

T. Mertens 1 ,J. Kautz 2 andF. Van Reeth 1

1 Hasselt University — EDM transationale Universiteit Limburg, Belgium <a href="mailto:tom.mertens@uhasselt.be" title="Link to email address" shape="rect">tom.mertens@uhasselt.be</a> 2 University College London, UK

We propose a technique for fusing a bracketed exposure sequence into a high quality image, without converting to High dynamic range (HDR) first. Skipping the physically based HDR assembly step simplifies the acquisition pipeline. This avoids camera response curve calibration and is computationally efficient. It also allows for including flash images in the sequence. Our technique blends multiple exposures, guided by simple quality measures like saturation and contrast. This is done in a multiresolution fashion to account for the brightness variation in the sequence. The resulting image quality is comparable to existing tone mapping operators.

2009

0.0

2008

0.0

1.042

. 2008, 28(4):681-686

Regional feature self-adaptive image fusion algorithm based on contourlet transform

Contourlet变换克服了小波变换在处理高维信号时的不足,比小波变换具有更好的方向性、较高的逼近精度和更好的稀疏表达性能.因此将Contourlet变换应用于图像融合领域,能更好的提取图像边缘特征,为融合提取更多的特征信息.基于Contourlet变换的区域特征自适应图像融合算法是将图像进行Contourlet变换分解后,针对不同的频率域特点选择不同的融合规则,针对高频系数特性选用了区域特征自适应的融合规则,最后通过重构得到融合图像.将基于小波变换的融合算法和本文所提算法进行了主观和客观的对比,结果表明,基于Contourlet变换区域特征自适应的图像融合算法是一种有效可行的图像融合算法.

2012

0.0

0.758

. 2012, 17(9):1188-1195 DOI:10.11834/jig.20120920

SAR and multispectral image fusion algorithm based on pulse coupled neural networks and non-subsampled Contourlet transform

SAR and optical images have large differences in imaging-mechanism and spectral characteristics. Moreover, SAR images are always severe contaminated by speckle noise. Consequently, it is very difficult to obtain satisfying results while fusing SAR and optical images. Considering the advantage of non-sampled Contourlet transform(NSCT) comparing with other multiscale decomposition methods, a method of image fusion based on pulse coupled neural networks(PCNN) and NSCT is proposed. The source images are first decomposed in the NSCT domain. Energy of log in the NSCT domain is the input to motivate PCNN and coefficients in NSCT domain with high firing frequency are selected as coefficients of the fused image. Then the final fused image is obtained by NSCT reconstruction. Experimental results demonstrate that the proposed algorithm outperforms many other algorithms in both objective criteria and visual appearance.

由于获取地物波谱信息的波段范围及成像方式的不同,SAR与多光谱图像所得到的信息有很大差异,而且SAR图像会受到严重的相干斑噪声干扰,因此SAR与多光谱图像的融合很难获得满意的效果。考虑到非下采样Contourlet变换(NSCT)相比于其他多尺度几何分析方法的优势,提出了一种NSCT与脉冲耦合神经网络(PCNN)相结合的SAR与多光谱图像融合方法。源图像首先经过NSCT分解获得不同尺度多个方向下的分解系数,将分解系数的高斯拉普拉斯算子能量作为脉冲耦合神经网络模型的输入,具有较大点火频率的系数将被选择作为融合图像的系数,最后经过NSCT重构得到最终的融合图像。实验结果表明,这种算法无论在主观视觉还是在客观指标上都要优于之前的许多算法。

... 近年来,由于非下采样Contourlet波(NSCT)能够克服Contourlet变换不具备平移不变性的缺点而被广泛地作为多尺度分解工具,脉冲耦合神经网络(PCNN)能够有效地提取图像的细节特征,顾及图像的全局及单点像素特性而成为广泛应用的图像融合策略,取得了较好的融合效果^[16] ...

2001

0.0

... 应用互信息MI^[17]、信息熵EN^[18]和边缘信息传递量Q^AB/F[19]三种指标对融合图像进行客观评价 ...

2002

0.0

... 应用互信息MI^[17]、信息熵EN^[18]和边缘信息传递量Q^AB/F[19]三种指标对融合图像进行客观评价 ...

2000

1.038

0.0

... 应用互信息MI^[17]、信息熵EN^[18]和边缘信息传递量Q^AB/F[19]三种指标对融合图像进行客观评价 ...

2010

0.0

0.789

. 2010, 31(7):1533-1535

Image fusion based on correlation coefficient and average gradient

通过分析研究图像融合的客观评价指标,提出了一种新的基于邻域的融合策略,即首先对源图像进行双树复小波(DT-CWT)分解,得到高频和低频图像.针对低频图像采用相关系数为阚值,以标准差加权平均进行邻域融合,高频图像以平均梯度为测度参数进行邻域融合,最后进行逆变换得到融合图像.采用均值、方差、熵和平均梯度4种客观评价指标来评价融合图像效果.实验结果表明,该方法能够较好地适应相似度差异较大的多传感器图像融合,有效地增强融合图像的细节信息和清晰度.

Abstract：

By analyzing object evaluation of image fusion, a new method for image fusion based on neighborhood is proposed. Firstly, dual-tree complex wavelet is applied into source images to get high-frequency and low-frequency images. Secondly, weighted average neighborhood-standard-deviation combined with correlation coefficient threshold is adopted on low-frequency images. Neighborhood-Average-Gradient is adopted on high-frequency. Finally, the inverse transform is utilized to obtain fused image. The performance of the image fusion method is evaluated using four criteria including average value, square difference, entropy and average grads. Experimental results show that the proposed methods could adapt for the similarity of different multi-sensor image fusion and better for detail and definition.

2009

0.0

. 2009, 38(1):13-16

Image fusion method based on redundant lifting non-separable wavelet transforms

提出了一种基于冗余提升不可分离小波的多源图像融合方法.谊方法不仅能很好地提取图像的细节信息,而且具有平移不变性,非常适合于图像融合;同时,采用基于局部邻域梯度的融合规则对分解后的高频和低频小波系数作不同的处理.对多光谱红外图像以及不同类型的医学图像进行了融合试验,结果表明该方法可以取得更好的融合效果.

2011

0.0

0.5182

. 2011, 29(2):159-168 DOI:10.3969/j.issn.0255-8297.2011.02.009

Fusion strategy of multi-scale image decomposition combined with image quality evaluation

School of Computer Science and Technology, Nanjing University of Science and Technology,Nanjing 210094, China

The fusion strategy of multi-scale image decomposition is the key point to improve the image fusion. To make full use of the information in the progress of multi-scale image decomposition, an image fusion strategy combined with image quality evaluation is proposed. This strategy includes two parts: first, the salient feature in the last level instead of current level is used to construct the weight which is necessary for the fusion of current level’s approximation images; second, the parameters of the image quality measurement such as spatial frequency and contrast are introduced for the fusion of detail images. The experiment demonstrates that, compared with current common fusion rules, the proposed fusion strategy has improved the quality of the fused image in subjective aspect as well in objective aspect.

图像多尺度分解的融合策略是提升融合图像质量的关键. 为了充分利用图像多尺度分解过程中的信息，提出了利用图像质量评价参数进行图像融合的策略. 该策略主要分为两部分：在近似图像融合的策略中，利用上一分解层图像信息对应的显著性特征来构造当前层图像融合所需的权重；在细节图像的融合策略中，则引入空间频率、对比度来确定细节图像的选取. 实验表明，该文所提出的融合策略与目前常见的融合策略相比，所获得的主观视觉效果和客观参数评价效果均较好.