作者简介:刘哲(1982-),女,副教授,博士.研究方向:图像处理与分析.E-mail:1000004088@ujs.edu.cn
针对传统的图像处理是以单个像素点为基础进行融合而忽略了信息的相似性以及存在信息丢失的问题,提出了基于非下采样Contourlet变换(Nonsubsampled contourlet transform, NSCT)和相似信息鲁棒主成分分析(Robust principle component analysis, RPCA)模型的图像融合技术。首先对源图像获取图像块构造初始矩阵,通过对构造矩阵进行NSCT分解获得高频和低频部分,利用提出的具有相似信息低秩矩阵模型将低频成分分解成低秩矩阵和稀疏误差矩阵,再分别对两幅图像的低秩矩阵、稀疏误差矩阵及高频成分采用绝对值最大法融合规则进行融合,最后通过逆变换得到融合图像。MRI和CT的脑部图像的实验分析结果表明,本文算法可以更好地保留源图像中的边缘和纹理信息。
In traditional medical image fusion process based on single pixel, the information similarity is ignored and detailed information may loss. To solve these problems, an image fusion technology based on Nonsubsampled Contourlet (NSCT) and Robust Principal Component Analysis (RPCA) model with similar information is proposed. First, the initial matrix constructed by the image block from the original images is decomposed into low frequency and high frequency parts by NSCT transformation. Second, the low rank component is decomposed into low rank matrix and spare error matrix by using the low rank matrix model with similar information. Third, the low rank matrix of the two images, the spare error matrix and high-frequency components are fused by fusion rule of the absolute maximum method. Finally the fusion image is replaced by the inverse transform. The experiment results on CT and MRI show that the proposed method can maintain more edge and texture detailed information of the source images.
医学图像处理在疾病的诊断与临床的治疗中起着不可或缺的促进作用。传统的单模态成像设备已经不能够为临床医生对疾病做出正确地临床诊断提供足够的有效信息, 为了提高临疾病诊断准确率, 多模态医学图像融合技术应运而生[1]。
近年来, 稀疏表示, 低秩表示, 压缩感知在医学图像处理领域中得到了广泛应用。Yin[2]提出了基于多尺度字典学习的稀疏表示图像融合方法, 此方法基于多尺度平稳小波结构, 使用一致学习策略学习平稳小波子带的子字典。Yin等[3]提出了新的基于多目标稀疏表示的图像融合方法。Liu等[4]对基于多尺度分解和稀疏表示的图像融合框架进行研究, 模型分析了稀疏表示, 并对不同的多尺度方法相结合的融合性能进行比较, 实验结果表明这种方法在针对不同的源图像时需要不同多尺度分解方法。Ren等[5]提出了基于压缩感知和低秩矩阵分解的超分辨率图像融合方法。由压缩感知理论推广发展而来的低秩矩阵恢复, 也成为近些年来的研究热点。在医学图像融合领域, Wang等[6]提出了基于各向异性热扩散和低秩结构分析的多模态医学图像融合算法。该算法通过构造图像金字塔, 使用分而治之的方法嵌入多层次图像属性来计算各向异性热核, 用低秩表示来获得低阶分量信息特征的尺度空间, 其中噪声可以自然地同步解耦, 最后用相应的融合策略对分解的尺度空间进行融合。
利用低秩表示图像融合方法具有显示信息准确性和鲁棒性的优势, 并考虑到图像信息之间的相关性, 提出了基于相似信息鲁棒主成分分析模型的医学图像融合算法。首先构造基于相似信息鲁棒主成分分析模型, 通过NSCT进行多分辨率变换, 根据构建的模型将低频成分分解成低秩矩阵和稀疏误差矩阵, 再分别对图像的低秩矩阵、稀疏误差矩阵及高频成分采用绝对值最大法融合规则进行融合, 最后逆变换得到融合图像。实验结果表明本文算法可以更好地保留源图像的信息。
近几年来, 低秩矩阵恢复(Low-rank matrix recovery, LRMR)成为继压缩感知和稀疏表示以来的另一个研究热点[7, 8, 9]。低秩矩阵恢复主要是从较大的但稀疏的误差中恢复出其本质的低秩的数据矩阵[10]。目前, 低秩矩阵恢复主要包括鲁棒主成分分析(Robust principle component analysis, RPCA)、矩阵补全(Matrix completion, MC)和低秩表示(Low-rank representation, LRR)三类模型[11]。
John Wright提出了鲁棒主成分分析模型(RPCA)研究如何从包含较大的稀疏噪声数据的数据中恢复出本质的低秩数据[12]。其模型如下:
式中:
其中矩阵的核函数
为了将数据矩阵分解成低秩的主要特征信息和稀疏的显著特征信, 并且还要在在低秩特征信息里充分保留数据彼此间的相似信息, 构建结合相似信息的RPCA模型。对于含有稀疏误差信息的低秩数据矩阵, RPCA可以将矩阵
为了达到分解的效果, 需要对
式(4)是一个高度非凸优化问题, 是NP难的, 直接求解比较困难, 因此需要对其进行松弛处理。得到以下模型:
式中:
对于数据矩阵
为了能够获得图像块
式中:
则本文提出的基于相似信息的RPCA的模型可以表示为:
下面将给出模型(10)的求解方法以及相应的算法描述。
已知模型是凸优化问题, 具有唯一解。如果直接求解模型较为困难, 因此引入了一个新的矩阵
采用增广拉格朗日乘子法(ALM)对式(11)进行求解。先为其构造增广拉格朗日函数:
式中:
(1)首先固定变量
(2)接着固定变量
(3)再固定变量
(4)再固定变量
(5)更新惩罚因子
式中:
下面给出具体的算法流程, 如下所示。
算法1:结合相似信息的鲁棒主成分分析模型
输入:数据矩阵
输出:低秩主要特征信息
初始化:
主要步骤:
(1)按照式(7)(8)(9)计算拉普拉斯矩阵
(2)根据式(13)更新
(3)根据式(14)更新
(4)根据式(15)更新
(5)根据式(16)、(17)更新
(6)根据式(18)更新惩罚因子
(7)检验迭代终止条件:
重复步骤(3)~(7), 否则终止, 输出低秩主要特征信息
根据构建的相似信息的RPCA模型, 结合多分辨率理论, 提出了基于NSCT和改进RPCA医学图像融合算法。首先获取源图像对应的图像块矩阵, 用非下采样轮廓波对相似块进行尺度分解, 然后对低频部分采用构建新模型分解成低秩矩阵和稀疏误差矩阵, 选取合适的融合规则对分解系数进行融合, 图像融合算法流程如图2所示。
图像融合算法如下:
(1)对源图像A和源图像B进行块提取则形成新的矩阵
(2)
(3)高频系数部分则用绝对值最大法进行融合。
(4)将融合后的低秩部分
(5)对高频和低频部分采用多尺度变换的逆变换得到最终的融合结果
为了验证算法的有效性, 在MATLAB 2014a上进行仿真实验, 采用的实验数据是哈佛医学院的脑部图像[17], 并利用主观和客观的评价相结合的方式对融合结果进行分析比较, 客观评价采用AG[18]、QABF[19]、EG[20]、MI[20]、Entropy[21]评价指标。实验数据分为正常图像(见图3)和病变图像(见图4), 其中癌症选取了53岁的癫痫病患者的CT和MRI图像作为原始数据, 如图3和图4中的(a)和(b)所示, 患者组数据为20组, 正常组数据也为20组。采用经典的NSCT[14]、NSCT_PCNN[22]、粒子群(PSO)[23]、离散小波变换(DWT)、双树复小波变换[4]、LP_稀疏表示(LP_SR)[4]、NSCT_稀疏表示(NSCT_SR)[4]、结合小波变换和自适应分块的多聚焦图像快速融合(DWTDE)[24], 基于方向滤波器的图像融合算法[25]和本文算法进行比较, 如图3和4中的(c)~(l)所示。
从图3直观地看, 上述的十种算法均能较好地保持源图像中的重要信息, 将两幅图像融合成一幅清晰的图像。从图3(c)和(d)可以看出NSCT算法和NSCT_PCNN算法的融合结果与本文方法结果最为接近; 图3(e)所示的PSO算法的融合图像相比其他的融合结果出现了丢失细节信息和边缘模糊的现象; 从图3(f)所示的DWT和(g)DTCWT两种算法可以发现产生了较为明显的振铃现象, 其中DWT的融合结果还呈现出块状拼接的现象; 从图3(j)和(k)可以看出, DWTDE和GF算法的融合结果均存在局部信息有所丢失的问题, 边缘结构信息不完整; 本文方法采用了NSCT进行多分辨率分解, 实现了图像的平移不变性, 从而解决了振铃现象的出现, 并且本文算法将图像的信息分解成低秩部分和稀疏误差部分, 分别代表图像的内部结构信息和显著特征信息, 同时还对图像块的相似信息加以利用, 较好地保留了原始图像中的流形结构信息, 因而取得了良好的视觉效果。
从表1的客观评价指标可知, 在AG指标上, 本文方法的值最大, 表明基于多尺度分解和低秩矩阵模型方法的融合图像最为清晰。在EG、MI、Entropy的指标值上同样是本文算法指标值最大, 意味本文方法的融合结果的信息最为丰富且边缘也最为清晰, 还原度最高。QABF的指标值上, 本文方法在指标值上同样具有优势, 表明基于多尺度分解和低秩矩阵模型的方法和源图像的细微差距最小, 能够具有更好的融合结果。
采用患癌症的病人的脑部CT和MRI图像进行融合比较分析, 如图4所示。从图4(f)和(g)可以看出, DWT和DTCWT都具有较为明显的振铃现象, 其原因都是因为直接对图像进行上采样和下采样的操作。而经典的NSCT方法和基于NSCT方法的图像融合方法由于对采样机制的改进, 从图4中可知, 融合结果均能消除振铃。如图4(g)所示, DWTED方法未能对于轮廓边缘的信息进行很好地描述, 信息丢失比较严重。同其他方法相比, 本文算法融合图像具有更好的融合效果, 不仅对两幅源图像中的主要信息进行了有效的融合, 还有细节信息还原度高, 轮廓也更为清晰。
从客观角度进行融合比较分析, 如表2所示。从表中可知, 本文算法对于AG、EG、MI、Entropy指标综合比较表现最优, 表明本文算法融合图像的边缘信息清晰和更加丰富的图像信息。在第二组实验中, QABF与其他指标一样, 其指标值最大, 表明本文算法融合结果与源图像在细微信息的差距最小。从各项客观评价指标比较分析, 本文方法融合图像清晰水平更高, 信息也更为丰富。
针对图像融合易忽略数据之间的相似性, 提出了一个基于NSCT和相似信息模型的RPCA图像融合算法。为了能让融合图像之间能保留更多的细节相似信息, 本文在模型中引入了相似矩阵块的概念; 然后通过改进后的RPCA将NSCT分解后的低频系数将其分解为低秩矩阵和稀疏误差项, 其中低秩部分则表示图像的内部主要结构, 而稀疏误差部分为其的显著部分; 最后再采用相应的融合规则对图像进融合。为了验证本文算法的性能, 在哈佛医学院的脑部的CT和MRI图像进行仿真实验。实验结果表明, 本文算法在其细节信息还是边缘结构信息都具有更好的包含能力, 具有更好的融合性能。
The authors have declared that no competing interests exist.
[1] |
|
[2] |
|
[3] |
|
[4] |
|
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
|
[10] |
|
[11] |
|
[12] |
|
[13] |
|
[14] |
|
[15] |
|
[16] |
|
[17] |
|
[18] |
|
[19] |
|
[20] |
|
[21] |
|
[22] |
|
[23] |
|
[24] |
|
[25] |
|