近年来, 随着多媒体技术在图像复原和图像编辑等领域的广泛应用, 图像修复技术得到了越来越多的关注^{[1, 2, 3]}。目前图像修复算法大体上可以分为两类:一类是Diffusion-based修复方法; 另一类是Exemplar-based修复方法。

Diffusion-based修复方法是基于参数模型或者偏微分方程, 从图像破损区域的边缘向内逐渐平滑过渡, 将平滑优先性传播或分散到局部结构中, 该类算法可有效解决小区域破损区域的修复问题。其中, Bertalmio首先将偏微分方程(Partial differential equation, PDE)算法引入到图像修复领域, 并在此基础上提出了Navier-Stokes方程^[4]。Shen^[5]提出了CCD模型, Chan^[6]提出了全变分(Total variation, TV)模型, 增加了等照度线的几何信息, 可以对较大破损区域进行修复。之后Chan^[7]对TV模型进行了改进, 提出了快速优化转移算法(FOTA), 在小波域对图像进行修复, 提高了算法的修复效率。除此之外, Zhang等^[8]将TV模型与分数导数结合, 提出了分数阶TV模型。

Exemplar-based算法最早由Criminisi等^[9]提出, 算法是通过在资源区搜索与目标块的最优匹配块, 并将其直接复制到破损区域来实现图像修复。由于该方法能够保持纹理特征的一致性, 可以解决大区域破损图像的修复问题, 代表了当前的主流研究方向。在Exemplar-based算法的基础上, 各国学者提出了许多改进算法, 如:Xue等^[10]提出通过融合颜色比梯度原则来增强资源块与目标块之间的相似性。Kuo等^[11]提出了一种基于梯度分析的自适应修复算法, 在一定程度上避免了图像的模糊化效应。Xu等^[12]提出了一种基于块的稀疏性的优先权的计算方法, 通过计算待修复块在其邻域中的结构稀疏性来决定块的修复顺序。Zhou等^[13]提出一种自适应确定样本块大小的算法, 能够根据完好区域图像像素所处邻域的结构信息, 自适应选取样本块的大小。何凯等^[14]提出一种改进的纹理合成算法, 在传统图像修复算法优先权系数的基础上增加了方向性优先权系数, 改善了非均匀纹理图像大区域的修复效果。Lin等^[15]提出多尺度显著性结构传播的图像修复算法, 并采用改进的蚁群算法来修复显著性结构周边区域。Cheng等^[16]提出了一种稳健的图像修复算法, 对传统算法的优先权函数进行改进, 克服了随迭代次数增加, 待修复的目标块的置信度逐渐逼近零值的缺点。Lee等^[17]在此算法基础上, 增加了图像分割、曲线拟合, 以及自适应确定修复参数等, 提高了修复效果。

值得注意的是, 当在修复具有大区域破损结构和光照变化的纹理图像时, 利用Exemplar-based修复算法及其改进算法容易出现误匹配的现象, 进而导致修复后结构断裂或纹理光照分布不均, 影响图像最终修复效果。针对上述问题, 本文尝试对传统等照度线函数检测方法进行改进, 利用获得的等照度线函数对纹理合成过程进行引导, 以获得稳健的图像修复效果, 仿真实验结果证明了本文方法的有效性。

Guided滤波是近年来新兴的一种保护边缘图像滤波算法。假设引导图像 I和滤波输出图像 y之间满足一种局部线性模型, 即滤波输出图像 y可认为是引导图像 I在以像素 k为中心的方形窗口 ωk的线性变换, 即:

yi=akIi+bk, ∀i∈ωk(1)

式中:( ak, bk)为方形窗口 ωk的线性常量系数。

线性常量系数( ak, bk)可以通过令滤波输出图像 y和滤波输入图像 x差值的最小化来获得, 定义窗口中最小化代价函数如下:

E(ak, bk)=∑i∈ωkakIi+bk-xi2+εak2(2)

式中: ε是为了避免ak变化过大的正则化参数。

式(2)可采用如下的线性回归进行求解:

ak=1ω∑p∈ωkIixi-μkxk¯σk2+ε(3)

bk=xk¯-akμk(4)

式中: μk、σk2分别为引导图像 I在窗口 ωk中的均值和方差; ω为在窗口 ωk中的像素数; xk¯=1ω∑i∈ωkxi为滤波输入图像 x在窗口 ωk中的均值。

优先权函数决定了待修复图像中目标区域中各像素的修复顺序, 它在很大程度上决定了图像修复的最终效果。传统基于Examplar-based算法及其改进算法, 其优先权函数计算过程中容易受到纹理细节和噪声干扰而产生样本块的误匹配, 对于复杂的自然背景图像, 很难获得理想的图像修复效果。

为了解决上述问题, 本文首先利用Guided滤波器来去除图像的纹理细节和噪声, 以减少或避免由于细节和噪声干扰所引起的误匹配。然后, 利用改进后的等照度函数对传统的优先权函数进行改进, 以获得稳健的图像修复效果。最后, 利用结构图像的修复来引导实现纹理细节破损区域的修复过程。

2.1 基于改进等照度线函数的优先权函数计算

为了改善具有光照变化纹理图像以及复杂结构图像的修复效果, 本文利用改进后等照度线函数对纹理合成过程进行引导, 并将其与传统优先权函数相结合, 以改善图像修复质量。

假设图像为 u,其在待修复像素点 p的梯度向量可表示为 ∇up=(upx, upy),则其在点 p处的等照度线向量可以表示为梯度向量的正交向量, 即 ∇⊥up=(-upy, upx),其归一化表示为:

L→=∇⊥up|∇⊥up|(5)

式中: L→为图像在p点等照度线方向的归一化向量。

对数字图像 u进行拉普拉斯算子运算, 可以表示为:

Δu=[u(x+1, y)+u(x-1, y)+u(x, y+1)+u(x, y-1)]-4u(x, y)(6)

为了使图像修复沿着等照度线的方向传播, 可用下列方程实现:

U(p)=|∇(Δup)L→|(7)

式中: up为以 p为中心像素的待修复块。

上述等照度线计算方法虽然能够引导图像沿着等照度方向进行传播, 但在边缘部分容易产生等照度线方向传播的不稳定。针对上述等照度线计算方法存在的问题, 本文尝试利用各向异性扩散算法中的边缘停止函数对其进行改进, 重新定义等照度线函数为:

S(p)=G(U(p))=e-|U(p)||/λ)2)(8)

式中: λ为常系数; G·为传导函数, 其目的是起到锐化图像边缘的作用, 以实现对强边缘部分的保护, 保证等照度线的持续传播。

以操场图像为例, 其破损区域中某点 p的等照度线方向 S(p)如图1所示。

本文利用式(8)来实现图像色调沿图像梯度垂直方向的自动传播, 进而保证修复图像结构的连续性和光照分布的均匀性。将改进后的等照度线函数与传统优先权函数相结合, 本文优先权函数可表示为:

RP(p)=α·Rc(p)+β·S(p)(9)

式中: α、β为权重参数, 且满足0≤α,β≤1,α+β=1;S(p)为以点p为中心的像素块的等照度线值:

S(p)=∇Ip⊥·np|γ(10)

Rc(p)为置信项函数, 其计算公式为:

Rc(p)=(1-ω)C(p)+ω(11)

式中: ω为控制曲线平滑的正则化因子;

C(p)=∑q∈Ψp⋂ΦC(q)Ψp(12)

式中: Ψp为像素块中的像素个数; γ为归一化参数; ∇Ip⊥、np分别表示在 p点的等照度线向量和法向量。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 像素点p的等照度线方向Fig.1 Isophote direction of pixel p

利用Guided滤波器获得结构图像和纹理细节图像、二者的修复效果, 以及相加后的最终效果如图2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 结构图像、纹理图像以及最终图像的修复效果Fig.2 Inpainting effect of structure image, texture image and final image

由图2(b)可以看出:利用结构图像修复过程对纹理图像修复进行引导, 可以在结构图像修复的同时实现纹理细节的自动修复, 保证了修复图像的完整性。同时, 上述作法不会增加多余的计算时间, 保证了算法的修复效率。

为了验证本文算法的鲁棒性, 利用Matlab软件编程对几幅实际拍摄的自然背景图像(具有明显的结构信息和光照变化)进行了实验仿真, 结果分别如图3~图5所示。

参数选择为:Guided滤波中窗口 ωk半径 r=4;传导函数系数 λ=0.01;优先权函数中权重系数 α=0.8, β=0.2;正则化因子 ω=0.7。

从图3中可以看出:待修复图像的破损区域含有明显的线性结构信息, 同时纹理还具有明显的光照变化。文献^[9]算法对于结构部分的修复效果不够理想, 在沙滩与海水的交界部分有明显的修复痕迹; 文献^[16]和文献^[18]算法在修复过程中, 断裂结构不能沿正确的方向进行传播, 修复图像存在着明显的结构断裂现象; 而本文算法则克服了上述缺点, 同时获得了良好的结构和纹理修复效果。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 沙滩图像的修复效果Fig.3 Inpainting effect of sand image

图4中待修复图像的破损区域包含比较复杂的L型结构信息。文献^[18]中的算法对于L型结构部分的修复存在明显错误; 文献^[9]、文献^[16]算法对L型结构的修复结果相对好一些, 但是在曲线结构部分仍然存在明显的误匹配; 而本文算法则在L型结构和曲线结构部分都获得了较为理想的效果。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 操场图像的修复效果Fig.4 Inpainting effect of playgroud image

从图5中也可以看出, 与前3种算法相比, 本文算法对岩石的结构修复效果更为理想, 保持了纹理的光照变化, 修复效果更加真实、自然。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 海景图像的修复效果Fig.5 Inpainting effect of sea view image

利用Guided滤波算法实现了图像结构信息与纹理细节的分离, 减少了由于纹理细节和噪声干扰所引起的误差, 减少了误匹配。同时, 利用改进后的等照度线函数与传统优先权函数相结合, 提高了算法对复杂结构及光照变化纹理的鲁棒性, 获得了理想的图像修复效果, 仿真实验结果证明了本文算法的有效性。