Do和Vetterli^[6]于2002年提出了一种多分辨率、局域的、方向性的影像表示方法, 即Contourlet变换, 该变换首先对图像进行多尺度分析, 迭代使用Laplacian金字塔变换对低通子带进行分解; 高通部分则使用方向滤波器组对其进行多方向分解, 对各个方向上的不同奇异点进行组合, 提取出该方向奇异点系数, 得到该方向分解子图像。因此, Contourlet变换能够很好地表示出图像的纹理信息和轮廓信息。图1是Coutourlet变换框架原理。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 Coutourlet变换框架原理Fig.1 Coutourlet transformation framework principles

NSCT(非下采样Contourlet变换)取消了Contourlet变换分解和重构中的下采样环节, 由非下采样金字塔滤波器组(NSPFB)和非下采样方向滤波器组(NSDFB)构成^[7]。由于NSPFB和NSDFB这两部分满足完全重构的条件式(1)(2), 具有平移不变的性质, 因此NSCT也具备平移不变性且分解后所获得的子带图像与原始图像的大小是一致的。图2是NSCT分解示意图。

H0(z)G0(z)+H1(z)G1(z)=1(1)U0(z)V0(z)+U1(z)V1(z)=1(2)

式中:H₀(z)、H₁(z)分别为NSPFB的低通、高通分解滤波器; G₀(z)、G₁(z)分别为NSPFB的低通、高通重建滤波器; U₀(z)、U₁(z)分别为NSDFB的低通、高通分解滤波器; V₀(z)、V₁(z)分别为NSDFB的低通、高通重建滤波器。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 NSCT分解示意图Fig.2 Schematic diagram of NSCT decomposition

细化是在图像中将二值物体和形状减小为单个像素宽度的线, 在掌纹二值图像中, 则是将具有一定宽度的掌纹线用一条单个像素宽度的曲线来表示。

将集合S被{B}结构元素序列(见图3)细化定义为^[8]:

S⊗{B}m={((…((S⊗B1)⊗B2)…)⊗B8)}m3

式中:{B}={B₁, B₂, …, B₈}是8个方向的结构元素序列; m是进行图像细化时的总循环次数, 它的大小取决于目标图像的大小和边缘粗细。

细化过程是先用B₁细化一遍, 然后再用B₂对B₁的结果进行迭代细化, 如此往复直到用B₈细化一遍, 整个过程可以再重复直到没有变化为止。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 结构元素序列Fig.3 Structural element sequences

将非下采样Contourlet变换应用于掌纹图像, 对某个光谱下的掌纹图像I^X进行3层非下采样Contourlet变换分解, 得到1幅低频子带图像和14幅高频子带图像, 其分解图像如图4所示。本实验中的LP尺度分解滤波器组采用“ 9-7” 小波滤波, DFB方向分解时使用的是“ pkva” 格型滤波器组, 分解层数为3层, 设置参数levels=[1, 2, 3], 分解得到的低频子带矩阵为 D0X, 分解得到的高频子带矩阵为 Dlevels, kX, 第i层分解得到的高频子带图像数目为2^levels(i), 其中levels(i)是分解的层数, k是第i层第k个方向的高频信息。图像上像素位置为(x, y), d0X(x, y)表示最低频子带系数, d1, 1X(x, y)和 d1, 2X(x, y)分别表示第一层分解出的“ 水平” 方向高频子带系数和“ 垂直” 方向高频子带系数。

由图4可见, 第一层分解出2个高频子带图像, 是对掌纹图像的掌纹主要纹理信息分别进行“ 垂直” 和“ 水平” 方向的分解, 这一层的子带图像包含掌纹主线和较深较长的掌纹线; 第二层分解出4个高频子带图像, 是对前一尺度分解出来的表示掌纹图像基本轮廓信息的低频分量进行4个方向的再次分解, 选择其中的奇异点作为高频细节分量, 这一层的子带图像中包含大量浅而细碎的掌纹线; 第三层分解出8个高频子带图像, 是对前一尺度分解出来的低频分量进行8个方向的再分解, 选择其中的奇异点作为高频细节分量, 这一层的子带图像中不仅包含了大量短浅细碎的掌纹线, 同时也将掌纹图像中的噪声光照的影响显著地反映在子带图像中。掌纹图像经过NSCT变换分解后, 子带图像的尺寸与原图像相同, 使子带图像间的对应关系一目了然, 有利于对子带系数进行进一步的处理。根据对掌纹图像NSCT分解出的高频子带图像的纹理特点, 继续对NSCT变换在多光谱掌纹特征提取中的应用进行研究。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 掌纹NSCT变换高频子带图Fig.4 High-frequency sub-bands of palmprint image NSCT

基于NSCT的光谱掌纹特征融合框图如图5所示。为了提取掌纹的精细纹路特征, 就要先使用NSCT变换对各个光谱下的掌纹图像进行分解, 然后根据精细纹路特点设计融合规则, 将不同光谱分解出的高频部分和低频部分分别进行融合, 最后使用NSCT逆变换对融合后的系数矩阵进行重构得到融合后的掌纹精细纹路特征图像。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 基于NSCT的光谱掌纹特征融合Fig.5 Palmprint spectral characteristics fusion based on NSCT

2.2.1 单光谱图像系数增强

直接融合像素点的方法无法区分噪声和线边缘, 融合结果很容易受噪声的影响, 因此在进行多光谱掌纹特征融合前, 需要进行单光谱图像系数增强, 除去噪声和弱边缘, 保留掌纹线强边缘。对掌纹图像来说, 图像分解的低频部分是背景, 掌纹主线和精细纹路及噪声点是图像分解的高频部分, 随着分解层数的增加, 第2、3层高频子图所反映的纹线更细碎, 所含噪声点干扰更多(见图4(c)(d)), 而所要提取的包含异常病理纹的掌纹精细纹路和主线都是强边缘, 主要反映在第1层分解出的高频子图上(见图4(b)), 因此, 在对高频系数增强处理时, 只增强第1层高频系数, 其他层的高频系数对病理纹线提取贡献很小, 且受噪声干扰大, 做置0处理。

(1)低频系数处理

由于低频子带描述的是图像的概貌, 对掌纹精细纹路特征提取没有贡献, 因此将低频子带系数矩阵各系数 d0X(x, y)置0。

(2)高频系数增强处理

首先, 计算出第1层的两个高频子带图像的系数矩阵 D1, 1X和 D1, 2X的绝对值矩阵, 分别将两个绝对值矩阵中各个元素从大到小排列, 取出中间元素的值分别记 m1, 1X和 m1, 2X。

然后, 遍历系数矩阵 D1, 1X的各个元素 d1, 1X(x, y), 当元素值 d1, 1X(x, y)大于等于 m1, 1X时, 说明此为强边缘系数, 则保留元素的值; 当元素值 d1, 1X(x, y)小于 m1, 1X时, 说明此为弱边缘系数或者噪声点, 则将元素值 d1, 1X(x, y)置0, 进行消除, 处理规则如式(4)所示。同理, 对“ 垂直” 方向高频子带系数矩阵 D1, 2X进行处理。

d1, KX(x, y)=d1, KX(x, y), d1, KX(x, y)> m1, KX0, else4K∈{1, 2}

最后, 将第2、3层分解出的所有高频子带系数均置0。

2.2.2 多光谱图像系数融合

高频系数的绝对值越大, 表明此像素所在的线边缘强度越强, 所以在高频融合的过程中, 选择各光谱中绝对值较大的高频系数作为融合结果, 可以有效突出掌纹线边缘, 各光谱信息达到取长补短的效果。

将不同光谱下的待融合图像I^A、I^B、I^C、…、I^N经单光谱图像系数增强处理后, 把各自第1层“ 水平” 方向高频子带系数 d1, 1A(x, y)、 d1, 1B(x, y)、…、 d1, 1N(x, y)相融合, 各自第1层“ 垂直” 方向高频子带系数 d1, 2A(x, y)、 d1, 2B(x, y)、…、 d1, 2N(x, y)相融合。

第1层高频系数融合采用系数绝对值选最大融合规则, 即选取对应位置上系数的绝对值大的系数作为融合后的系数, 如式(5)所示。

d1, 1F(x, y)=max{|d1, 1A(x, y)|, |d1, 1B(x, y)|, …, |d1, 1N(x, y)|}d1, 2F(x, y)=max{|d1, 2A(x, y)|, |d1, 2B(x, y)|, …, |d1, 2N(x, y)|}5

手掌皮肤对不同光谱的反射吸收特性不同, 不同光谱下掌纹图像各有特点, 一般来讲, 波长越长, 射线对人体皮肤的穿透性越强, 手掌皮肤下面的静脉纹路越清晰, 波长越短, 成像越针对某一表层, 得到手掌表面细小纹线越清晰^[9]。现有的多光谱掌纹融合中所选择的融合光谱有三类:蓝光, 绿光, 红光与近红外光融合^{[10, 11]}; 可见光与近红外光融合^[12]; 黄绿光(580 nm)、红光(760 nm)与近红外光(990 nm)融合^[13]。由于现有的多光谱掌纹融合都是为了提高掌纹身份识别的准确度, 因此都将可见光与红外光进行了融合, 而本文是为了更清晰地提取手掌表面的精细纹路, 因此本实验选择能使手掌表面纹路更清晰的黄绿光谱下的掌纹图像与自然光下的掌纹图像相融合, 以增强自然光下掌纹图像中浅而细小的精细纹路。实验流程如图6所示。对于3个以上光谱的融合, 也可以按照本文方法进行处理, 但是实验提取结果差别不大, 而且处理数据量增大, 处理速度变慢, 因此黄绿光谱与自然光的双光谱融合效率最高。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 实验流程框图Fig.6 Experimental flow diagram

将经过NSCT逆变换后的掌纹融合图像进行数学形态学处理:

(1)二值化。NSCT逆变换后图像F的每个像素值都是有正有负的系数f(x, y), 其中系数大于1的像素点在图像上显示为白色, 系数小于0的像素点在图像上显示为黑色, 系数值在0~1区间的像素点在图像上显示为灰色。因此, 为了清晰地显示融合后掌纹纹线特征, 则按照式(6)对图像先进行二值化处理, 即将所有系数值小于0的像素点置黑, 将所有系数值大于等于0的像素点置白, 得到二值化后的图像F¹。

f1(x, y)=0, f(x, y)< 01, else6

(2)图像取反。将图像中黑色像素(像素值为0)转换成了白色(像素值为1), 将图像中白色像素(像素值为1)转换成了黑色(像素值为0), 即得到反色后的图像F², 掌纹纹路为白色, 背景为黑色。

(3)数学形态学细化处理。直接融合后的掌纹线是有宽度且互相重叠的狭长区域, 不利于后续识别特殊形状病理纹, 也不利于与文献[3]的实验结果相对比分析, 因此对图像进行数学形态学细化处理, 用单个像素宽度的线表示掌纹线的位置和走向, 即将图像F²中的白色掌纹纹路细化成单个像素宽度的掌纹线, 掌纹线更加清晰, 有利于后续对异常病理纹形状的分析和识别。

本文采用8方向的形态结构元, 采用循环删除像素点的方式进行细化, 直到图像中掌纹线宽度变成单像素, 图像结果不发生变化为止。

为了验证本文方法的有效性, 选取了配准后的自然光下和黄绿光谱(580 nm^[13])下的掌纹图像进行精细纹路提取实验, 并与邬向前教授^[3]提出的构造方向线检测器提取掌纹线的算法进行了对比。

图7(a)和图7(b)分别是自然光和黄绿光谱下的掌纹图像。图7(c)和图7(e)分别是图7(a)经过NSCT分解后的第1层“ 垂直” 方向高频子图和“ 水平” 方向高频子图。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 双光谱图像特征融合过程Fig.7 Double-spectral image characteristics fusion process

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 形态学处理过程Fig.8 Morphological processing

图7(d)和图7(f)是图7(b)经过NSCT分解后的第1层“ 垂直” 方向高频子图和“ 水平” 方向高频子图。图7(g)是两种光谱融合后NSCT逆变换后的图像。图8是对掌纹融合图像进行数学形态学处理, 其中图8(a)是二值化结果, 图8(b)是图像反色结果, 图8(c)是形态学细化结果。文献[3]提出设计一组θ 方向线检测器算子, 分别将0° 、45° 、90° 和135° 方向线检测器算子与图像作卷积, 检测各个方向的纹线并叠加融合在一起, 再进行形态学闭操作和细化得到掌纹线提取结果。将实验图像用文献[3]的方法处理得到结果如图9所示。将图8(c)与图9相比较可以看出, 用文献[3]的方法只清晰地提取出了1条最长最深的“ 智慧线” , 周围还有很多平行或交错的纹线, 但这些纹线大多数为手掌上较深的褶皱, 对于手掌心主线周围较浅的细纹并没提取出来; 由于文献[3]所使用的方向算子是4个特定方向的检测, 检测出的纹线的方向具有局限性; 本文方法不仅能较清晰连贯地提取出3条主线边缘, 而且对于主线周围各个方向的细小纹路位置和走向都能准确显示, 对于后续分析细小纹线的交联和形状, 识别手掌上特定形状的异常病理纹如“ 十字纹” 、“ 米字纹” 提供了很好的前期处理效果。因此, 本文方法能够有效地提取手掌上的精细纹路, 尤其对于手掌中心主线周围浅而细小的精细纹路提取效果更为清晰突出, 提取纹线细节丰富, 主观目视效果好。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 文献[3]算法的掌纹线提取结果Fig.9 Palmprint line extraction results by algorithm in Ref.[3]