用于指纹图像质量评价的新特征集
袁宝玺1,2,3, 苏菲1,3, 赵志诚1,3, 蔡安妮1,3
1.北京邮电大学 信息与通信工程学院,北京 100876
2.中国人民解放军95949部队,河北 沧州 061736
3.北京邮电大学 网络系统与网络文化北京市重点实验室,北京 100876
苏菲(1973),女,教授,博士生导师.研究方向:多媒体技术与信息处理.E-mail:sufei@bupt.edu.cn

袁宝玺(1978),男,工程师,博士.研究方向:多媒体技术与信息处理.E-mail:13811255231@qq.com

摘要

以视觉注意机理为依据来选取指纹图像质量评价的特征,使特征集能够全面覆盖人对图像进行评价的各个方面。同时,提出了基于极坐标中心敏感特性的细节点可靠性评价方法和基于Otsu算法的灰度对比度评价方法。根据这些方法提取的特征能够更准确地描述图像的质量状态。试验结果表明:本文的特征集在BP神经网络和SVM两种分类器上都获得了很高的分类准确率。

关键词: 信息处理技术; 指纹质量评价; 视觉注意机制; 细节点可靠性评价; 灰度对比度评价
中图分类号:TN911.73 文献标志码:A 文章编号:1671-5497(2014)03-0840-07
Novel feature set for fingerprint image quality assessment
YUAN Bao-xi1,2,3, SU Fei1,3, ZHAO Zhi-Cheng1,3, CAI An-ni1,3
1. School of Information and Communication Engineering, Beijing University of Posts and Telecommunications, Beijing 100876, China
2. The Chinese People's Liberation Army 95949 Troops, Cangzhou 061736 China
3. Beijing Key Laboratory of Network System and Network Culture, Beijing University of Posts and Telecommunications, Beijing 100876,China
Abstract

Based on the mechanism of human visual attention, five features are chosen to simulate the process of subjective quality assessment of fingerprint images. Among these features, two of them are extracted by two proposed methods, a minutiae reliability assessment based on Polar Coordinates Centrum Sensitivity (PCCS) and a gray-scale image contrast based on Otsu algorithm. Experimental results show that this feature set on both Error Back Propagation (BP) Neural Network and Support Vector Machine (SVM) gives high classification accuracy.

Keyword: information processing technology; fingerprint image quality assessment; mechanism of visual attention; minutiae reliability assessment; gray scale image contrast assessment
0 引言

由于指纹具有唯一性和不变性等优良特性,自动指纹识别系统(Automated fingerprint identi-fication system,AFIS)在身份鉴别领域得到了广泛的应用。在AFIS中,低质量指纹图像的识别准确性会显著降低。如果在建库阶段,通过质量评价拒绝质量较低的指纹图像录入数据库;在检索阶段,通过质量评价对低质量探查指纹施以较复杂和有针对性的识别算法,可以明显提高AFIS的性能。因此,研究指纹图像质量评价方法是十分必要的。

大部分指纹图像质量评价算法分为两个步骤[ 1, 2, 3, 4, 5, 6, 7]:首先提取一些全局或者局部特征,然后综合这些特征进行质量判断。常用特征可以分为如下两类:①局部特征:反映图像灰度和对比度的特征,如灰度均值[ 4]、灰度方差[ 4]等;反映纹线方向特性的特征,如方向对比度[ 5]、Gabor特征[ 3]、方向一致性[ 5]等;反映纹线频率特性的特征,如频率一致性[ 2]、Gabor特征[ 3]、傅立叶频率特性[ 3]等。②全局特征:反映指纹图像完整程度的特征,如有无奇异点[ 3]、有效区域大小[ 3, 4, 5]、细节点数量[ 3]、指纹前景有效区域中心的偏移程度[ 3]等;反映纹线完整程度的特征,如干湿度特征[ 3]、频域的能量集中程度[ 4, 5]等。

由于指纹图像的质量是各种因素综合作用的结果,所以在进行质量判定时需要综合多种特征。基于多特征融合的评价方法主要包括基于机器学习的质量分类方法[ 1, 4, 5, 6, 7]和基于线性加权融合的质量评价方法[ 2, 3]两类。

特征是否能够很好地描述图像质量,以及应该选择哪些特征,对质量评价算法是至关重要的,但是现有文献都没有给出相关依据,一般只靠主观经验来决定。

本文首先依据视觉注意机制将特征进行归类,从每个类中选取特征构成特征集,使特征集全面涵盖了人对图像进行评价的过程;然后提出了一种基于Otsu算法的对比度特征,该特征符合ANSI对比度测量标准,能够准确地描述图像的灰度对比度特性;再次针对细节点对识别性能有关键影响这一特点,提出了一种基于极坐标中心敏感特性的细节点可靠性评价方法,来提取可靠细节点数量特征。最终,选取了5个特征,利用BP神经网络分类器和SVM分类器对指纹图像进行质量分类,获得了很高的分类准确率。

1 质量评价特征的选择
1.1 基于视觉注意机制的特征归类

视觉注意机制[ 8]是人类视觉系统(Human visual system,HVS)感知模型的一部分。根据特征融合理论,注意过程分为预注意期和注意期两个阶段。在预注意期,彼此独立的早期特征被抽取出来,但未被感知;在注意期,随着注意焦点的选择和转移,整个场景被逐渐感知。注意焦点的选择不由场景区域的自身特征所决定,而取决于它与周围环境比较产生的相对特征,这种特性称为视觉显著性。

根据上述认识,本文将指纹专家在审视一枚指纹图像时其注意焦点的转移与感知过程总结如下:由于指纹图像是静止的灰度图像,没有颜色和运动特征可供分辨,所以首先感知的是图像的整体完整程度,继而是各部分的灰度分布情况。由于HVS对信号的响应不取决于信号的绝对亮度,而取决于信号相对于背景的相对亮度[ 9],因此对比度是比灰度更重要的特征。紧接着引起视觉注意的是全局结构上的视觉显著性,这主要涉及对纹理特性(即纹理的一致性或者突变性)的分析。最后,注意焦点集中在局部结构上的视觉显著区,即细节点(纹线结构的突变处)。

1.2 指纹图像的完整性

已有的描述指纹图像整体完整性的特征主要有:有无奇异点[ 3]、指纹前景有效区域中心的偏移程度[ 3]、有效区域大小[ 3, 4, 5]和细节点的数量[ 3]等。

一般情况下,能够提取出奇异点、前景有效区域中心的偏移程度小或有效区域大的图像,说明整枚指纹采集得比较完整。在入库阶段,指纹图像越完整,提供给探查指纹的信息越多。不过建库阶段的采集条件一般较好,可以假设库指纹图像的质量是良好的,本文主要关注的是检索阶段探查指纹的图像质量。探查指纹只要有足够大的面积和清晰的纹线结构,就可以用于检索和识别。但在犯罪现场提取的探查指纹常常是残缺的,因此,上述反映指纹完整性的特征将不被采用。

Qi等[ 3]提出采用式(1)来描述指纹完整程度:

Q=(1)

式中:N mc和E mc分别表示提取到的细节点数量和期望提取到的细节点数量。

本文则提出用下面的特征来描述指纹图像的完整程度:

Q=n mc(2)

式中:n mc表示提取到的可靠细节点的数量。

提出此特征的原因是:在司法鉴定中,若两枚指纹匹配上的细节点数目大于一个阈值(一般是12~14个[ 10]),则认定它们是匹配的。因此,如果提取出的可靠细节点的数量超过某个阈值,则可以认为该图像为指纹检索和识别提供了足够完整的信息。值得注意,由于采集条件的不理想和预处理算法的不完善,所提取出的细节点中可能包含相当数量的假点,所以要求n mc是可靠细节点的数量,而不是提取出的全部细节点的数量。

1.3 指纹图像的灰度对比度

目前已有的算法几乎都采用灰度均值和方差[ 4]来描述指纹图像的灰度与对比度。一般来说,灰度方差小、图像过亮或过暗时,图像往往不清晰。但是,灰度本身不是决定图像质量的关键因素,而方差也并不对应于严格意义上的灰度对比度,因此这两个特征不能准确地反映图像本身的状态和人的视觉感受。

在投影机行业,有一种称为ANSI(American national standards institute)的对比度标准。该方法采用16个黑白相间的色块,8个白色区域亮度平均值和8个黑色区域亮度平均值之间的比值定义为ANSI对比度。

借鉴ANSI的测量方法,本文提出了一种基于Otsu算法的对比度特征,利用Otsu算法中得出的白色区域和黑色区域的均值构造对比度公式,能够更好地反映图像的对比度特性。Otsu算法[ 11]是一种二值化方法,根据图像的一维灰度直方图,将目标类和背景类的类间方差最大作为准则自动确定二值化阈值。对于一个图像块,假设其像素数为N,灰度范围为[0,L-1],ni、pi分别表示灰度级为i的像素点的数量和出现的频率,即:

pi= ,i=0,1,2,…,L-1 (3)

=1 (4)

用阈值k把像素按灰度值分成背景类和目标类,分别用C0和C1表示,C0和C1分别由灰度值在[0,k]和[k+1,L-1]之间的像素组成。整个图像的均值为:

μk=(5)

而C0和C1类的灰度均值为:

μ0=(6)

μ1=(7)

式中:

w0=(8)

w1= pi=1-w0(9)

类间方差为:

=w00k)2+w11k)2(10)

让k在[0,L-1]间依次取值,当 最大时对应的k值即为Otsu算法的最佳阈值。μ0和μ1分别为所有黑像素和白像素的灰度平均值,因此定义指纹图像一个图像块的灰度对比度特征为:

C=μ10(11)

如果图像块的C>T C,则判定该块为灰度对比度高的图像块,其中T C为经验阈值。

1.4 指纹图像的纹理特征

由于质量好的指纹图像有很强的方向趋势和非常明确的空间频率,而且沿着垂直于脊线方向的脊谷之间具有很高的对比度,所以本文通过纹理的方向特性、频率特性和方向对比度3个方面来评价指纹图像纹理质量的好坏。

在已有的指纹质量评价方法中,基于方向场和频率场的方法[ 2, 5]能够有效利用指纹预处理过程中得到的方向场和细化图信息,不会增加过多的计算量,并且具有很好的评价效果;而基于Gabor特征的方法[ 3]和基于傅立叶频谱的方法[ 3]都具有较高的计算复杂性。从工作效率考虑,本文选择如下的几种特征来描述指纹图像的纹理特性:

(1)基于块方向图的空域方向一致性[ 1]

图像块的空域方向一致性定义为:

Q α=(12)

式中:X为中心块的方向;Yi为中心块周围8邻域块的方向。如果Q α α,则判定该块为方向一致的图像块,其中T α为经验阈值。

(2)频率一致性

图像块的纹线频率定义为经过该块中心垂直于纹线方向的线段上单位长度内的脊线条数。图像块的频率一致性定义为:

Q f=(13)

式中:f c为中心块的纹线频率;f i为中心块周围8邻域块的纹线频率。

如果Q f f,则判定该块为纹线频率一致的图像块,其中T f为经验阈值。

(3)方向对比度[ 5]

首先将指纹图像分割成N个互不重叠的8×8的块,设B表示其中的一个块,然后使用如图1所示的模板对B进行如下处理:

Si(x,y)= ,i=1,2,…,8 (14)

θi=(15)

θ max= maxi) (16)

Dk=|θ max-θ'|k,k=1,2,…,N (17)

式中:Si(x,y)为一个点在第i个方向上的灰度值的均值;θi为整个块在第i个方向(称为θi的对应方向)上的灰度值的均值;θ max为θi的最大值;θ'为与θ max对应方向垂直的方向上的灰度值的均值;Dk为第k个块的方向对比度。如果Dk>Tγ,则判定该块为方向对比度高的图像块,其中Tγ为经验阈值。

图1 计算方向对比度使用的8方向模板[ 5]Fig.1 Mask for computing directional contrast

1.5 指纹图像细节点的可靠性

在自动指纹识别技术中,一般只关注两种细节点[ 10]:纹线端点和分叉点。图2表示在一个纹线断裂的图像上提取细节点的例子,细节点周围的圆圈表示以细节点为中心的圆形邻域。

图2 指纹图像提取细节点的过程Fig.2 Process of minutiae extraction

细节点是指纹检索和比对最关键的特征,它的可靠性十分重要。不可靠的细节点可能是假点或不准确点。图3(a)表示将图2中的细节点叠加到原灰度图上的效果,编号为2号的细节点是不可靠的,因为该细节点周围纹线断裂较严重。图3(b)和(c)中的方框分别表示了不准确细节点在另一幅灰度图像及该灰度图像直接二值化后的图上的效果。虽然灰度图3(b)纹线较为清晰,但由于采集时方框内区域相比方框右侧区域按压力度大,使得纹线变密,致使预处理后提取的细节点发生了偏移。在研究细节点可靠性的过程中,发现了如图4图5所示的现象。

图3 细节点标注在灰度图、灰度图的二值图上的情况Fig.3 Marking minutiae on gray scale image, binary image of gray scale image

图4 与可靠细节点关联的纹线在极坐标上展开后的图示Fig.4 Associated ridge of the reliable minutia shownin the polar coordinates

图5 与不可靠的细节点关联的纹线在极坐标展开后的图示Fig.5 Associated ridge of the unreliable minutia shown in the polar coordinates

图4为在灰度图像的二值图中,将细节点的关联纹线区域以细节点位置为中心、以x轴方向为起始方向进行极坐标展开后的示意图。其中,图4(a)和(c)表示出可靠的分叉点和端点在直角坐标中的位置,图4(b)(d)分别为图4(a)(c)极坐标展开图。由图可以看出:分叉点展开图中r轴(幅值)方向有明显的3个峰,端点展开图则有明显的一个峰。值得指出,展开的不是预处理增强之后产生的二值图像,而是灰度图像直接二值化得到的图像,原因是由于细节点的偏移已在得到增强图像之前发生,所以在增强之后的二值图像中已无法判断细节点是否可靠。此外,比较图3的(b)和(c)还可以发现:在直接二值化后的灰度图像中,不可靠细节点比在原灰度图像中显示得更加明显。图5为不准确细节点的极坐标展开图。由图看出,展开图中要么没有明显的高峰,要么高峰的个数不为一或三。

所谓细节点的关联纹线指的是端点所在的一条脊线或者分叉点所在的三条脊线。根据如图2(d)所示的细化图中的关联纹线信息,就可以寻找到灰度图像的二值图中的关联纹线。

根据以上观察,本文提出了基于极坐标中心敏感特性(Polar coordinates centrum sensitivity,PCCS)的细节点可靠性评价方法:在以细节点坐标为中心的极坐标展开图中,如果r轴方向有明显的三个或者一个高峰,则判定细节点可靠,否则为不可靠。

1.6 质量评价特征向量的生成

用τ表示灰度对比度高的图像块的数量;α和f分别表示除奇异点区域以外、纹线方向一致和频率一致的图像块的数量;γ表示除奇异点区域以外,纹线方向对比度高的图像块的数量;n mc表示可靠细节点数量。质量评价特征向量可以表示如下:

={τ,α,f,γ,n mc} (18)

2 本文质量评价方法的性能

以第2节所提出的质量评价特征向量作为输入,分别采用BP神经网络和SVM作为分类器,以分类准确率作为准则,与当前文献[4-5]的算法进行性能比较。

2.1 数据集

为了使数据集能够包含各种质量层次的指纹图像,本试验中选取fvc2002DB1、fvc2004DB1和NIST SD27指纹库构成整个数据集。其中,fvc2002DB1和fvc2004DB1各包含100个手指的800枚指纹图像,每个手指采集8次;NIST SD27是目前唯一公开的包含成对的现场指纹和滚转捺印指纹的数据库,共258对指纹,其中现场指纹图像的质量很差,滚转指纹的图像质量较高,现场指纹已被指纹专家按照主观质量评价方法划分为“good”,“bad”和“ugly”三个质量等级,分别有88,85和85对指纹。

将整个数据集划分为两部分,一部分用于训练,一部分用于测试。fvc2002DB1、fvc2004DB1中的每个手指的前4枚指纹图像归入训练集,其他图像归入测试集;NIST SD27中的前44对“good”、40对“bad”和40对“ugly”指纹图像归入训练集,其他图像归入测试集。

2.2 基于神经网络方法的比较

Yang等[ 5]使用了一个4输入、2输出的神经网络进行质量分类,其输入向量包括有效面积、能量集中程度、空域方向一致性和方向对比度4个特征。本文的神经网络方法则采用式(18)的向量 作为输入向量,是一个5输入、2输出的神经网络。

Yang等[ 5]的数据集包含800枚指纹图像,其中600枚作为训练样本(300枚高质量和300枚低质量),剩下的200枚作为测试样本(100枚高质量和100枚低质量),图像质量通过人工主观评价获得。由于文献[ 5]没有说明上述数据集的来源,无法直接与其提供的分类准确率进行比较,所以编程实现了Yang等的算法,并在2.1节所述的数据集上测试了他们的算法和本文的算法。为了比较,将2.1节数据集进行了人工主观评价分类,得到训练集中共800枚高质量、248枚低质量指纹图像;测试集中共768枚高质量、300枚低质量指纹图像。试验结果如表1所示。

表1 本文算法与文献[ 5]算法的比较 Table 1 Comparisons between the proposed and Yang’s methods[ 5]

从试验结果可以看出:本文方法的分类准确率要高于Yang等[ 5]的方法。Yang等的算法在本文数据集上性能降低的原因可能是由于本文数据集中包含相当数量的NIST SD27现场指纹图像,与一般AFIS系统采集的图像相比,其质量低且变化范围大,对指纹图像质量评价算法更具挑战性。

2.3 基于SVM的方法的比较

Liu等[ 4]使用灰度均值、灰度方差、前景区域面积、空域方向一致性、频域功率谱的集中度5个特征构成SVM的输入特征向量,将指纹图像的质量划分为好、中等、差3个质量等级。本文使用的SVM分类器和Liu等的SVM分类器的差别是特征向量不同,本文的特征向量是式(18)所示的

Liu等[ 4]的试验数据集由fvc2004中的指纹图像和一个他们不公开的数据库共同构成。Liu等从上述数据集中选择了2000枚作为训练集,并使用人工主观评价将它们分为3类,每类的样本数量大致相近。Liu等没有说明测试集的组成,只给出了最终的SVM的分类准确率为96.03%。

由于无法找到Liu等[ 4]的试验数据集直接与他们提供的分类准确率做比较,所以本文仍然在2.1节所示的样本集中测试本文的算法和由本文数据集实现的Liu等的算法。数据集中未经指纹专家评定的图像也经人工主观评价划分为好、中等、差3个质量等级,得到高质量训练样本386枚、测试样本341枚;中等质量训练样本414枚、测试样本427枚;低质量训练样本248枚、测试样本300枚。试验结果如表2所示。

表2 本文算法与文献[ 4]算法的比较 Table 2 Comparisons between the proposed and L.Liu’s methods[ 4]

表2所示的结果与2.2节类似。2.2和2.3节的试验证明了本文选取的特征集的优势,它能更准确、全面地描述图像的状态,因此两类分类器在质量跨度很大的数据库上,都取得了明显高的分类准确率。

3 结束语

以视觉注意机制为依据,对指纹质量评价特征进行归类,使所选择的特征能够很好地涵盖人对图像进行评价的过程;同时,提出了基于PCCS的细节点可靠性评价方法和基于Otsu算法的灰度对比度评价方法。最终选取了5个特征,分别利用神经网络和SVM分类器对指纹图像质量进行分类。实验表明,该特征集在两种分类器上都具有很高的分类准确率,能够有效地对质量波动很大的指纹图像进行评价。

The authors have declared that no competing interests exist.

参考文献
[1] Yang Zhi-guo, Li Ya-shuo, Yin Yi-long, et al. A template selection method based on quality for fingerprint matching[C]∥9th International Conference on Fuzzy Systems and Knowledge Discovery, Sichuan, 2012: 1382-1385. [本文引用:3]
[2] Lim E, Jiang X D, Yau W Y. Fingerprint quality and validity analysis[C]∥2002 International Conference on Image Processing, Rochester N Y, USA, 2002: 469-472. [本文引用:4]
[3] Qi J, Abdurrachim D, Li D J, et al. A hybrid method for fingerprint image quality calculation[C]∥Fourth IEEE Workshop on Automatic Identification Advanced Technologies, New York, USA, 2005: 124-129. [本文引用:17]
[4] Liu Lian-hua, Tan Tai-zhe, Zhan Yin-wei. Based on SVM automatic measures of fingerprint image quality[C]∥Pacific-Asia Workshop on Computational Intelligence and Industrial Application, Wuhan, 2008: 575-578. [本文引用:11]
[5] Yang Xiu-kun, Luo Yang. A classification method of fingerprint quality based on neural network[C]∥2011 International Conference on Multimedia Technology, Hangzhou, 2011: 20-23. [本文引用:13]
[6] Zhan Xiao-si, Meng Xiang-xu, Yin Yi-long, et al. A method combined on multi-level factors for fingerprint image quality estimation[C]∥Fifth International Conference on Fuzzy Systems and Knowledge Discovery, Ji'nan, China, 2008: 31-36. [本文引用:2]
[7] Wu J, Xie S J, Seo D H, et al. A new approach for classification of fingerprint image quality[C]∥7th IEEE International Conference on Cognitive Informatics, Stanford, CA, 2008: 375-383. [本文引用:2]
[8] Bos L. The effect of task on visual attention and its application to image quality assessment metrics[D]. Holland : Faculty Electrical Engineering, Mathematics and Computer Science, Technical University of Delft, 2010. [本文引用:1]
[9] Comsweet T N. Visual Perception[M]. New York: Academic Press, 1970. [本文引用:1]
[10] Maltoni D, Maio D, Jain A K, et al. Hand book of Fingerprint Recognition[M]. 2nd Ed. New York: Springer-Verlag, 2009. [本文引用:2]
[11] Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on System Man and Cybernetic, 1979, 9(1): 62-66. [本文引用:1]