基于思维进化的机器学习的遮挡人脸识别
李根, 李文辉
吉林大学 计算机科学与技术学院, 长春 130012
通信作者:李文辉(1961-),男,教授,博士生导师.研究方向:计算机图形学,数字图像处理,计算机视觉.E-mail:liwh@jlu.edu.cn

作者简介:李根(1982-),男,博士研究生.研究方向:计算机视觉,数字图像处理.E-mail:genlee@sina.com

摘要

针对遮挡人脸的识别问题,提出了基于思维进化的机器学习(MEBML)与局部特征结合的方法。首先提出了LBP偏移特征组的提取方法,定义一种新的特征对比规则,根据遮挡人脸图像与无遮挡人脸图像的局部特征进行对比,记录对比相似度作为局部区域的得分。然后对所有局部区域进行趋同过程和异化过程的演化,得到无遮挡区域及遮挡物体区域。当无遮挡区域满足一定比例且分布集中时,应用该区域特征完成遮挡人脸条件下的人脸识别。实验结果表明:新方法的遮挡人脸识别准确率在92%以上,并具有较低的误识率。

关键词: 计算机应用; 思维进化算法; 局部二值模式; 遮挡人脸识别
中图分类号:TP391 文献标志码:A 文章编号:1671-5497(2014)05-1410-07
Face occlusion recognition based on MEBML
LI Gen, LI Wen-hui
College of Computer Science and Technology, Jilin University, Changchun 130012, China
Abstract

To solve the problem of face occlusion recognition, an algorithm, which combines Mind-Evolution-Based Machine Learning (MEBML) and local face feature, is proposed. First, a new method of LBP offset feature group extraction is presented to define a new feature contrast rule. By contrasting images between face occlusion and non-occlusion, the local area score of similarity is obtained. Second, similartaxis and dissimilation evolutionary operations are carried out for all local areas. Then, the areas of face occlusion and non-occlusion are obtained. Finally, if the non-occlusion area is large enough and centralized, the feature of this area can be used to recognize face even it is partially covered. Experiment results demonstrate that the new method can recognize 92% face occlusion images with low error ratio.

Keyword: computer application; mind evolutionary algorithm; local binary patterns; face occlusion recognition
0 引言

遮挡人脸识别是人脸识别中的一个难点,是指在采集面部图像过程中,被识别者有意或无意遮挡部分面部特征,造成采集到的图像有部分区域被遮挡,消除遮挡区域对识别过程的影响,并对未遮挡的人脸区域进行识别。遮挡人脸图像分为无意遮挡和有意遮挡。常见的无意遮挡包括帽子、围巾、眼镜等,而有意遮挡通常为墨镜、口罩或是其他物体挡住面部五官。有意遮挡通常由于特征变化过大,容易造成识别失败,较低几率造成误识别。而无意遮挡通常仅仅遮挡小部分面部特征,导致特征提取过程中引入过多干扰特征,使其他重要特征置信度降低,有较高的几率造成误识别,即被识别者被错误地识别为另外一人身份。

目前,遮挡人脸识别的主要思想是先要进行遮挡物检测,检测出遮挡物区域,使该区域特征尽可能少或是完全不参与之后的识别过程。其主要方法有主分量分析法(Principal component analysis)和局部特征法。Wu等[ 1]提出根据眼镜特征点联合概率分布模型来确定眼镜遮挡,王志明等[ 2]在此基础上提出模糊主分量(Fuzzy PCA)的方法,这些方法通过对比遮挡人脸与非遮挡人脸子空间上的绝对误差来判断遮挡物体区域,需要预先知道遮挡物体的特征以及人脸特征区域。

局部特征主要指局部纹理特征,代表算法为局部二值模式(Local binary patterns,LBP)。2004年Timo[ 3]将LBP首次应用于人脸识别,在无遮挡人脸图像识别中,LBP特征具有较好的表现,在已知遮挡物体区域的情况下也可以以较高的识别率完成遮挡人脸识别[ 4]

遮挡物体的不确定性以及遮挡区域的不确定性限制了遮挡人脸识别算法的应用。如何判定不确定的遮挡物体区域是遮挡人脸识别的关键。本文针对遮挡人脸的识别问题,提出了基于思维进化的机器学习(MEBML)与局部特征结合的方法。

1 基于思维进化的机器学习

遮挡物体通常具有连续性和区域面积较大的性质,而无遮挡人脸图像也具有连续性和区域面积较大的性质。可以通过其各自的连续性区分遮挡物体和无遮挡人脸图像,从而分离出遮挡物体区域和无遮挡人脸图像区域,即通过一个特征点的相邻特征点的归属分类区域来判断该特征点的归属分类区域。由于没有任何先验分类知识,属于无监督分类,所以引入人工智能中的思维进化的方法进行学习分类。

基于思维进化的机器学习MEBML(Mind evaluation based machine learning)算法是由孙承意[ 5]等人提出的一类模拟思维进化过程的演化计算方法。该方法克服了遗传算法计算时间过长和计算结果具有不可知性的问题[ 6, 7]。MEBML算法认为人类思维进化具有趋同过程和异化过程。趋同过程体现在像优胜者学习,而异化过程体现在针对差异对自身进行改造发展。趋同过程与异化过程的交互产生了思维。

MEBML的一般算法为[ 5]:

(1)设定子群体 N=W+T,W为优胜子群体个数,T为临时子群体个数,每个子群体由数量为m的个体组成;确定用来记录各子群体中的优胜个体信息的整体广告板和记录子群体内的个体竞争信息的局部广告板。

(2)在空间内具有数量为 m×N的个体,其中选取优良个体W作为N个子种群的种子。在每个种子周围选取一定数量的个体,形成一个新的子群体,从子群体中选取一个得分最高的个体作为子群体的优胜者,并更新到全局公告板和局部公告板。如此循环演算,称为趋同过程。

(3)当其中一个子群体在趋同过程中维持稳定,认为该子群体成熟。如果该子群体的得分小于其他某个子群体时,则放弃该子群体,重新分解为个体,并形成新的临时子群体继续参与竞争,该过程为异化过程。

(4)当一个临时群体的得分高于任意一个优胜群体的得分时,且该优胜群体是成熟的,则这个临时群体代替该优胜群体的位置。

(5)持续进行趋同、异化过程直到满足终止条件。

MEBML模拟思维进化的典型特征求解优化问题。将思维进化的趋同方式抽象做一个局部搜索的操作,在群体的优胜个体周围进行搜索、竞争,产生新的优胜个体,将异化方式抽象为全局搜索的一个操作,从群体中相对劣势的个体逃逸到新的搜索区域。在趋同过程中体现了遗传进化作用;异化过程中运用了类似于免疫算法的记忆机制,使其成为一个更为广泛意义下的模拟进化算法。

2 图像局部特征提取

由于无法得知具体遮挡物体区域,所以采用局部纹理的特征提取方法。常见的局部特征包括LBP特征,SIFT[ 8]特征以及Gabor小波[ 9]特征。本文选用速度较快,光照影响较小的LBP特征。

2.1 LBP局部特征

LBP是一种用来描述图像局部纹理特征的算子。最早由Ojala[ 10]提出,原始的LBP算子是将中心像素的灰度值设为阈值,将相邻的8个像素的灰度值与中心像素进行比较。如果相邻像素大于中心像素值,则该相近区域被标为1,否则为0。这样在其周围3×3的区域内形成一个8位的数值,即该点的LBP值,表达式为:

T=ts(g0-gC),s(g1-gC),,s(gp-1-gC)s(x)=1,x00,x<01

式中: gC为局部区域中心像素点的灰度值; g0,,gp-1为局部区域中心周围邻域p个像素的灰度值。

人脸识别过程中由于被识别者的表情和姿态的变化以及环境的影响会造成特征点偏移[ 11],在大尺度下,偏移量较小,而在小尺度下,特征偏移通常能达到2~3个特征点。同时遮挡人脸图像与无遮挡人脸图像中的局部区域细微位置差别也会造成LBP特征值的差异。单纯引入多尺度的方法会引入更多尺度特征信息,使MEBML的演化变的复杂和不确定。

2.2 LBP偏移特征组

为了避免特征偏移造成的不稳定的问题,本文提出了LBP偏移特征组(Offset feature group,OFG)的提取方法。

图1所示,对于某一局部区域,提取其8个方向偏移的LBP特征,共9个LBP特征表示一个局部区域特征。这样在一个局部区域特征中,具有8个方向偏移的LBP特征分量。在对比过程中,提取遮挡人脸和无遮挡人脸图像中相同区域的特征组进行相似度对比。

图1 LBP偏移特征组Fig.1 LBP offset feature group

当局部区域内的9个LBP特征的相似度均大于阈值 Q时,认为两个LBP特征完全相等,其得分为该区域9个特征相似度的均值。

当局部区域内只有部分特征相等时,且相等部分大于3个,则认为该特征组有偏移现象。偏移现象造成的原因多由于遮挡人脸图像与无遮挡人脸图像局部区域划分的偏差造成的。部分局部区域由于图像中人脸的位置差异使少量特征被提取到相邻特征组中,造成本组部分特征丢失。在提取过程中遇到相等部分大于3个的特征组时,向周围8个方向偏移一个特征点重新构成偏移特征组再判断,选取匹配数量最多的偏移特征组代替原有特征组,并赋予一定的权值来表明偏移特征组的置信度。如图2所示,A情况的权值是 0.1×N,N为相等特征点个数;B情况也可以认为是图像位置偏差造成的,但其置信度较低,所以权值为0.05× N;C情况特征对比非常分散,即使相等的个体数量较多也无法认为其相等,其权值为0。在其特征分布同时满足两组的分组情况时,选中权值较高的分组作为偏移特征组的基本特征。

图2 LBP偏移特征组对比规则Fig.2 Contrast rule of LBP OFG

应用偏移特征组后,从图像中提取的特征数量并没有变化,但是特征值会由于特征组偏移而产生变化。在眼部边缘、嘴部边缘等特征明显区域,特征值会更加集中表现这部分。对于遮挡物体区域中的特征点,特征值不相等,特征组偏移过后仍然不相等,从而权值很低。对于无遮挡人脸区域和遮挡物体区域相交接的部分,偏移特征组在比较过程中能使特征偏移向无遮挡人脸区域部分,从而在应对眼镜、头发等非块状遮挡物体时能够保留较小的无遮挡人脸特征。

提取偏移LBP特征组的方法可以更加详细地描述局部区域特征,即具有小尺度空间的特点。在对比过程中,针对5×5范围内的局部空间特征进行对比,又使局部特征更加概括,有效地减少了由于人脸图像的偏移造成的误差,具有大尺度空间的特点,也可以避免多尺度空间带来的重复演化的问题。且在演化过程中,大量得分高的区域长时间维持稳定,并不会引入过多的计算量,反而在遮挡物体与无遮挡人脸图像的交界区域,即子群体解散与重建频繁的区域具有更加详细的表述能力。

3 基于思维进化的演化
3.1 初始优良子种群选取

根据MEBML的计算过程,需要选取最初的优良个体作为子种群的种子。在遮挡人脸图像与无遮挡人脸图像的局部区域对比中,因为总体来看遮挡物与人脸的差别较大,所以相似度较高的为人脸区域,为优良个体,而相似度较低的区域,则认为是遮挡物体。在区域 X,N个个体:

X(0)=(X1(0),X2(0),,XN(0))(2)

选取 W个得分最高的优良个体作为初始优良子群体Pwin的种子。剩余T(T=N-W)个个体作为临时子群体:

P(0)=Pwin(0)Ptemp(0)(3)

建立整体广告板和局部广告板并记录优胜子群体信息。对空间内的子群体进行演化。主要分为趋同过程和异化过程。

3.2 趋同过程

趋同过程是指在优良个体周围选取 N个个体,形成一个新的子种群Pnew(t),并判断子种群的得分。以局部区域来看,即在相似度较高的局部区域周围选取相邻的N个局部区域,进行相似度对比,判断其得分,果新选取的N个局部区域中某个体的得分高于该子群体的得分,则该个体为这个子种群新的优胜者。

Pnew(t)={Pwin(t),X1(t),,Xn(t)}Pwin(t+1)=max{Pnew(t)}4

为了防止趋同过程中遮挡物体区域的得分被优胜者代替,需要对遮挡物体密集的区域进行保护。于是对趋同法则进行改进,当一个优胜子群体在选取周围新的 N个新个体时,如果其中含有n(n<N)个以上相似度低于阈值R(R<Q)的个体时,则放弃这些个体,重新选取新的N个个体。这样小型子群体中得分较高的部分会被大型子群体所吸收,而得分低于R的区域会被单独成立为新的竞争群体。可以使优胜子群体的范围变大,且保留得分较低的群体。同时,值为RQ之间的零散的得分较低的区域也会被大群体所吸收。

以图像局部区域方式来看,趋同是合并人脸局部区域。当相邻的两个图像局部区域相似度较高时,则合并区域并继续外扩;当有极少数相似度较低的群体出现时,也被吸收进去,使系统具有相当的鲁棒性。

3.3 异化过程

异化过程中,当一个子群体在趋同过程中维持稳定,则认为该子群体成熟。如果该子群体的得分小于与其相邻的某个子群体时,则解散该子群体,重新分解为个体。

当任何一个临时子种群大于某一相邻的优胜子群体时,则解散该优胜子群体,并使临时子种群成为新的优胜群体。

当区域内优胜群体无法选取新的个体,且自身数量小于 S2n>S>n)时,解散该优胜群体。即式(5)条件满足时,优胜子群体解散为临时子群体。

Pn(t)<min{Pnew(t)}Ptemp(t)>min{Pnew(t)}5

以图像局部区域方式来看,异化是分解图像局部区域。当一个局部区域的图像内包含有相似度较低的部分时,则解散这个区域,使其中相似度较高的部分被包含进其他的优胜区域,而相似度较低的部分则会被孤立出来。

3.4 终止条件

新的趋同法则中,对于相似度低于 R的个体,如果区域内少于n,则会在最终的趋同过程中被趋同演化进某个优胜子种群,而在区域内当相似度低于R的个体的范围数量高于n,这些个体就会成为独立的种群,不会被趋同演化进优胜子种群。如果优胜子种群在趋同过程中选取N个个体时,无法满足不同时包含n个相似度低于R的个体,且自身数量大于S时,认为该优胜子种群区域稳定,即该区域子种群数量不再增减。

当所有优胜子种群都无法包含 n个相似度低于R的个体时,则子种群数量稳定,即算法收敛,也就是其终止条件为子种群数量变化量不大于K:

K>Pwin(t+1)-Pwin(t)6

以人脸识别过程来看,当遮挡人脸图像与无遮挡人脸图像为同一人时,相似区域较多且密集,则优胜子种群包含区域较大且数量较少。于是认为优胜子种群所包含的区域为人脸部分,而剩余的临时子种群区域为遮挡物区域。

当人脸图像为不同人时,虽然仍然具有相当数量相等的LBP特征个体,但在演化过程中,这些区域很难趋同到同一子群体,而分布不密集的个体会因为新的异化过程而被解散为临时群体,造成优胜群体区域较小,甚至没有,算法仍然稳定收敛[ 5, 6]

如果优胜区域占总体区域的比例为 U时( U>60%),则认为区域内存在遮挡人脸,并且根据无遮挡人脸图像的序号可以确定遮挡图像的身份。当需要识别人脸图像为无遮挡图像时,即正常人脸图像,优胜区域的比例 U会较大( U>80%),即该算法也能够较好地完成无遮挡人脸识别。

3.5 基于优胜区域的人脸识别

系统总体分为特征提取过程、演化过程和识别过程。

图3 系统流程图Fig.3 System flow process chart

(1)提取待识别人脸图像的LBP特征。

(2)逐一提取数据库中已注册的人脸图像的LBP特征。

(3)对待识别人脸图像以已注册的人脸图像为基准进行偏移特征处理,并形成最终特征空间。

(4)对最终特征空间进行趋同演化。

(5)对最终特征空间进行异化演化。

(6)判断是否满足终止条件,如不满足则重复(2)(3)过程。如满足终止条件,确定优胜区域,优胜区域则为非遮挡人脸区域。

(7)对优胜区域内的特征值进行对比,忽略非优胜区域内的特征值。

(8)重复(2)过程完成对所有已注册的人脸图像的匹配。直到所有图像均匹配完成。

(9)选取整体相似度最高的图像作为匹配结果。如果最高相似度不大于 F( F=0.7),则认为没有相匹配的人脸图像。

4 实验结果及分析

测试首先采用AR人脸库中的遮挡图像部分,共采用其中的80人560张测试图像,1张正常图像,3张墨镜图像,3张围巾图像,如图4所示。以无遮挡人脸图像为基准图像进行识别。

图4 AR库Fig.4 AR faces

人脸识别算法主要分为主成分分析方法[ 12]、子空间方法、局部特征学习方法、非负稀疏表示方法。选用各种方法中针对遮挡人脸识别改进过的算法进行对比。对比算法选取为RDW-LBP[ 3],FPCA[ 4],OMP-Cholesky[ 13]。表中正确识别率是指能够正确识别出遮挡人脸的身份信息,误识率是指识别出遮挡区域,但人脸身份识别错误,其余则为拒绝识别。针对AR人脸库的正确识别率和误识率如表1所示。

表1 AR库上的正确识别率和错误识别率 Table 1 Correct and incorrect recognition ratio on AR

为了测试算法的适用性,采用自行采集的人脸扩大测试,共43人,387张图像。分为两组进行测试,图像均为正向,面部区域大小以AR库的大小为准,去除背景信息。其中A组为自然遮挡物体组,即围巾、帽子、眼镜。如图5所示。A组的正确识别率和误识率如表2所示。

图5 扩展遮挡人脸AFig.5 Extended Occlusion Faces A

表2 A库上的正确识别率的错误识别率 Table 2 Correct and Incorrect Recognition Ratio on Faces A

B组为故意遮挡物体组,包括书籍遮挡和恶意图像修改,如图6所示。B组的正确识别率和误识率如表3所示。

图6 扩展遮挡人脸BFig.6 Extended occlusion faces B

表3 B库上的正确识别率的错误识别率 Table 3 Correct and incorrect recognition ratio on faces B

遮挡物体的不同对识别算法的影响也不同,在遮挡物体为恶意涂改时,即遮挡区域特征特别规律的情况下,各算法均有良好的表现。在遮挡物体为帽子、围巾、墨镜等本身具有大量特征的物体时,本文算法表现优于其他算法。

5 结束语

本文采用基于思维进化机器学习的方法对遮挡人脸进行识别,对局部区域特征进行趋同过程和异化过程的演化,从而分离出遮挡人脸区域及无遮挡人脸区域。通过对遮挡物体区域的特征剔除,完成遮挡人脸的检测与识别。该算法能够在未知遮挡物体特征的情况下完成遮挡物体检测以及人脸识别。通过实验,证明了算法的有效性,对比同类遮挡识别算法,该算法具有较高的识别率和较低的误识率。

The authors have declared that no competing interests exist.

参考文献
[1] Wu Chen-yu, Liu Ce, Shun H Y. Automatic eyeglasses removal from face images[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2004, 26(30): 322-336. [本文引用:1] [JCR: 4.795]
[2] 王志明, 陶建华. 人脸遮挡区域检测与重建[J]. 计算机研究与发展, 2010, 47(1): 16-22.
Wang Zhi-ming, Tao Jian-hua. Face occlusion detection and reconstruction[J]. Journal of Computer Research and Development, 2010, 47(1): 16-22. [本文引用:1]
[3] Timo A, Ahonen T, Hadid A, et al. Face recognition with local binary patterns[C]∥Proc of the European Conf on Computer Vision (ECCV2004), Prague, Czech Republic, 2004: 469-481. [本文引用:2]
[4] 王莹, 李文辉, 傅博, . 基于水平分量优先原则的RDW-LBP人脸识别算法[J]. 吉林大学学报: 工学版, 2011, 41(3): 750-757.
Wang Ying, Li Wen-hui, Fu Bo, et al. Face recognition algorithm using RDW-LBP based on horizontal component prior principle[J]. Journal of Jilin University (Engineering and Technology Edition), 2011, 41(3): 750-757. [本文引用:2] [CJCR: 0.701]
[5] Sun Cheng-yi, Sun Yan. Mind-evolution-based machine learning: framework and the implementation of optimization[C]∥Proc of IEEE Int Conf on Intelligent Engineering Systems. USA: IEEE, 1998: 355-359. [本文引用:3]
[6] 王川龙, 孙承意. 基于思维进化的MEBML算法的收敛性研究[J]. 计算机研究与发展, 2000, 37(7): 838-842.
Wang Chuan-long, Sun Cheng-yi. A study of mind-evolution-based machine learning[J]. Journal of Computer Research & Development, 2000, 37(7): 838-842. [本文引用:2]
[7] 王芳, 谢克明, 刘建霞. 基于群体智能的思维进化算法设计[J]. 控制与决策, 2010, 25(1): 145-148.
Wang Fang, Xie Ke-ming, Liu Jian-xia. Swarm intelligence based MEA design[J]. Control and Decision, 2010, 25(1): 145-148. [本文引用:1] [CJCR: 0.907]
[8] 李根, 李文辉. 基于尺度不变特征变换的平面旋转人脸检测[J]. 吉林大学学报: 工学版, 2013, 43(1): 186-191.
Li Gen, Li Wen-hui. Face detection under rotation in image plane based on scale invariant feature transform[J]. Journal of Jilin University (Engineering and Technology Edition), 2013, 43(1): 186-191. [本文引用:1] [CJCR: 0.701]
[9] 李宽, 殷建平, 李永, . 基于Gabor系数分块统计和自适应特征选择的人脸描述与识别[J]. 计算机研究与发展, 2012, 49(4): 777-784.
Li Kuan, Yin Jian-ping, Li Yong, et al. Local statistical analysis of gabor coefficients and adaptive feature extraction for face description and recognition[J]. Journal of Computer Research & Development, 2012, 49(4): 777-784. [本文引用:1]
[10] Ojala T, Pietikainen M, Maenpaa M. Multiresolution gray-scale and rotation invariant texture classification width local binary patterns[J]. IEEE Transacations on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987. [本文引用:1]
[11] 戴金波, 肖宵, 赵宏伟. 基于低分辨率局部二值模式的人脸识别[J]. 吉林大学学报: 工学版, 2013, 43(2): 435-438.
Dai Jin-bo, Xiao Xiao, Zhao Hong-wei. Human face recognition based on low resolution local binary pattern[J]. Journal of Jilin University (Engineering and Technology Edition), 2013, 43(2): 435-438. [本文引用:1] [CJCR: 0.701]
[12] 曹洁, 吴迪, 李伟. 基于鉴别能力分析和LDA-LPP算法的人脸识别[J]. 吉林大学学报: 工学版, 2012, 42(6): 1527-1531.
Cao Jie, Wu Di, Li Wei. Face recognition based on discrimination power analysis and LDA-LPP algorithm[J]. Journal of Jilin University (Engineering and Technology Edition), 2012, 42(6): 1527-1531. [本文引用:1] [CJCR: 0.701]
[13] Wright J, Yang Y, Ganesh A, et al. Robust face recognition via sparse representation[J]. Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227. [本文引用:1] [JCR: 4.795]