作者简介:李根(1982-),男,博士研究生.研究方向:计算机视觉,数字图像处理.E-mail:genlee@sina.com
针对遮挡人脸的识别问题,提出了基于思维进化的机器学习(MEBML)与局部特征结合的方法。首先提出了LBP偏移特征组的提取方法,定义一种新的特征对比规则,根据遮挡人脸图像与无遮挡人脸图像的局部特征进行对比,记录对比相似度作为局部区域的得分。然后对所有局部区域进行趋同过程和异化过程的演化,得到无遮挡区域及遮挡物体区域。当无遮挡区域满足一定比例且分布集中时,应用该区域特征完成遮挡人脸条件下的人脸识别。实验结果表明:新方法的遮挡人脸识别准确率在92%以上,并具有较低的误识率。
To solve the problem of face occlusion recognition, an algorithm, which combines Mind-Evolution-Based Machine Learning (MEBML) and local face feature, is proposed. First, a new method of LBP offset feature group extraction is presented to define a new feature contrast rule. By contrasting images between face occlusion and non-occlusion, the local area score of similarity is obtained. Second, similartaxis and dissimilation evolutionary operations are carried out for all local areas. Then, the areas of face occlusion and non-occlusion are obtained. Finally, if the non-occlusion area is large enough and centralized, the feature of this area can be used to recognize face even it is partially covered. Experiment results demonstrate that the new method can recognize 92% face occlusion images with low error ratio.
遮挡人脸识别是人脸识别中的一个难点,是指在采集面部图像过程中,被识别者有意或无意遮挡部分面部特征,造成采集到的图像有部分区域被遮挡,消除遮挡区域对识别过程的影响,并对未遮挡的人脸区域进行识别。遮挡人脸图像分为无意遮挡和有意遮挡。常见的无意遮挡包括帽子、围巾、眼镜等,而有意遮挡通常为墨镜、口罩或是其他物体挡住面部五官。有意遮挡通常由于特征变化过大,容易造成识别失败,较低几率造成误识别。而无意遮挡通常仅仅遮挡小部分面部特征,导致特征提取过程中引入过多干扰特征,使其他重要特征置信度降低,有较高的几率造成误识别,即被识别者被错误地识别为另外一人身份。
目前,遮挡人脸识别的主要思想是先要进行遮挡物检测,检测出遮挡物区域,使该区域特征尽可能少或是完全不参与之后的识别过程。其主要方法有主分量分析法(Principal component analysis)和局部特征法。Wu等[ 1]提出根据眼镜特征点联合概率分布模型来确定眼镜遮挡,王志明等[ 2]在此基础上提出模糊主分量(Fuzzy PCA)的方法,这些方法通过对比遮挡人脸与非遮挡人脸子空间上的绝对误差来判断遮挡物体区域,需要预先知道遮挡物体的特征以及人脸特征区域。
局部特征主要指局部纹理特征,代表算法为局部二值模式(Local binary patterns,LBP)。2004年Timo[ 3]将LBP首次应用于人脸识别,在无遮挡人脸图像识别中,LBP特征具有较好的表现,在已知遮挡物体区域的情况下也可以以较高的识别率完成遮挡人脸识别[ 4]。
遮挡物体的不确定性以及遮挡区域的不确定性限制了遮挡人脸识别算法的应用。如何判定不确定的遮挡物体区域是遮挡人脸识别的关键。本文针对遮挡人脸的识别问题,提出了基于思维进化的机器学习(MEBML)与局部特征结合的方法。
遮挡物体通常具有连续性和区域面积较大的性质,而无遮挡人脸图像也具有连续性和区域面积较大的性质。可以通过其各自的连续性区分遮挡物体和无遮挡人脸图像,从而分离出遮挡物体区域和无遮挡人脸图像区域,即通过一个特征点的相邻特征点的归属分类区域来判断该特征点的归属分类区域。由于没有任何先验分类知识,属于无监督分类,所以引入人工智能中的思维进化的方法进行学习分类。
基于思维进化的机器学习MEBML(Mind evaluation based machine learning)算法是由孙承意[ 5]等人提出的一类模拟思维进化过程的演化计算方法。该方法克服了遗传算法计算时间过长和计算结果具有不可知性的问题[ 6, 7]。MEBML算法认为人类思维进化具有趋同过程和异化过程。趋同过程体现在像优胜者学习,而异化过程体现在针对差异对自身进行改造发展。趋同过程与异化过程的交互产生了思维。
MEBML的一般算法为[ 5]:
(1)设定子群体
(2)在空间内具有数量为
(3)当其中一个子群体在趋同过程中维持稳定,认为该子群体成熟。如果该子群体的得分小于其他某个子群体时,则放弃该子群体,重新分解为个体,并形成新的临时子群体继续参与竞争,该过程为异化过程。
(4)当一个临时群体的得分高于任意一个优胜群体的得分时,且该优胜群体是成熟的,则这个临时群体代替该优胜群体的位置。
(5)持续进行趋同、异化过程直到满足终止条件。
MEBML模拟思维进化的典型特征求解优化问题。将思维进化的趋同方式抽象做一个局部搜索的操作,在群体的优胜个体周围进行搜索、竞争,产生新的优胜个体,将异化方式抽象为全局搜索的一个操作,从群体中相对劣势的个体逃逸到新的搜索区域。在趋同过程中体现了遗传进化作用;异化过程中运用了类似于免疫算法的记忆机制,使其成为一个更为广泛意义下的模拟进化算法。
由于无法得知具体遮挡物体区域,所以采用局部纹理的特征提取方法。常见的局部特征包括LBP特征,SIFT[ 8]特征以及Gabor小波[ 9]特征。本文选用速度较快,光照影响较小的LBP特征。
LBP是一种用来描述图像局部纹理特征的算子。最早由Ojala[ 10]提出,原始的LBP算子是将中心像素的灰度值设为阈值,将相邻的8个像素的灰度值与中心像素进行比较。如果相邻像素大于中心像素值,则该相近区域被标为1,否则为0。这样在其周围3×3的区域内形成一个8位的数值,即该点的LBP值,表达式为:
式中:
人脸识别过程中由于被识别者的表情和姿态的变化以及环境的影响会造成特征点偏移[ 11],在大尺度下,偏移量较小,而在小尺度下,特征偏移通常能达到2~3个特征点。同时遮挡人脸图像与无遮挡人脸图像中的局部区域细微位置差别也会造成LBP特征值的差异。单纯引入多尺度的方法会引入更多尺度特征信息,使MEBML的演化变的复杂和不确定。
为了避免特征偏移造成的不稳定的问题,本文提出了LBP偏移特征组(Offset feature group,OFG)的提取方法。
如图1所示,对于某一局部区域,提取其8个方向偏移的LBP特征,共9个LBP特征表示一个局部区域特征。这样在一个局部区域特征中,具有8个方向偏移的LBP特征分量。在对比过程中,提取遮挡人脸和无遮挡人脸图像中相同区域的特征组进行相似度对比。
当局部区域内的9个LBP特征的相似度均大于阈值
当局部区域内只有部分特征相等时,且相等部分大于3个,则认为该特征组有偏移现象。偏移现象造成的原因多由于遮挡人脸图像与无遮挡人脸图像局部区域划分的偏差造成的。部分局部区域由于图像中人脸的位置差异使少量特征被提取到相邻特征组中,造成本组部分特征丢失。在提取过程中遇到相等部分大于3个的特征组时,向周围8个方向偏移一个特征点重新构成偏移特征组再判断,选取匹配数量最多的偏移特征组代替原有特征组,并赋予一定的权值来表明偏移特征组的置信度。如图2所示,A情况的权值是
应用偏移特征组后,从图像中提取的特征数量并没有变化,但是特征值会由于特征组偏移而产生变化。在眼部边缘、嘴部边缘等特征明显区域,特征值会更加集中表现这部分。对于遮挡物体区域中的特征点,特征值不相等,特征组偏移过后仍然不相等,从而权值很低。对于无遮挡人脸区域和遮挡物体区域相交接的部分,偏移特征组在比较过程中能使特征偏移向无遮挡人脸区域部分,从而在应对眼镜、头发等非块状遮挡物体时能够保留较小的无遮挡人脸特征。
提取偏移LBP特征组的方法可以更加详细地描述局部区域特征,即具有小尺度空间的特点。在对比过程中,针对5×5范围内的局部空间特征进行对比,又使局部特征更加概括,有效地减少了由于人脸图像的偏移造成的误差,具有大尺度空间的特点,也可以避免多尺度空间带来的重复演化的问题。且在演化过程中,大量得分高的区域长时间维持稳定,并不会引入过多的计算量,反而在遮挡物体与无遮挡人脸图像的交界区域,即子群体解散与重建频繁的区域具有更加详细的表述能力。
根据MEBML的计算过程,需要选取最初的优良个体作为子种群的种子。在遮挡人脸图像与无遮挡人脸图像的局部区域对比中,因为总体来看遮挡物与人脸的差别较大,所以相似度较高的为人脸区域,为优良个体,而相似度较低的区域,则认为是遮挡物体。在区域
选取
建立整体广告板和局部广告板并记录优胜子群体信息。对空间内的子群体进行演化。主要分为趋同过程和异化过程。
趋同过程是指在优良个体周围选取
为了防止趋同过程中遮挡物体区域的得分被优胜者代替,需要对遮挡物体密集的区域进行保护。于是对趋同法则进行改进,当一个优胜子群体在选取周围新的
以图像局部区域方式来看,趋同是合并人脸局部区域。当相邻的两个图像局部区域相似度较高时,则合并区域并继续外扩;当有极少数相似度较低的群体出现时,也被吸收进去,使系统具有相当的鲁棒性。
异化过程中,当一个子群体在趋同过程中维持稳定,则认为该子群体成熟。如果该子群体的得分小于与其相邻的某个子群体时,则解散该子群体,重新分解为个体。
当任何一个临时子种群大于某一相邻的优胜子群体时,则解散该优胜子群体,并使临时子种群成为新的优胜群体。
当区域内优胜群体无法选取新的个体,且自身数量小于
以图像局部区域方式来看,异化是分解图像局部区域。当一个局部区域的图像内包含有相似度较低的部分时,则解散这个区域,使其中相似度较高的部分被包含进其他的优胜区域,而相似度较低的部分则会被孤立出来。
新的趋同法则中,对于相似度低于
当所有优胜子种群都无法包含
以人脸识别过程来看,当遮挡人脸图像与无遮挡人脸图像为同一人时,相似区域较多且密集,则优胜子种群包含区域较大且数量较少。于是认为优胜子种群所包含的区域为人脸部分,而剩余的临时子种群区域为遮挡物区域。
当人脸图像为不同人时,虽然仍然具有相当数量相等的LBP特征个体,但在演化过程中,这些区域很难趋同到同一子群体,而分布不密集的个体会因为新的异化过程而被解散为临时群体,造成优胜群体区域较小,甚至没有,算法仍然稳定收敛[ 5, 6]。
如果优胜区域占总体区域的比例为 U时( U>60%),则认为区域内存在遮挡人脸,并且根据无遮挡人脸图像的序号可以确定遮挡图像的身份。当需要识别人脸图像为无遮挡图像时,即正常人脸图像,优胜区域的比例 U会较大( U>80%),即该算法也能够较好地完成无遮挡人脸识别。
系统总体分为特征提取过程、演化过程和识别过程。
(1)提取待识别人脸图像的LBP特征。
(2)逐一提取数据库中已注册的人脸图像的LBP特征。
(3)对待识别人脸图像以已注册的人脸图像为基准进行偏移特征处理,并形成最终特征空间。
(4)对最终特征空间进行趋同演化。
(5)对最终特征空间进行异化演化。
(6)判断是否满足终止条件,如不满足则重复(2)(3)过程。如满足终止条件,确定优胜区域,优胜区域则为非遮挡人脸区域。
(7)对优胜区域内的特征值进行对比,忽略非优胜区域内的特征值。
(8)重复(2)过程完成对所有已注册的人脸图像的匹配。直到所有图像均匹配完成。
(9)选取整体相似度最高的图像作为匹配结果。如果最高相似度不大于 F( F=0.7),则认为没有相匹配的人脸图像。
测试首先采用AR人脸库中的遮挡图像部分,共采用其中的80人560张测试图像,1张正常图像,3张墨镜图像,3张围巾图像,如图4所示。以无遮挡人脸图像为基准图像进行识别。
人脸识别算法主要分为主成分分析方法[ 12]、子空间方法、局部特征学习方法、非负稀疏表示方法。选用各种方法中针对遮挡人脸识别改进过的算法进行对比。对比算法选取为RDW-LBP[ 3],FPCA[ 4],OMP-Cholesky[ 13]。表中正确识别率是指能够正确识别出遮挡人脸的身份信息,误识率是指识别出遮挡区域,但人脸身份识别错误,其余则为拒绝识别。针对AR人脸库的正确识别率和误识率如表1所示。
为了测试算法的适用性,采用自行采集的人脸扩大测试,共43人,387张图像。分为两组进行测试,图像均为正向,面部区域大小以AR库的大小为准,去除背景信息。其中A组为自然遮挡物体组,即围巾、帽子、眼镜。如图5所示。A组的正确识别率和误识率如表2所示。
B组为故意遮挡物体组,包括书籍遮挡和恶意图像修改,如图6所示。B组的正确识别率和误识率如表3所示。
遮挡物体的不同对识别算法的影响也不同,在遮挡物体为恶意涂改时,即遮挡区域特征特别规律的情况下,各算法均有良好的表现。在遮挡物体为帽子、围巾、墨镜等本身具有大量特征的物体时,本文算法表现优于其他算法。
本文采用基于思维进化机器学习的方法对遮挡人脸进行识别,对局部区域特征进行趋同过程和异化过程的演化,从而分离出遮挡人脸区域及无遮挡人脸区域。通过对遮挡物体区域的特征剔除,完成遮挡人脸的检测与识别。该算法能够在未知遮挡物体特征的情况下完成遮挡物体检测以及人脸识别。通过实验,证明了算法的有效性,对比同类遮挡识别算法,该算法具有较高的识别率和较低的误识率。
[1] |
|
[2] |
|
[3] |
|
[4] |
|
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
|
[10] |
|
[11] |
|
[12] |
|
[13] |
|