基于相关性度量的触觉步态特征优化
张艳1,2, 梁栋3, 鲍文霞3, 朱明1,3, 孙怡宁4
1.安徽大学 计算智能与信号处理教育部重点实验室,合肥 230039
2.安徽大学 物理与材料科学学院,合肥 230601
3.安徽大学 电子信息工程学院,合肥 230601
4.中国科学研究院智能机械研究所,合肥 230031
梁栋(1963-),男,教授,博士生导师.研究方向:模式识别,图像处理.E-mail:dliang@ahu.edu.cn

作者简介:张艳(1982-),女,博士研究生.研究方向:图像处理,步态识别.E-mail:zhangyan@ahu.edu.cn

摘要

在现有动力学特征基础上,提出了基于相关性度量的触觉步态组合特征优化方法(CCFO)。采用数学形态学提取触觉步态区域特征,同时提取触觉步态的图像特征,包括校正后外接矩形长宽比和对比度、相关性、熵等特征;采用相关性度量准则优化得到动力学特征,通过分析图像特征的相关性保留最优图像特征,优化后特征线性叠加构成触觉步态特征集。实验数据采用ITCSH GaitⅡ步态数据库,计算各特征组内相关系数和变异系数,结果表明,各特征具有较好的稳定性,并在身份识别中验证了特征集的有效性,实验结果说明CCFO方法可以有效地减少特征数,提高识别率。

关键词: 计算机应用; 区域特征; 外接矩形长宽比; 纹理特征; 相关性度量
中图分类号:TP391.4 文献标志码:A 文章编号:1671-5497(2015)05-1608-07
The haptic force feature optimization based criterion of correlation
ZHANG Yan1,2, LIANG Dong3, BAO Wen-xia3, ZHU Ming1,3, SUN Yi-ning4
1.Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education, Anhui University, Hefei 230039,China
2.School of Physics and Materials Science, Anhui University, Hefei 230601,China
3.School of Electronics and Information Engineering, Anhui University, Hefei 230601,China
4.Institute of Intelligent Machines, Chinese Academy of Sciences, Hefei 230031,China
Abstract

Based on the haptic force dynamics feature, a method of Correlation-basis Combination Feature Optimization (CCFO) is proposed. First, the regional features of haptic force are extracted using mathematical morphology. Meanwhile, image features are extracted, such as the improved ratio of length to width, the contrast, the correlation, and the entropy. Then, the haptic force dynamics feature is optimized by criterion of correlation, and the optimal haptic force image feature is kept through analyzing the correlation coefficient. Finally, the haptic force feature set is obtained by linear summation. The experimental data are taken from the ITCSH Gait II database. The stability of the features is studied by calculating the intraclass correlation coefficient and coefficient of variation. The results show that the CCFO method can effectively reduce the number of features and hence improve the recognition rate in identity recognition.

Keyword: computer application; region feature; ratio of length to width; textural feature; criterion of correlation
0 引 言

作为生物特征的一个分支, 在生物测量学中触觉步态信息已逐渐被用于运动测量、医疗康复和疾病诊断。触觉步态技术主要通过掩埋在地面下的压力测试板采集人站立、行走时足底与压力测试板之间的作用力、足底压力分布图像等触觉步态数据[1], 生物测量学研究表明触觉步态信息具有独特性和重复性, 因而可为对象的识别、足迹跟踪提供有效信息。据相关文献报道[2, 3, 4], 运动测量、医疗康复、疾病诊断主要采用触觉步态动力学特征, 并未采用图像特征。目前, 中国科学院合肥智能机械研究所对触觉步态信息展开研究[5], 并将其成功地运用于运动测量, 他们采用触觉步态特征分析系统, 该系统中主要采用最大压力、接触面积、平均压力、压力中心点、几何中心线等动力学特征作为触觉步态特征。

本文提出了基于相关性度量的触觉步态组合特征优化(Correlation-based combination feature optimization, CCFO)方法, 针对触觉步态信息的特点, 以身份识别和足迹跟踪为对象, 研究如何优化触觉步态动力学特征和图像特征, 从而得到稳定性高、相关性小的特征子集。首先, 根据生物测量相关文献, 将足底划分5个区域, 提取触觉步态区域特征; 其次, 提取触觉步态图像的形状特征和纹理特征; 再次, 对于动力学特征采用相关性度量准则实现特征优化, 得到相关性小、冗余度小的动力学特征子集, 而对于图像特征, 根据特征的稳定性及相关性保留稳定性强、相关性小的图像特征; 然后, 从特征层融合优化后的动力学特征和图像特征, 得到触觉步态特征集; 最后, 用稳定性、相关性和变异性等参数衡量特征, 并将其应用于身份识别。实验结果表明:CCFO方法优化的特征集具有较好的稳定性和独特性, 能够有效地描述对象, 达到较高的识别率。

1 触觉步态特征
1.1 触觉步态动力学特征

目前, 常用的触觉步态动力学特征有:最大压力值、总压力值、平均压力值、接触面积、压力中心点、几何中心线、压力变化率、单步触地时间、触地时最大垂直支撑力、全足着地时最大垂直支撑力、蹬离时最大垂直支撑力[1, 5]。在生物测量学上, 文献[6]将足底划分为十区域, 通过足底压力的压力峰值、最大压力点、接触时间等参数变化情况, 研究正常人群足底压力分布的重复性问题, 文献[7]将足底划分为五区域:大脚趾、2-5脚趾、前脚掌、足弓和脚后跟区域, 通过动态足底压力分布研究了青春期儿童肥胖在行走过程中的影响。

根据生物测量学的相关实验, 针对本系统中压力测试板的空间分辨率, 本文提出了触觉步态区域特征, 与传统的动力学特征共同构成动力学特征子集Fh, 公式如下:

Fh=(Fh1, Fh2)(1)

式中:Fh1为传统的动力学特征; Fh2为动力学区域特征。

本文采用了五区域划分法, 沿纵向轴线将足底区域划分为A1~A5五个区域, 如图1所示, A1为足后跟区域, A2为足弓区域, A3为前脚掌区域, A4为大脚趾区域, A5为其余脚趾区域, 五个区域大小分别为整个足底的33%、17%、33%、8.5%、8.5%。采集的足底压力触觉信息数据表明, 五个区域所承受人体的压力值是不一样的, 但足底压力分布是相对稳定的, 因此本文提出了采用触觉步态区域特征, 主要讨论足底5个区域之间以及各区域和整体的关系, 计算公式如下:

Fh2(k)=preiAkpreik=15preiAkprei2subjecttoprei2kPa

式中:Fh2(k)为第k区域压力值与总压力值的比值; prei为各区域≥ 2 kPa的压力值。

图1 触觉步态区域划分示意图Fig.1 The divide of the haptic force

1.2 触觉步态图像特征

目前, 触觉步态信息的应用主要依赖于动力学特征, 然而触觉步态动力学特征易受时间、环境以及被测对象心理状态影响, 幸运的是由触觉步态信息可以得到很多较稳定的图像特征, 因此本文提取了触觉步态图像的特征Fi=(Fis, Fit), 其中Fis为形状特征, Fit为纹理特征。从文献[4]中得知:触觉步态图像足底的长宽比是足底中最稳定的特征之一, 据此, 本文选择外接矩形长宽比特征(Ratio of length to width)作为形状特征Fis。针对触觉步态图像, 当足底轴线是水平或垂直时, 触觉步态图像长宽比与原始足底长宽比一致, 但在行走过程中, 正常姿态无法始终保持水平或垂直, 从而采用最小面积法找到触觉步态图像的外接矩形, 得到校正后触觉步态长宽比。

纹理特征是一种统计的全局特征, 不是基于像素点的, 而是对包含多个像素点区域进行统计计算得到的特征。它通过像素及其周围空间邻域的灰度分布来表现, 通常具有旋转不变性, 并对噪声有较强的抵抗能力, 在模式匹配中, 该区域性特征不会由于局部的偏差而无法匹配成功[8]。基于统计的纹理特征提取方法主要包括灰度共生矩阵法(Gray level co-occurrence matrix, GLCM)和纹理谱方法, GLCM是目前被广泛采用的图像纹理提取算法, 它运用统计学中的概率来反映图像灰度的方向、间隔等整体信息。由GLCM可以得到图像的14种特征[9]:能量、对比度、相关性、方差、逆差矩、和平均、和方差、和熵、熵、差方差、差熵、相关性信息度量、另一个相关性信息度量、最大相关性系数, 其中对比度、相关性和熵三个特征不相关且分辨力最好[10]。设图像中任一点A为(x, y), 灰度值为g1, 灰度等级为m, 偏离AB点为(x+Δ x, y+Δ y), 灰度值为g2, 根据不同图像, (Δ x, Δ y)选择不同的距离差分值, 对于纹理较细、小尺寸图像常用的有(1, 0), (0, 1), (1, 1), (-1, 1), 图像灰度共生矩阵 [Gg1, g2]m×m、对比度CON、相关性COR和熵EN的计算公式如下:

Gg1, g2m×m=p0, 0p(1, m-1)p(m-1, 1)p(m-1, m-1)3

式中:p(i, j)为(i, j)灰度对的取值概率。

CON=s=0m-1s2{g1-g2=sp(g1, g2)}(4)COR=1σxσyg1=0m-1g2=0m-1(g1-μx)(g2-μy)p(g1, g2)(5)

式中:σ x, σ y, μ x, μ y分别为Mx= g1=0m-1p(g1, g2)、My= g2=0m-1p(g1, g2)的标准差和均值。

EN=-g1=0m-1g2=0m-1p(g1, g2)log2p(g1, g2)(6)

2 特征优化

特征优化是选择特征参数的重要过程, 直接关系到特征集的稳定性以及独特性, 特征优化是从众多的触觉步态特征中选择出部分特征, 所选择的特征应该满足独立性和可靠性。本文提出了基于相关性度量的触觉步态组合特征优化(CCFO)方法。

CCFO算法步骤如下:

(1)触觉步态数据预处理, 去噪并提取出压力最大帧及左右相邻两帧。

(2)提取动力学特征Fh和图像特征Fi:

①根据动力学各特征定义计算出动力学特征子集Fh1Fh2

②以形心为坐标原点, 以主轴为x轴, 每次旋转5° , 共旋转180° , 找到最小面积的外接矩形, 求出外接矩形长宽比, 得到Fis

③求出触觉步态图像的灰度共生矩阵 Gg1, g2, 计算出0° 、45° 、90° 、135° 的对比度、相关性和熵, 得到Fit

(3)特征优化。

①计算动力学特征集Fh中每个特征fhi与类属性的相关性U(fhi, Fh):

U(fhi, Fh)=2(En(fhi)+En(Fh)-En(fhi, Fh)En(fhi)+En(Fh))7

式中:En(fhi)=-p(fhi)log2p(fhi), En(Fh)=- j=1mp(fhj)log2p(fhj), 为熵函数; En(fhi, Fh)=- j=1mp(fhi, fhj)log2p(fhi, fhj), 为联合熵。

②计算Fh的相关性评估函数Hs:

Hs=iU(fhi, Fh)ijU(fhi, fhj)8

③将特征按照U(fhi, Fh)降序排列, 得到新的特征集F'h, 舍去一个相关性度量最小的特征, 计算新的相关性评估函数H 's* , 如果H 's* Hs, 继续舍去, 直至H 's* 不再减小, 则剩下的特征构成动力学特征最优子集Fho=(fh1fhn)。

④根据纹理特征稳定性和相关性, 得到图像特征子集Fio=(fis, fit1, fit2, fit3)。

(4)采用线性叠加得到融合后特征F:

F=Fho, Fio9

3 实验结果

实验数据采用ITCSH GaitⅡ 步态数据库[5], 从中随机选择8名对象数据, 选择对象常速触觉步态数据10个周期的P100帧及P100帧前后相邻帧, 每个周期内包括6组数据(左、右脚各3组), 共得到480组数据。本文选择对象的左脚30组数据, 讨论了不同对象的外接矩形长宽比和对比度的变化趋势, 同时讨论了同一对象不同样本的0° 、45° 、90° 、135° 对比度、相关性和熵的变化趋势。

外接矩形长宽比变化曲线如图2所示, 图中是8位对象不同样本的外接矩形长宽比变化曲线, 外接矩形长宽比采用最小面积法外接矩形法计算, 可知该参数在平均值上下4.36%内波动, 波动范围较小, 同时, 8组数据变化曲线区分度较好, 仅仅个别出现重合情况, 能够较好地与其他对象分开, 反映出外接矩形长宽比具有较好的重复性和独特性。

图2 外接矩形长宽比变化曲线Fig.2 Ratio of length to width versus the different objects

GLCM纹理特征变化曲线如图3所示, 图3(a)(b)(c)分别是同一对象图像对比度、相关性和熵特征的0° 、45° 、90° 、135° 的变化曲线。从图中可以看出:0° 、45° 、90° 、135° 的对比度、相关性和熵特征变化趋势是一致的, 都在较小的范围内波动, 仅仅熵特征变化范围稍大, 135° 的变化曲线波动最小。图3(d)是不同对象135° 的对比度变化曲线, 从图中可知:8位对象的纹理特征分布在不同区域, 可以分开。根据文献[9]和实验结果, 考虑到足底压力图像的尺寸以及特性, 本文选择了135° 、间距为1的对比度、相关性和熵作为触觉步态图像纹理特征。

图3 图形纹理特征变化曲线Fig.3 Texture feature versus the different samples

为了进一步讨论本文优化的区域特征、外接矩形长宽比、对比度、相关性、熵等特征的可靠性和重复性, 用组内相关系数ICC和变异系数C.V来衡量和评价所优化的特征。ICC是衡量和评价对象间信度和重测信度的信度系数指标之一[11], ICC指标基准为:[0, 0.4]表示信度较差, [0.75, 1]表示信度良好[12], 计算公式如下:

ICC=2i=1n(xi1-x-)(xi2-x-)i=1n(xi1-x-)2+i=1n(xi2-x-)2(10)

式中: x-为均值。

8名对象各特征ICC计算结果如表1所示, fh2(1)~fh2(5)分别是1~5区域的区域特征。从表1中可知, 各特征置信度都是良好, 其中fis的置信度最好, ICC平均值达到0.9798; ConCorEn都在0.88以上, 也具有较好的置信度; fh2(2)、fh2(4)、fh2(5)个别对象的ICC偏低, fh2(1)、fh2(3)仍然具有较好的置信度。

C.V用来衡量样本测量值的变异程度, 消除了单位以及平均数对样本变异程度的比较, 计算公式如下:

C.V=标准偏差平均值×100%(11)

各特征的C.V表2所示, 本文计算了8名对象各特征的C.V。从表2可知:C.VICC的结果是一致的, fh2(2)、fh2(4)、fh2(5)的变异系数波动较大, 其中fh2(5)最大, 达到116.83%, 其他特征的C.V均在10%以下, 具有较好的稳定性。fh2(2)、fh2(4)、fh2(5)分别是足弓区域、大脚趾区域、其余脚趾区域的区域比值特征, 这三个区域压力值较小、面积也较小, 易受环境、站姿等因素影响, 在不同次测量中变异系数较大, 且文献[4]中也已说明足底的足后跟区域和前脚掌区域是稳定度最高的两个区域, 承担了绝大部分的压力值, 根据C.VICC的结果, 本文区域特征最终选择fh2(1)和fh2(3)。

表1 8名对象特征ICC Table 1 Intraclass correlation coefficient of 8 objects
表2 8名对象特征C.V Table 2 Coefficient of variation of 8 objects %

为了进一步验证CCFO特征子集的有效性, 本文讨论不同特征集应用于触觉步态身份识别的识别率, 分类器采用一对多的SVM(Support vector machine)分类器, 并采用多数投票机制得到识别结果, 系统框图如图4所示。从数据库中选择16名对象的480组数据(左脚), 从中选择192组作为训练样本, 而从剩下的数据中选择225组作为测试样本。首先对触觉步态数据预处理, 然后提取触觉步态各特征的C.V表2所示, 本文计算了8名对动力学特征和区域特征, 同时提取触觉步态图像形状特征和纹理特征; 采用CCFO优化特征子集; 然后从特征层融合动力学特征和图像特征, 得到触觉步态特征集; 最后, 采用一对多的SVM分类器, 根据多数投票机制实现识别。各特征集的识别率如表3所示, 其中动力学特征包括原有的动力学特征、区域特征; 图像特征包括图像长宽比以及14个纹理特征, 校正后图像特征包括最小面积法外接矩形长宽比以及14个纹理特征, 动力学特征+图像特征包括优化后动力学特征和图像特征, CCFO特征包括优化后两类特征, CCFO的特征数是最少的。采用动力学特征以及图像特征的准确率都较低, 校正后图像特征采用最小面积法得到长宽比明显提高了识别率, 达到86%, 采用动力学特征+图像特征的识别率较好, 达到90%, 而采用CCFO特征后的识别率相较于采用其他特征的识别率是最高的。

图4 触觉步态身份识别框图Fig.4 Flowchart of identity recognition using the haptic force feature

表3 不同特征集的识别率 Table 3 Accuracy of algorithms using different feature sets
4 结束语

针对触觉步态身份识别研究了触觉步态动力学和图像特征的优化方法, 对动力学特征采用相关性度量准则实现特征优化, 实验数据采用ITCSH GaitⅡ 步态数据库, 讨论各特征的ICCC.V以及识别率。实验结果表明:所优化的特征具有较好的重复性和独特性, 经过CCFO优化后特征数大大减少, 识别率得到提高。目前研究所用的数据库都是在特定条件下所采集的, 如何进一步提高特征集在不同情况下的鲁棒性, 应用于更普遍的环境中, 同时足迹跟踪中如何解决多人足迹多样性的问题, 如何实时地提取对象的足迹特征, 是今后进一步深入研究的内容。

The authors have declared that no competing interests exist.

参考文献
[1] Xu S, Zhou X, Sun Y. A genetic algorithm-based feature selection method for human identification based on ground reaction force[C]∥Proc the 1st ACM/SIGEVO Summit on Genetic and Evolutionary Computation, Shanghai, 2009: 665-670. [本文引用:2]
[2] Lemaire Edward D, Biswas Ajoy, Kofman Jonathan. Plantar pressure parameters for dynamic gait stability analysis[C]∥Proc Annual International Conference of the IEEE on Engineering in Medicine and Biology Society, New York, 2006: 4465-4468. [本文引用:1]
[3] Surdilovic D, Jinyu Z, Bernhardt R. Gait phase and centre of pressure measuring system[C]∥Proc International Conference of the IEEE on Industrial Informatics, Germany, Berlin, 2004: 331-334. [本文引用:1]
[4] Kerstin Bosch, Joachim Gerss, Dieter Rosenbaum. Preliminary normative values for foot loading parameters of the developing child[J]. Gait & Posture, 2007, 26(2): 238-247. [本文引用:1]
[5] 姚志明. 基于步态触觉信息的身份识别研究[D]. 合肥: 中国科学技术大学信息科学技术学院, 2010.
Yao Zhi-ming. Gait recognition based on haptic force information[D]. Hefei: School of Information Science and Technology , University of Science and Technology of China, 2010. [本文引用:3]
[6] Gurney J K, Kersting U G, Rosenbaum D. Between-day reliability of repeated plantar pressure distribution measurements in a normal population[J]. Gait & Posture, 2008, 27(4): 706-709. [本文引用:1]
[7] Yan Song-hua, Zhang Kuan, Tan Gou-qing, et al. Effects of obesity on dynamic plantar pressure distribution in Chinese prepubescent children during walking[J]. Gait & Posture, 2013, 37(1): 37-42. [本文引用:1]
[8] Rafael C G, Richard E W. Digital Image Processing[M]. 3rd ed. Beijing: Publishing House of Electromcs Industry, 2010: 801-861. [本文引用:1]
[9] 刘丽, 匡纲要. 图像纹理特征提取方法综述[J]. 中国图象图形学报, 2009, 14(4): 622-635.
Liu Li, Kuang Gang-yao. Overview of image textural feature extraction methods[J]. Journal of Image and Graphics, 2009, 14(4): 622-635. [本文引用:1]
[10] 薄华, 马缚龙, 焦李成. 图像纹理的灰度共生矩阵计算问题的分析[J]. 电子学报, 2006, 34(1): 155-158.
Bo Hua, Ma Fu-long, Jiao Li-cheng . Research on computation of GLGM of image texture[J]. Chinese Journal of Electronics, 2006, 34(1): 155-158. [本文引用:1]
[11] Bartko J. The intraclass correlation coefficient as a measure of reliability[J]. Psychological Reports, 1966, 19(1): 3-11. [本文引用:]
[12] Bilney B, Morris M, Webster K. Concurrent related validity of the GAITRite(R) walkway system for quantification of the spatial and temporal parameters of gait[J]. Gait & Posture, 2003, 17(1): 68-74. [本文引用:1]