拟合下肢几何特征的多视角步态周期检测

doi:10.13229/j.cnki.jdxbgxb.20211229

摘要/Abstract

摘要：

针对现有步态周期检测方法易受拍摄视角变化影响的问题，提出了一种拟合下肢几何特征的多视角步态周期检测方法。首先，利用MediaPipe模型提取步态视频序列中的人体姿态拓扑图，简化了图像预处理过程。然后，通过分析行走状态下人体下肢姿态拓扑图中各关节点间存在的周期性动态变化规律，将左小腿与水平地面构成的倾角以及中髋点（mid-hip）到左、右脚踝的欧氏距离比值作为特征进行提取。最后，采用傅里叶变换将特征数据拟合为正弦函数，并基于拟合结果进行步态周期检测。相比于当前主流的步态周期检测方法，本文方法在正、背面视角以及斜视角下都取得了较好的检测结果。

关键词: 计算机应用, 步态周期检测, 多视角检测, 姿态几何特征, 步态识别, 傅里叶变换

Abstract:

A multi view gait cycle detection method fitting the geometric features of lower limbs is proposed to address the issue of existing gait cycle detection methods being susceptible to changes in shooting angles. Firstly， the human posture topology in the gait video sequence was extracted by the MediaPipe model， simplifying the image preprocessing process. Then， by analyzing the periodic dynamic change law between the joint points in the human posture topology map under walking state， the inclination formed by the left shin and the horizontal ground and the Euclidean distance ratio from the midpoint of the left and right hip joints to the left and right ankle are extracted as features. Finally， the feature data were fitted into sinusoidal function waves by Fourier transform， and the gait period is detected based on the fitting results. Compared with the current mainstream gait cycle detection methods， the proposed method has achieved good front and back view and strabismus angle detection results.

Key words: computer application, gait cycle detection, multi view detection, pose geometric features, gait recognition, Fourier transform

中图分类号:

TP391

张云佐,董旭,蔡昭权. 拟合下肢几何特征的多视角步态周期检测[J]. 吉林大学学报(工学版), 2023, 53(9): 2611-2619.

Yun-zuo ZHANG,Xu DONG,Zhao-quan CAI. Multi view gait cycle detection by fitting geometric features of lower limbs[J]. Journal of Jilin University(Engineering and Technology Edition), 2023, 53(9): 2611-2619.

图/表 12

图1

图2

图3

图4

图5

图6

图7

图8

图9

图10

表1

C值对比表"

检测方法	$0 °$	$18 °$	$36 °$	$54 °$	$72 °$	$90 °$	$108 °$	$126 °$	$144 °$	$162 °$	$180 °$	均值
文献［3］拟合法	0.04	0.00	0.00	0.00	0.04	0.08	0.08	0.16	0.08	0.15	0.04	0.06
文献［3］分类法	0.39	0.25	0.08	0.29	0.13	0.16	0.08	0.04	0.16	0.34	0.40	0.21
文献［12］	0.48	0.00	0.08	0.08	0.07	0.00	0.00	0.00	0.00	0.41	1.00	0.19
文献［13］	0.48	0.92	0.95	0.00	0.12	0.05	0.00	0.01	0.00	0.04	0.12	0.24
文献［14］	0.18	0.95	0.00	0.00	0.07	0.05	0.05	0.05	0.00	0.04	0.40	0.16
文献［15］	0.54	0.40	0.22	0.12	0.04	0.04	0.04	0.18	0.44	0.50	0.62	0.29
本文	0.06	0.40	0.23	0.03	0.00	0.00	0.00	0.06	0.26	0.32	0.07	0.13

表1

表2

W值对比表"

检测方法	$0 °$	$18 °$	$36 °$	$54 °$	$72 °$	$90 °$	$108 °$	$126 °$	$144 °$	$162 °$	$180 °$	均值	均值（ $18 °$ ~ $162 °$ ）	均值（ $0 °$ ， $180 °$ ）
文献［13］	0.32	0.92	0.95	0.44	0.62	1.00	0.58	0.37	0.52	1.15	0.46	0.67	0.72	0.39
文献［14］	0.18	0.23	0.16	0.38	0.57	0.82	0.68	0.42	0.31	0.22	0.13	0.37	0.43	0.28
文献［15］	0.13	0.09	0.22	0.56	0.62	0.77	0.75	0.68	0.31	0.21	0.09	0.40	0.47	0.11
本文	0.56	0.44	0.67	0.83	1.02	1.27	1.00	0.79	0.72	0.40	0.67	0.76	0.79	0.62

表2

参考文献 19

1	李贻斌, 郭佳旻, 张勤. 人体步态识别方法与技术[J]. 吉林大学学报: 工学版, 2020, 50(1): 1-18.
	Li Yi-bin, Guo Jia-min, Zhang Qin. Methods and technologies of human gait recognition[J]. Journal of Jilin University (Engineering and Technology Edition), 2020, 50(1): 1-18.
2	Phillips P J. Human identification technical challenges[C]∥Proceedings of IEEE International Conference on Image Processing, Rochester, USA, 2002: 49-52.
3	王科俊, 刘亮亮, 丁欣楠, 等. 基于卷积神经网络的步态周期检测方法[J]. 哈尔滨工程大学学报, 2021, 42(5): 656-663.
	Wang Ke-jun, Liu Liang-liang, Ding Xin-nan, et al. Gait period detection method based on convolutional neural networks[J]. Journal of Harbin Engineering University, 2021, 42(5): 656-663.
4	汤荣山, 葛万成. 基于卷积神经网络和不完整步态周期的步态识别方法[J]. 通信技术, 2018, 51(12): 2980-2985.
	Tang Rong-shan, Ge Wan-Cheng. Gait recognition method based on convolutional neural network and incomplete gait cycle[J]. Communication Technology, 2018, 51(12): 2980-2985.
5	Yang X C, Zhou Y, Zhang T H, et al. Gait recognition based on dynamic region analysis[J]. Signal Processing, 2008, 88(9): 2350-2356.
6	王科俊, 贲晛烨, 唐墨, 等. 基于区域特征分析的步态周期检测方法[P]. 中国: CN200910072171.4, 2011-3-16.
7	杨佩成. 面向术后康复的可穿戴步态监测与分析技术研究[D]. 南京: 南京大学计算机科学与技术系, 2020.
	Yang Pei-cheng. Research on wearable gait monitoring and analysis technology for postoperative rehabilitation[D]. Nanjing: Department of Computer Science and Technology, Nanjing University, 2020.
8	Aminian K, Najafi B, Büla C, et al. Spatio-temporal parameters of gait measured by an ambulatory system using miniature gyroscopes[J]. Journal of Biomechanics, 2002, 35(5): 689-699.
9	陈法权. 基于可穿戴传感器的人体下肢动作识别及预测[D]. 乌鲁木齐: 新疆大学机械工程学院, 2020.
	Chen Fa-quan. Recognition and prediction of human lower limb movements based on wearable sensors[D]. Urumqi: School of Mechanical Engineering, Xinjiang University, 2020.
10	闫河, 罗成, 李焕, 等. 基于步态能量图与VGG结合的步态识别方法[J]. 重庆理工大学学报: 自然科学, 2020, 34(5): 166-172.
	Yan He, Luo Cheng, Li Huan, et al. Gait recognition method based on gait energy map combined with VGG[J]. Journal of Chongqing University of Technology (Natural Science), 2020, 34(5): 166-172.
11	Lee C P, Tan A, Tan S C. Gait recognition with transient binary patterns[J]. Journal of Visual Communication and Image Representation, 2015, 33(11): 69-77.
12	Wang L, Tan T N, Ning H Z, et al. Silhouette analysis-based gait recognition for human identification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(12): 1505-1518.
13	Ben X Y, Meng W X, Yan R. Dual-ellipse fitting approach for robust gait periodicity detection[J]. Neurocomputing, 2012, 79(3): 173-178.
14	Sarkar S, Phillips P J, Liu Z, et al. The human ID gait challenge problem: data sets, performance, and analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(2): 162-177.
15	唐云祁, 薛傲, 丁建伟, 等. 基于帧差时空特征的步态周期检测方法[J]. 数据采集与处理, 2017, 32(3): 533-539.
	Tang Yun-qi, Xue Ao, Ding Jian-wei, et al. Gait cycle detection by fusing temporal and spatial features with frame difference[J]. Journal of Data Acquisition and Processing, 2017, 32(3): 533-539.
16	Zhang F, Bazarevsky V, Vakunov A, et al. Mediapipe hands: on-device real-time hand tracking[EB/OL]. [2020-06-23]. .
17	Bazarevsky V, Grishchenko I, Raveendran K, et al. Blazepose: on-device real-time body pose tracking[EB/OL]. [2020-06-23].
18	李一波, 李昆. 双视角下多特征信息融合的步态识别[J]. 智能系统学报, 2013, 8(1): 74-79.
	Li Yi-bo, Li Kun. Gait recognition based on dual-view and multiple feature information fusion[J]. CAAI Transactions on Intelligent Systems, 2013, 8(1): 74-79.
19	王新年, 胡丹丹, 张涛, 等. 姿态特征结合2维傅里叶变换的步态识别[J]. 中国图象图形学报, 2021, 26(4): 796-814.
	Wang Xin-nian, Hu Dan-dan, Zhang Tao, et al. Gait recognition using pose features and 2D Fourier transform[J]. Journal of Image and Graphics, 2021, 26(4): 796-814.

相关文章 15

[1]	霍光,林大为,刘元宁,朱晓冬,袁梦,盖迪. 基于多尺度特征和注意力机制的轻量级虹膜分割模型[J]. 吉林大学学报(工学版), 2023, 53(9): 2591-2600.
[2]	何颖,王卓然,周旭,刘衍珩. 融合社交地理信息加权矩阵分解的兴趣点推荐算法[J]. 吉林大学学报(工学版), 2023, 53(9): 2632-2639.
[3]	肖明尧,李雄飞,朱芮. 基于NSST域像素相关分析的医学图像融合[J]. 吉林大学学报(工学版), 2023, 53(9): 2640-2648.
[4]	赵亚慧,李飞雨,崔荣一,金国哲,张振国,李德,金小峰. 基于跨语言预训练模型的朝汉翻译质量评估[J]. 吉林大学学报(工学版), 2023, 53(8): 2371-2379.
[5]	车翔玖,徐欢,潘明阳,刘全乐. 生物医学命名实体识别的两阶段学习算法[J]. 吉林大学学报(工学版), 2023, 53(8): 2380-2387.
[6]	王连明,吴鑫. 基于姿态估计的物体3D运动参数测量方法[J]. 吉林大学学报(工学版), 2023, 53(7): 2099-2108.
[7]	张则强,梁巍,谢梦柯,郑红斌. 混流双边拆卸线平衡问题的精英差分进化算法[J]. 吉林大学学报(工学版), 2023, 53(5): 1297-1304.
[8]	张振海,季坤,党建武. 基于桥梁裂缝识别模型的桥梁裂缝病害识别方法[J]. 吉林大学学报(工学版), 2023, 53(5): 1418-1426.
[9]	刘培勇,董洁,谢罗峰,朱杨洋,殷国富. 基于多支路卷积神经网络的磁瓦表面缺陷检测算法[J]. 吉林大学学报(工学版), 2023, 53(5): 1449-1457.
[10]	姜宇,潘家铮,陈何淮,符凌智,齐红. 基于分割方法的繁体中文报纸文本检测[J]. 吉林大学学报(工学版), 2023, 53(4): 1146-1154.
[11]	于鹏,朴燕. 基于多尺度特征的行人重识别属性提取新方法[J]. 吉林大学学报(工学版), 2023, 53(4): 1155-1162.
[12]	潘弘洋,刘昭,杨波,孙庚,刘衍珩. 基于新一代通信技术的无人机系统群体智能方法综述[J]. 吉林大学学报(工学版), 2023, 53(3): 629-642.
[13]	何颖,樊俊松,王巍,孙庚,刘衍珩. 无人机空地安全通信与航迹规划的多目标联合优化方法[J]. 吉林大学学报(工学版), 2023, 53(3): 913-922.
[14]	吴振宇,刘小飞,王义普. 基于DKRRT^*-APF算法的无人系统轨迹规划[J]. 吉林大学学报(工学版), 2023, 53(3): 781-791.
[15]	陶博,颜伏伍,尹智帅,武冬梅. 基于高精度地图增强的三维目标检测算法[J]. 吉林大学学报(工学版), 2023, 53(3): 802-809.

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed