吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (9): 3042-3048.doi: 10.13229/j.cnki.jdxbgxb.20240529

• 计算机科学与技术 • 上一篇    

基于手势帧序列提取的自适应实时手势分类算法

林琳1,2(),陈雨欣1,佴威至1,2   

  1. 1.吉林大学 通信工程学院，长春 130021
    2.吉林大学 吉林省智能信号识别和设备工程技术研究中心，长春 130021
  • 收稿日期:2024-05-14 出版日期:2025-09-01 发布日期:2025-11-14
  • 作者简介:林琳（1979-），女，副教授，博士.研究方向：模式识别.E-mail：lin_lin@jlu.edu.cn
  • 基金资助:
    国家自然科学基金重点项目(62332003)

Adaptive real⁃time gesture classification algorithm based on gesture frame sequence extraction

Lin LIN1,2(),Yu-xin CHEN1,Wei-zhi NAI1,2   

  1. 1.College of Communication Engineering，Jilin University，Changchun 130021，China
    2.Inteligent Signal Identification Equipment Engineering and Technology Research Center of Jilin Province，Jilin University，Changchun 130021，China
  • Received:2024-05-14 Online:2025-09-01 Published:2025-11-14

RICH HTML

 0   

PDF (PC)

30

摘要：

为了提高手势识别算法对实时手势的处理效率，提出了一种基于手势帧序列提取的自适应实时分类算法。该算法对实时提取的当前帧图像数据进行帧序列延展，与顺序提取的多帧序列共同完成分类任务，并进行联合判别，可以同时识别静态手势和动态手势，快速获取实时识别结果。本文算法占用较少的计算资源缩短识别时间，解决了手势识别的延迟问题，提高了实时性。通过手势识别实时性实验测试，本文算法使手势平均识别时间控制在0.4 s以内。

关键词: 通信与信息系统, 手势实时识别, 人机交互, 帧序列提取

Abstract:

In order to improve the processing efficiency of the gesture recognition algorithm for real-time gestures， an adaptive real-time classification algorithm based on gesture frame sequence extraction was proposed. The algorithm extends the frame sequence of the current frame of image data extracted in real-time， completes the classification task with the sequentially extracted multi-frame sequences and performs the joint discriminant， which can recognize static and dynamic gestures at the same time， and obtains the real-time recognition results quickly. The proposed algorithm acccupies less computational resources to shortens the recognition time， solves the delay problem of gesture recognition， and improves the real-time performance. Through the gesture recognition real-time performance experimental test， the proposed algorithm controls the average recognition time of gesture within 0.4 s.

Key words: communications and information systems, real-time gesture recognition, human-computer interaction, frame sequence extraction

中图分类号: 

  • TP391.41

图1

基于随机线段的实时手势轨迹构建算法框图"

图2

手势特征轨迹构建示意图"

图3

0~9号手势图"

图4

手势识别率随阈值系数变换曲线图"

图5

自适应算法及非自适应算法示意图"

图6

做出手势和显示手势识别结果的视频帧时间戳"

表1

10种手势识别响应时间表"

手势

标签

非自适应算法识别响应时间/s自适应算法识别响应时间/s识别响应时间缩短比率/%
01.330.4069.9
11.380.3773.2
21.370.3375.9
31.400.3773.6
41.510.4768.9
51.500.4967.3
61.200.3075.0
71.340.4367.9
81.350.4070.4
91.210.2381.0
[1] 解迎刚, 王全. 基于视觉的动态手势识别研究综述[J]. 计算机工程与应用, 2021, 57(22): 68-77.
Xie Ying-gang, Wang Quan. Summary of dynamic gesture recognition based on vision[J]. Computer Engineering and Applications, 2021, 57(22): 68-77.
[2] Ahmed S, Cho S H. Hand gesture recognition using an IR-UWB radar with an inception module-based classifier[J]. Sensors, 2020, 20(2): No.564.
[3] Ma M, Chen Z X, Wu J. A Recognition Method of Hand Gesture with CNN-SVM Model[M]. Heidelberg: Springer, 2016.
[4] Tan Y S, Lim K M, Lee C P. Hand gesture recognition via enhanced densely connected convolutional neural network[J]. Expert Systems with Applications, 2021, 175: No.114797.
[5] Witchuda T, Wiranata A, Maeda S,et al. Reservoir computing model for human hand locomotion signal classification[J]. IEEE Access, 2023, 11: 19591-19601.
[6] Yeh S C, Wu E H K, Lee Y R, et al. User experience of virtual-reality interactive interfaces: a comparison between hand gesture recognition and joystick control for XRSPACE MANOVA[J]. Applied Sciences, 2022, 12(23): No.12230.
[7] 赵忠宇, 高博, 龙行锐, 等. 实时FPGA手势识别算法的设计[J]. 电子测量技术, 2020, 43(20): 89-92.
Zhao Zhong-yu, Gao Bo, Long Xing-rui, et al. Design of real-time figure recognition algorithm based FPGA[J]. Electronic Measurement Technology, 2020, 43(20): 89-92.
[8] 杨建华, 李正, 赵妤, 等. 基于肌电信号的嵌入式手势识别系统设计[J]. 自动化与仪表, 2021, 36(12): 62-66.
[9] Li X, Zhao B, Lu X. Key frame extraction in the summary space[J]. IEEE Transactions on Cybernetics, 2017, 48(6): 1-12.
[10] Gharbi H, Bahroun S, Zagrouba E. Key frame extraction for video summarization using local description and repeatability graph clustering[J]. Signal, Image and Video Processing, 2019, 13(3): 507-515.
[11] 邵进达, 杨帅, 程琳. 改进SIFT算法结合两级特征匹配的无人机图像匹配算法[J]. 计算机科学, 2019, 46(6): 316-321.
Shao Jin-da, Yang Shuai, Cheng Lin. UAV image matching algorithm based on improved SIFT algorithm and two-stage feature matching[J]. Computer Science, 2019, 46(6): 316-321.
[12] Nai W Z, Liu Y, Rempel D, et al. Fast hand posture classification using depth features extracted from random line segments[J]. Pattern Recognition, 2017, 65: 1-10.
[13] Nai W, Liu Y, Wang Q, et al. Learning end-user customized mid-air hand gestures using a depth image sensor[J]. IEEE Sensors Journal, 2022, 22(17): 16994-17004.
[14] Maqueda A I, del-Blanco C R, Jaureguizar F, et al.Human-computer interaction based on visual hand-gesture recognition using volumetric spatiograms of local binary patterns[J]. Computer Vision and Image Understand, 2015, 141: 126-137.
[1] 李建坡,刘琨,朱伟华. 基于链路质量优化的无线传感器网络数据传输算法[J]. 吉林大学学报(工学版), 2024, 54(9): 2668-2675.
[2] 杨普,曲庆悦,申逸飞,刘毅. 能量效率最大化的非正交多址接入系统功率分配方法[J]. 吉林大学学报(工学版), 2024, 54(8): 2370-2377.
[3] 周求湛,冀泽宇,王聪,荣静. 基于在线压缩重构的非侵入式电力负荷监测[J]. 吉林大学学报(工学版), 2024, 54(6): 1796-1806.
[4] 叶育鑫,夏珞珈,孙铭会. 增强现实环境中基于假想键盘的手势输入方法[J]. 吉林大学学报(工学版), 2024, 54(11): 3274-3282.
[5] 张惠,聂志玲,肖宏伟,王聃星. 无人驾驶汽车智能座舱人机交互界面色彩设计[J]. 吉林大学学报(工学版), 2023, 53(5): 1315-1321.
[6] 周求湛,冀泽宇,王聪,胡继康,李明明,陈禹竺,周险峰,刘萍萍. 基于猫群算法的震动感知周界安防系统[J]. 吉林大学学报(工学版), 2023, 53(4): 1187-1199.
[7] 秦贵和,王曼莹,孙铭会. 多媒体终端上新型压力交互范式研究[J]. 吉林大学学报(工学版), 2023, 53(11): 3186-3193.
[8] 孙洪亮,沈伟达,陈玲玲. 时延QoS约束下的混合业务带宽补偿算法[J]. 吉林大学学报(工学版), 2022, 52(8): 1912-1917.
[9] 秦贵和,黄俊锋,孙铭会. 基于双手键盘的虚拟现实文本输入[J]. 吉林大学学报(工学版), 2022, 52(8): 1881-1888.
[10] 陈建,于帆,林琳,孙铭会. 基于多阵列合成孔径的局部超声阵列聚焦方法[J]. 吉林大学学报(工学版), 2022, 52(10): 2447-2455.
[11] 侯春萍,赵春月,王致芃,田海瑞. 基于有效异常样本构造的视频异常检测算法[J]. 吉林大学学报(工学版), 2021, 51(5): 1823-1829.
[12] 李学勇,赵仲秋,张春松,路长厚. 基于有限元的人体⁃机械手交互力计算方法[J]. 吉林大学学报(工学版), 2021, 51(5): 1612-1619.
[13] 王义君,张有旭,缪瑞新,豆佳敏. 5G中基于系统中断概率的D2D资源分配算法[J]. 吉林大学学报(工学版), 2021, 51(1): 331-339.
[14] 胡钊政,李招康,陶倩文. 基于分布式二维激光测距仪的室内行人检测与跟踪[J]. 吉林大学学报(工学版), 2020, 50(2): 719-729.
[15] 赵鹏,蒋宇中,陈斌,李春腾,张杨勇. 基于局部方差域自适应Blanking的超低频信道噪声抑制方法[J]. 吉林大学学报(工学版), 2019, 49(5): 1696-1705.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
No Suggested Reading articles found!
版权所有 © 《吉林大学学报(工学版)》编辑部
地址：长春市人民大街5988号　电话：+86-431-85095297　传真：+86-431-85094074　E-mail: xbgxb@jlu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发