基于时空注意力的多视角人脸表情识别算法

doi:10.13229/j.cnki.jdxbgxb.20240582

摘要/Abstract

摘要：

首先，利用肤色分割技术定位学生图像中的脸部区域，并将定位的脸部区域输入到时空注意力模块中，以获得脸部多视角的关键信息。其次，通过带权重衰减的自适应梯度下降算法对卷积神经网络中的参数展开优化，并将脸部关键信息输入到优化后的网络中，以确定学生脸部表情类型，完成多视角人脸表情识别。实验结果表明，应用本文算法可以精准地提取人脸的关键信息，且表情识别准确率为100%，即本文算法可以有效识别人脸，并提高人脸表情识别精度。

关键词: 时空注意力, 人脸表情识别, 肤色分割, 人脸定位, 卷积神经网络

Abstract:

Firstly， skin color segmentation technology was used to locate facial regions in student images， and the located facial regions were input into the spatiotemporal attention module to obtain key information from multiple perspectives of the face. Secondly， the parameters in the convolutional neural network were optimized using an adaptive gradient descent algorithm with weighted decay， and key facial information was input into the optimized network to determine the types of facial expressions of students and complete multi view facial expression recognition. The experimental results show that the proposed algorithm can accurately extract key information of the face， and the accuracy of facial expression recognition is 100%. Therefore， the proposed algorithm can effectively recognize faces and improve the accuracy of facial expression recognition.

Key words: spatiotemporal attention, facial expression recognition, skin color segmentation, facial localization, convolutional neural networks

中图分类号:

TP391.41

杜睿山,王紫珊. 基于时空注意力的多视角人脸表情识别算法[J]. 吉林大学学报(工学版), 2025, 55(6): 2097-2102.

Rui-shan DU,Zi-shan WANG. Multi perspective facial expression recognition algorithm based on spatiotemporal attention[J]. Journal of Jilin University(Engineering and Technology Edition), 2025, 55(6): 2097-2102.

图/表 5

图1

表1

图2

图3

表2

参考文献 15

[1]	王军杰, 王泉, 蒋平, 等. 一种孤立中心损失方法及其在人脸表情识别中的应用[J]. 西安交通大学学报, 2022, 56(4): 119-126.
	Wang Jun-jie, Wang Quan, Jiang Ping, et al. An isolated central loss method applied in facial expression recognition[J]. Journal of Xi'an Jiaotong University, 2022, 56(4): 119-126.
[2]	周丽芳, 刘俊林, 李伟生, 等. 深度二值卷积网络的人脸表情识别方法[J]. 计算机辅助设计与图形学学报, 2022, 34(3): 425-436.
	Zhou Li-fang, Liu Jun-lin, Li Wei-sheng, et al. Facial expression recognition based on deep binary convolutional network[J]. Journal of Computer-Aided Design & Computer Graphics, 2022, 34(3): 425-436.
[3]	李召峰, 朱明. 基于视频放大和双分支网络的微表情识别[J]. 液晶与显示, 2022, 37(3): 386-394.
	Li Zhao-feng, Zhu Ming. Micro-expression recognition based on video magnification and dual-branch network[J]. Chinese Journal of Liquid Crystals and Displays, 2022, 37(3): 386-394.
[4]	虞苏鑫, 贺俊吉. 基于子区域加权的不同年龄段人脸表情识别[J]. 计算机工程与科学, 2022, 44(8): 1426-1432.
	Yu Su-xin, He Jun-ji. Facial expression recognition of different age groups based on face sub-region weighting[J]. Computer Engineering & Science, 2022, 44(8): 1426-1432.
[5]	唐宏, 向俊玲, 陈海涛, 等. 多区域融合轻量级人脸表情识别网络[J]. 激光与光电子学进展, 2023, 60(6): 71-79.
	Tang Hong, Xiang Jun-ling, Chen Hai-tao, et al. Multi region fusion lightweight facial expression recognition network[J]. Progress in Laser and Optoelectronics, 2023, 60(6): 71-79.
[6]	黄兴禄, 芶小珊, 陈希. 基于混合特征与信息熵的人脸微表情识别算法[J]. 计算机仿真,2023, 40(6): 197-201.
	Huang Xing-lu, Gou Xiao-shan, Chen Xi. Face micro-expression recognition algorithm based on hybrid features and information entropy[J]. Computer Simulation, 2023, 40(6): 197-201.
[7]	戴嫣然, 戴国庆, 袁玉波. 基于肤色学习的多人脸前景抽取方法[J]. 计算机应用, 2021, 41(6): 1659-1666.
	Dai Yan-ran, Dai Guo-qing, Yuan Yu-bo. Multi-face foreground extraction method based on skin color learning[J]. Journal of Computer Applications, 2021, 41(6): 1659-1666.
[8]	王超, 刘文超, 翟海祥, 等. 基于色彩空间和暗原色先验图像融合去雾算法[J]. 电光与控制, 2022, 29(10): 44-50.
	Wang Chao, Liu Wen-chao, Zhai Hai-xiang, et al. An image fusion defogging algorithm based on color space and dark primary color priori[J]. Electronics Optics & Control, 2022, 29(10): 44-50.
[9]	朱帅康, 董龙雷, 官威, 等. 基于高斯混合模型的非高斯振动疲劳频域求解方法[J]. 振动与冲击, 2022, 41(16): 93-99.
	Zhu Shuai-kang, Dong Long-lei, Guan Wei, et al. A frequency method for fatigue life estimation under non-Gaussian random loading based on a Gaussian mixture model[J]. Journal of Vibration and Shock, 2022, 41(16): 93-99.
[10]	花胜强, 陈意, 郑慧娟, 等. 和声搜索改进的形态学分析在库区漂浮物体量预估中应用的研究[J]. 水力发电, 2022, 48(9): 108-113.
	Hua Sheng-qiang, Chen Yi, Zheng Hui-juan, et al. Research on the estimation of floating objects in the reservoir based on harmony search improved morphological analysis[J]. Water Power, 2022, 48(9): 108-113.
[11]	彭向东, 潘从成, 柯泽浚, 等. 基于并行架构和时空注意力机制的心电分类方法[J]. 浙江大学学报: 工学版, 2022, 56(10): 1912-1923.
	Peng Xiang-dong, Pan Cong-cheng, Ke Ze-jun, et al. Classification method for electrocardiograph signals based on parallel architecture model and spatiol-temporal attention mechanism[J]. Journal of Zhejiang University (Engineering Science), 2022, 56(10): 1912-1923.
[12]	张云峰, 张超, 吕钊. 基于关键点的残差全连接网络动态手势识别方法[J]. 安徽大学学报: 自然科学版, 2022, 46(2): 30-38.
	Zhang Yun-feng, Zhang Chao, Lv Zhao. Research on continuous gesture recognition based on residual fully connected network in vehicle scenes[J]. Journal of Anhui University (Natural Science Edition), 2022, 46(2): 30-38.
[13]	张蕾, 窦宏恩, 王天智, 等. 基于集成时域卷积神经网络模型的水驱油田单井产量预测方法[J]. 石油勘探与开发, 2022, 49(5): 996-1004.
	Zhang Lei, Dou Hong-en, Wang Tian-zhi, et al. A production prediction method of single well in water flooding oilfield based on integrated temporal convolutional network model[J]. Petroleum Exploration and Development, 2022, 49(5): 996-1004.
[14]	葛泉波, 张建朝, 杨秦敏, 等. 带有微分项改进的自适应梯度下降优化算法[J]. 控制理论与应用, 2022, 39(4): 623-632.
	Ge Quan-bo, Zhang Jian-chao, Yang Qin-min, et al. Adaptive gradient descent optimization algorithm with improved differential term[J]. Control Theory & Applications, 2022, 39(4): 623-632.
[15]	高涛, 杨朝晨, 陈婷, 等. 深度多尺度融合注意力残差人脸表情识别网络[J]. 智能系统学报, 2022, 17(2): 393-401.
	Gao Tao, Yang Chao-chen, Chen Ting, et al. Deep multiscale fusion attention residual network for facial expression recognition[J]. Journal of Intelligent Systems, 2022, 17(2): 393-401.

相关文章 15

[1]	冯志刚,王首起,于明月. 基于变分模态提取及轻量级网络的滚动轴承故障诊断[J]. 吉林大学学报(工学版), 2025, 55(6): 1883-1891.
[2]	汪豪,赵彬,刘国华. 基于时间和运动增强的视频动作识别[J]. 吉林大学学报(工学版), 2025, 55(1): 339-346.
[3]	胡宏宇,张争光,曲优,蔡沐雨,高菲,高镇海. 基于双分支和可变形卷积网络的驾驶员行为识别方法[J]. 吉林大学学报(工学版), 2025, 55(1): 93-104.
[4]	张锦洲,姬世青,谭创. 融合卷积神经网络和双边滤波的相贯线焊缝提取算法[J]. 吉林大学学报(工学版), 2024, 54(8): 2313-2318.
[5]	赵宏伟,武鸿,马克,李海. 基于知识蒸馏的图像分类框架[J]. 吉林大学学报(工学版), 2024, 54(8): 2307-2312.
[6]	朱圣杰,王宣,徐芳,彭佳琦,王远超. 机载广域遥感图像的尺度归一化目标检测方法[J]. 吉林大学学报(工学版), 2024, 54(8): 2329-2337.
[7]	特木尔朝鲁朝鲁,张亚萍. 基于卷积神经网络的无线传感器网络链路异常检测算法[J]. 吉林大学学报(工学版), 2024, 54(8): 2295-2300.
[8]	魏晓辉,王晨洋,吴旗,郑新阳,于洪梅,岳恒山. 面向脉动阵列神经网络加速器的软错误近似容错设计[J]. 吉林大学学报(工学版), 2024, 54(6): 1746-1755.
[9]	孙铭会,薛浩,金玉波,曲卫东,秦贵和. 联合时空注意力的视频显著性预测[J]. 吉林大学学报(工学版), 2024, 54(6): 1767-1776.
[10]	夏超,王梦佳,朱剑月,杨志刚. 基于分层卷积自编码器的钝体湍流流场降阶分析[J]. 吉林大学学报(工学版), 2024, 54(4): 874-882.
[11]	杨国俊,齐亚辉,石秀名. 基于数字图像技术的桥梁裂缝检测综述[J]. 吉林大学学报(工学版), 2024, 54(2): 313-332.
[12]	陆宇,陈谦,殷海兵. 基于卷积神经网络的视频编码优化算法[J]. 吉林大学学报(工学版), 2024, 54(11): 3296-3301.
[13]	张玺君,尚继洋,余光杰,郝俊. 基于注意力的多尺度卷积神经网络轴承故障诊断[J]. 吉林大学学报(工学版), 2024, 54(10): 3009-3017.
[14]	车翔玖,徐欢,潘明阳,刘全乐. 生物医学命名实体识别的两阶段学习算法[J]. 吉林大学学报(工学版), 2023, 53(8): 2380-2387.
[15]	张振海,季坤,党建武. 基于桥梁裂缝识别模型的桥梁裂缝病害识别方法[J]. 吉林大学学报(工学版), 2023, 53(5): 1418-1426.

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed

参数名称	参数值
卷积核大小	3×3
卷积层数	2
池化层核大小	2×2
学习率	0.001
权重衰减	0.000 1
训练轮次	1 000

学生序号	实际类型	本文算法	文献［3］算法	文献［4］算法
1	1	1	2	1
2	3	3	2	3
3	3	3	3	2
4	2	2	2	1
5	2	2	2	2
6	3	3	3	2
7	1	1	1	1
8	1	1	1	1
9	1	1	3	1
10	3	3	3	1