吉林大学学报(信息科学版) ›› 2020, Vol. 38 ›› Issue (3): 353-359.

• • 上一篇    下一篇

多角度视频的驾驶人员行为识别

赵维1,沈柏杉2,张宇2,孔俊2   

  1. 1. 吉林警察学院信息工程系,长春130117; 2. 东北师范大学信息科学与技术学院,长春130117
  • 收稿日期:2019-11-25 出版日期:2020-05-24 发布日期:2020-06-24
  • 通讯作者: 沈柏杉( 1991— ) ,女,长春人,东北师范大学信息科学与技术学院硕士研究生,主要从事机器视觉及自动控制研究,( Tel) 86-18584350607( E-mail) shenbs160@ nenu. edu. cn。
  • 作者简介:赵维( 1983— ) ,女,长春人,吉林警察学院讲师,主要从事机器视觉及自动控制研究,( Tel) 86-18686635666( E-mail)zhaowei_0102@ 163. com; 通讯作者: 沈柏杉( 1991— ) ,女,长春人,东北师范大学信息科学与技术学院硕士研究生,主要从事机器视觉及自动控制研究,( Tel) 86-18584350607( E-mail) shenbs160@ nenu. edu. cn。
  • 基金资助:
    国家自然科学基金资助项目( 61672150) ; 吉林省科技厅基金资助项目( 20180201089GX; 20190201305JC) ; 吉林省教育厅
    基金资助项目( JJKH20190291KJ; JJKH20190294KJ; JJKH20190355KJ)

Research on Driver Action Recognition Based on Multi-Angle Videos

ZHAO Wei1,SHEN Baishan2,ZHANG Yu2,KONG Jun2   

  1. 1. Department of Information Engineering,Jilin Police College,Changchun 130117,China;
    2. College of Information Science and Technology,Northeast Normal University,Changchun 130117,China
  • Received:2019-11-25 Online:2020-05-24 Published:2020-06-24

摘要: 驾驶员在行驶过程中看手机,与乘车人员交谈等违规行为,为安全行驶造成了极大的隐患。为了解决此
类问题,提出了一种多角度行为识别方法,从3 个角度同步捕捉驾驶员行为的视频,构建多角度驾驶员行为的
视频和数据集,利用深度卷积神经网络,进行识别分类。实验结果表明,3D CNN 相对于2D CNN 的识别精度
更加准确,在对比输入剪辑的帧数实验中,发现堆叠的视频帧数会影响准确度,并在具有较大优势的R2plus1D
模型中( 将3D 卷积滤波器分解为单独的空间和时间分量) ,基于多角度驾驶人员行为识别精度达到87%。

关键词: 机器视觉, 深度学习, 行为识别, 驾驶人员, 多角度

Abstract: In the process of driving,violations such as looking at mobile phones and talking with passengers
cause great hidden dangers to safe driving. In order to solve such problems,we propose a multi-angle behavior
recognition method,which can synchronously capture video of driving behaviors from three angles,construct a
multi-angle driver behavior data set,and use deep convolutional neural network to carry out recognition and
classification. The experimental results show the advantages of 3D CNN over 2D CNN in accuracy. And in
comparing input clip frames experiment,we found the stacked video frames will affect accuracy and in R2plus1D
model ( 3D convolution filter is decomposed into a separate component of time and space) ,realized driver
behavior based recognition accuracy of 87% from multiple perspectives.

Key words: computer vision, deep learning, behavior recognition, drivers, multiple perspectives

中图分类号: 

  • TP391