基于深度学习的单相机双光源的眼动交互技术

吉林大学学报(信息科学版) ›› 2023, Vol. 41 ›› Issue (1): 180-185.

基于深度学习的单相机双光源的眼动交互技术

赵培森, 玄玉波, 何琪

(吉林大学通信工程学院长春 130012)

收稿日期:2022-04-28 出版日期:2023-02-08 发布日期:2023-02-09
通讯作者: 玄玉波(1979— ), 女, 黑龙江牡丹江人, 吉林大学副教授, 主要从事图像处理与并行计算研究, (Tel)86-13596103291(E-mail)xuanyb@ jlu. edu. cn。
作者简介:赵培森(2001— ), 男, 山西阳泉人, 吉林大学本科生, 主要从事信号处理和模式识别研究, ( Tel) 86-13134470508(E-mail)pesionzhao@ 163. com;
基金资助:
吉林大学大学生创新创业训练计划基金资助项目(202110183174)

Technology of Eye Movement Interaction for Single-Camera and Dual-Light Sources Based on Deep Learning

ZHAO Peisen, XUAN Yubo, HE Qi

(College of Communication Engineering, Jilin University, Changchun 130012, China)

Received:2022-04-28 Online:2023-02-08 Published:2023-02-09

摘要/Abstract

摘要： 为进行高帧率眼动交互, 提出了基于深度学习的单相机双光源识别方法。该方法运用了反射光斑与视线落点的相关关系, 得到了由眼图到视线落点的映射规律, 构建了人机眼动交互装置并得到高质量数据集, 训练得到了精度与速度较高的视线落点定位模型, 解决了视线估计数学模型复杂、运算量大的问题。实验结果表明, 该方法实现了实时识别用户视线落点并进行交互的功能, 可支持心理学实验研究以及虚拟现实应用技术的发展和应用。

关键词: 视线估计, 卷积神经网络, 人机交互

Abstract: In order to realize eye movement interaction with high frame rate, a deep-learning based single-camera dual-light source identification method is proposed. This method uses correlation between the reflected spot and the gaze landing point to obtain the mapping law from the eye image to the gaze. Human-computer eye movement interaction device is constructed, which results in a high-quality dataset, obtains the gaze estimating model with high precision and speed by training, solves the problems of complex mathematical model and large amount of calculation of gaze estimation. It realizes the function of real-time recognition and interaction of users蒺 gaze, supports the development and application of psychological experimental research and virtual reality application technology.

Key words: gaze estimation, convolutional neural network, human-computer interaction

中图分类号:

TP391. 4

赵培森, 玄玉波, 何琪. 基于深度学习的单相机双光源的眼动交互技术[J]. 吉林大学学报(信息科学版), 2023, 41(1): 180-185.

ZHAO Peisen, XUAN Yubo, HE Qi. Technology of Eye Movement Interaction for Single-Camera and Dual-Light Sources Based on Deep Learning[J]. Journal of Jilin University (Information Science Edition), 2023, 41(1): 180-185.

[1]	葛延良, 孙笑笑, 王冬梅, 王肖肖, 谭爽. 基于循环生成对抗网络的人脸素描合成网络设计[J]. 吉林大学学报(信息科学版), 2023, 41(1): 76-83.
[2]	李晓峰 , 王妍玮 , 卫晋. 基于深度学习的三维乳腺超声影像自适应分割[J]. 吉林大学学报(信息科学版), 2023, 41(1): 84-92.
[3]	姜建国, 万成德, 陈鹏, 郭晓丽, 佟麟阁. 基于 1DCNN-LSTM 和迁移学习的短期电力负荷预测[J]. 吉林大学学报(信息科学版), 2023, 41(1): 124-130.
[4]	骆焦煌, 宋长龙. 基于改进 CNN 算法的视觉图像目标跟踪研究[J]. 吉林大学学报(信息科学版), 2023, 41(1): 165-173.
[5]	李亮 , 鲁铮 , 赵靖华 , 孙宏宇 , 刘靓葳. 基于暗光环境下光条纹去糊的车牌识别[J]. 吉林大学学报(信息科学版), 2022, 40(5): 836-845.
[6]	万云霞 , 汪勇 , 曹豪杰 , 陶航宇 , 韩红爽. 实验室设备安全及人员信息管理系统[J]. 吉林大学学报(信息科学版), 2022, 40(5): 868-874.
[7]	杜睿山, 刘文豪, 孟令东, 付晓飞. 基于卷积神经网络的地震随机噪声压制方法[J]. 吉林大学学报(信息科学版), 2022, 40(4): 531-538.
[8]	任爽, 林光辉, 田振川, 商继财, 杨凯. 基于 STFT-Inception-残差网络的轴承故障诊断[J]. 吉林大学学报(信息科学版), 2022, 40(4): 621-627.
[9]	任爽, 田振川, 林光辉, 杨凯, 商继财. 改良 GoogLeNet 的电机滚动轴承故障诊断[J]. 吉林大学学报(信息科学版), 2022, 40(3): 371-378.
[10]	李盼池, 李文杰. 基于一维卷积神经网络的岩石物理相识别[J]. 吉林大学学报(信息科学版), 2022, 40(1): 51-63.
[11]	杨永吉, 赵剑, 史丽娟, 崔宇晴, 张智威, 肖治国. 基于 VR 技术的沉浸式听障儿童发音康复训练系统[J]. 吉林大学学报(信息科学版), 2021, 39(6): 700-705.
[12]	王宁, 苏皓, 王伟成, 陈明虎, 郭淞赫, 薛祥凯. 基于集成卷积小波极限学习的绝缘子故障检测[J]. 吉林大学学报(信息科学版), 2021, 39(5): 539-545.
[13]	梁洪卫, 白鹏程, 陈建玲, 孙勤江, 陈明虎, 薛祥凯 . 基于 FPGA 的 YOLOv2 加速器设计[J]. 吉林大学学报(信息科学版), 2021, 39(4): 445-450.
[14]	文莉莉, 孙苗, 邬满. 基于 Faster R-CNN 的海域监管预警方法[J]. 吉林大学学报(信息科学版), 2021, 39(4): 421-429.
[15]	吴雨浩, 王从庆. 基于多路卷积神经网络的手势识别方法[J]. 吉林大学学报(信息科学版), 2021, 39(3): 303-309.