吉林大学学报(工学版) ›› 2024, Vol. 54 ›› Issue (5): 1435-1442.doi: 10.13229/j.cnki.jdxbgxb.20220782

• 计算机科学与技术 • 上一篇    

基于单目视觉的车辆屏显式封闭驾驶舱前视视野重现

王海涛1(),刘慧卓1(),张学永1,韦健2,郭校源2,肖俊哲2   

  1. 1.中国航空工业集团公司 沈阳飞机设计研究所 人机综合研究中心，沈阳 110035
    2.吉林大学 通信工程学院，长春 130012
  • 收稿日期:2022-06-22 出版日期:2024-05-01 发布日期:2024-06-11
  • 通讯作者: 刘慧卓 E-mail:wht0110@sina.com;605541492@qq.com
  • 作者简介:王海涛（1976-），男，研究员，硕士. 研究方向：人机工效. E-mail：wht0110@sina.com
  • 基金资助:
    国家自然科学基金项目(61901187);吉林省教育厅科学研究项目(JJKH20211094KJ)

Forward-looking visual field reproduction for vehicle screen-displayed closed cockpit using monocular vision

Hai-tao WANG1(),Hui-zhuo LIU1(),Xue-yong ZHANG1,Jian WEI2,Xiao-yuan GUO2,Jun-zhe XIAO2   

  1. 1.Shenyang Aircraft Design and Research Institute，Aviation Industry Corporation of China Limited，Shenyang 110035，China
    2.College of Communication Engineering，Jilin University，Changchun 130012，China
  • Received:2022-06-22 Online:2024-05-01 Published:2024-06-11
  • Contact: Hui-zhuo LIU E-mail:wht0110@sina.com;605541492@qq.com

RICH HTML

 0   

PDF (PC)

108

摘要：

提出了一种基于单目视觉的车辆屏显式封闭驾驶舱前视视野重现方法。该方法通过准确的离线标定及在多线程并行框架下在线执行单目图像采集、前视图像处理和透视图像显示，可在显示屏上再现低失真度、高流畅度的前视画面。搭建了一套屏显式车辆封闭驾驶舱硬件系统，通过实验室和场地测试，从系统延时、前视视角、图像畸变、车辆高速直行、转弯、避障及驾车体验等方面验证了所提方法的有效性和高效性。该方法可为车辆封闭驾驶舱的后续改进提供良好的理论和实践基础。

关键词: 信号与信息处理, 封闭驾驶舱, 视野重现, 单目视觉, 视角变换

Abstract:

A monocular-vision-based method to reproduce the forward-looking visual field of the vehicle closed cockpit was proposed. Accurate off-line calibration and on-line monocular image acquisition， forward-looking image processing， and perspective image display are performed in a multi-threaded parallel framework. So forward-looking images can be reproduced with low distortion and high fluency on the screen. This paper also built a hardware system of vehicle screen-displayed closed cockpit. Through laboratory and field tests， the effectiveness and efficiency of our method are verified from the aspects of system delay， forward-looking angle of view， image distortion， high-speed straight driving， turning， obstacle avoidance and driving experience. This method provides a good theoretical and practical basis for the subsequent improvement of the vehicle closed cockpit.

Key words: signal and information processing, closed cockpit, visual field reproduction, monocular vision, perspective switching

中图分类号: 

  • TP391.7

图1

前视视野重现流程图"

图2

车辆屏显式封闭驾驶舱测试系统"

表1

系统总延时测量结果"

搜索数字系统总延时/ms搜索数字系统总延时/ms
49345833
84332833
12347432
90337631
95338033

图3

前视视角测试示意图"

图4

图像畸变主观测试结果"

图5

后视镜摄像头与GPS仪表"

图6

高速直行测试"

图7

转弯与避障测试"

表2

系统可用性量表与驾驶员工作负荷量表中的问题"

序号系统可用性驾驶员工作负荷
1我认为我愿意经常使用本系统脑力需求（需要多少认知活动，如思考、决策、计算、记忆、注视、搜索等）
2我认为使用这个系统很不习惯体力需求（如推、拉、转身、动作控制、进行活动的程度等）
3我认为该系统容易使用时间压力（是缓慢并使人感到从容不迫，还是快速而令人感到匆忙慌乱）
4我认为需技术人员支持才能使用该系统绩效满意度（对于预先设置的任务目标，认为自己成功完成了吗）
5我发现该系统的不同功能整合得很好努力程度（包括脑力及体力）
6我认为透视驾驶与传统驾驶相差太大舒适程度（如长时间目视显示屏，是否出现视觉疲劳、眩晕、恶心等不适）
7我认为大部分用户会很快学会用该系统安全感（相对传统驾驶方式）
8该系统使用起来非常笨拙，难以使用精神压力（只注视显示屏）
9我使用该系统时得心应手—
10我认为使用该系统前需学习很多东西—

表3

系统可用性与驾驶员工作负荷评测结果（所有问题对应的分值）"

驾驶员系统可用性驾驶员工作负荷
Q1Q2Q3Q4Q5Q6Q7Q8Q9Q10得分Q1Q2Q3Q4Q5Q6Q7Q8得分
平均分82.081.3
1325242424275.01124134378.1
2315142524185.01125133281.3
3425242514282.51124134281.3
4335142515185.01125133184.4
5325142524182.51114133281.3
1 谭兆一,陈白帆,苏苇,等. 基于第一视角的车辆盲区视野重现[J]. 软件导刊, 2020, 19(9): 196-200.
Tan Zhao-yi, Chen Bai-fan, Su Wei, et al. Vehicle blind spot reproduction system in first-person view[J]. Software Guide, 2020, 19(9): 196-200.
2 蒙杨超,杨汉飞. 流媒体全视屏后视镜的设计[J]. 时代汽车, 2020 (12): 78-80.
Meng Yang-chao, Yang Han-fei. Design of streaming media full screen rearview mirror[J]. Auto Time, 2020 (12): 78-80.
3 魏小冈. 基于电子透明理念的A柱盲区消除系统[J]. 时代汽车, 2022 (8): 138-139.
Wei Xiao-gang. A-pillar blind area elimination system based on electronic transparency concept[J]. Auto Time, 2022(8): 138-139.
4 Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.
5 谭华春,夏红卫,李琴,等. 车载摄像机的立体标定方法[J]. 吉林大学学报:工学版, 2013, 43(1): 352-356.
Tan Hua-chun, Xia Hong-wei, Li Qin, et al. Three-dimensional calibration for on-board camera[J]. Journal of Jilin University (Engineering and Technology Edition), 2013, 43(1): 352-356.
6 迟德霞,王洋,宁立群,等. 张正友法的摄像机标定试验[J]. 中国农机化学报, 2015, 36(2): 287-289, 337.
Chi De-xia, Wang Yang, Ning Li-qun, et al. Experimental research of camera calibration based on Zhang's method[J]. Journal of Chinese Agricultural Mechanization, 2015, 36(2): 287-289, 337.
7 Brown M, Lowe D. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision, 2007, 74(1): 59-73.
8 徐明,刁燕,罗华,等. 基于改进的 SURF 算子和透视变换模型的图像配准[J]. 计算机与数字工程, 2020, 48(3): 671-677.
Xu Ming, Diao Yan, Luo Hua, et al. Image registration based on improved SURF operator and perspective transform model[J]. Computer & Digital Engineering, 2020, 48(3): 671-677.
9 兰凤崇,李继文,陈吉清. 面向动态场景复合深度学习与并行计算的DG-SLAM算法[J]. 吉林大学学报:工学版, 2021, 51(4): 1437-1446.
Lan Feng-chong, Li Ji-wen, Chen Ji-qing. DG-SLAM algorithm for dynamic scene compound deep learning and parallel computing[J]. Journal of Jilin University (Engineering and Technology Edition), 2021, 51(4): 1437-1446.
10 Chen S, Pu Z, Fan X, et al. Fixing defect of photometric loss for self-supervised monocular depth estimation[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 32(3): 1328-1338.
11 高振海,李扬,张慧,等. 不同车速下驾驶员变换车道前视行为特征规律[J]. 吉林大学学报:工学版, 2016, 46(5): 1385-1390.
Gao Zhen-hai, Li Yang, Zhang Hui, et al. Driver's forward-looking behavior analysis during lane change under different speed[J]. Journal of Jilin University (Engineering and Technology Edition), 2016, 46(5): 1385-1390.
12 Kwon Y, Park M. Predicting future frames using retrospective cycle GAN[C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, US, 2019.
[1] 王春阳,丘文乾,刘雪莲,肖博,施春皓. 基于平面拟合的地面点云精确分割方法[J]. 吉林大学学报(工学版), 2023, 53(3): 933-940.
[2] 张立斌,冯诗源,单洪颖,王冠然. 基于轮胎滑移率与单目视觉的半挂汽车列车制动时序检测[J]. 吉林大学学报(工学版), 2023, 53(12): 3415-3423.
[3] 李雪梅,王春阳,刘雪莲,施春浩,李国瑞. 基于超体素双向最近邻距离比的点云配准方法[J]. 吉林大学学报(工学版), 2022, 52(8): 1918-1925.
[4] 李雪梅,王春阳,刘雪莲,谢达. 基于SESTH的线性调频连续波激光雷达信号时延估计[J]. 吉林大学学报(工学版), 2022, 52(4): 950-958.
[5] 林乐平,卢增通,欧阳宁. 面向非配合场景的人脸重建及识别方法[J]. 吉林大学学报(工学版), 2022, 52(12): 2941-2946.
[6] 窦慧晶,丁钢,高佳,梁霄. 基于压缩感知理论的宽带信号波达方向估计[J]. 吉林大学学报(工学版), 2021, 51(6): 2237-2245.
[7] 金心宇,谢慕寒,孙斌. 基于半张量积压缩感知的粮情信息采集[J]. 吉林大学学报(工学版), 2021, 51(1): 379-385.
[8] 郭立民,陈鑫,陈涛. 基于AlexNet模型的雷达信号调制类型识别[J]. 吉林大学学报(工学版), 2019, 49(3): 1000-1008.
[9] 李琳辉, 伦智梅, 连静, 袁鲁山, 周雅夫, 麻笑艺. 基于卷积神经网络的道路车辆检测方法[J]. 吉林大学学报(工学版), 2017, 47(2): 384-391.
[10] 厉茂海，洪炳熔，罗荣华 . 用改进的RaoBlackwellized粒子滤波器实现
移动机器人同时定位和地图创建[J]. 吉林大学学报(工学版), 2007, 37(02): 401-0406.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
No Suggested Reading articles found!
版权所有 © 《吉林大学学报(工学版)》编辑部
地址：长春市人民大街5988号　电话：+86-431-85095297　传真：+86-431-85094074　E-mail: xbgxb@jlu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发