引用本文
王新竹, 李骏, 李红建, 尚秉旭. 基于三维激光雷达和深度图像的自动驾驶汽车障碍物检测方法.吉林大学学报:工学版, 2016, 46(2): 360-365
WANG Xin-zhu, LI Jun, LI Hong-jian, SHANG Bing-xu. -Obstacle detection based on 3D laser scanner and range image for intelligent vehicle. Journal of Jilin University Engineering and Technology Edition, 2016, 46(2): 360-365  
Permissions
Copyright©2016, 吉林大学学报编辑部
版权所有.吉林大学学报编辑部
基于三维激光雷达和深度图像的自动驾驶汽车障碍物检测方法
王新竹1, 李骏1,2, 李红建2, 尚秉旭2
1.吉林大学 汽车工程学院, 长春 130022
2.中国第一汽车集团公司 技术中心, 长春 130021
通讯作者:李骏(1958-),男,中国工程院院士,博士生导师.研究方向:动力工程,智能驾驶.E-mail:ljun@rdc.faw.com.cn

作者简介:王新竹(1985-),男,博士研究生.研究方向:自动驾驶技术.E-mail:xzwang12@mails.jlu.edu.cn

基金:"973"国家重点基础研究发展计划项目(2012CB723801)
摘要

介绍了一种基于三维激光雷达和深度图像的障碍物检测方法.首先,根据Velodyne HDL-32E激光雷达自身工作特性,将点云数据以矩阵方式表达,并表示为深度图像;然后,根据点云中各点的距离信息在深度图像横向上进行聚类;最后,在纵向上建立线性模型,对聚类点进行分类,划分出地面点集和障碍物点集.仿真实验结果表明:本方法能够抑制障碍物遮挡造成的误判,并能够很好地适应地形变化.

关键词: 车辆工程; 三维点云; 障碍物检测; 环境感知
中图分类号:U461 文献标志码:A 文章编号:1671-5497(2016)02-0360-06
-Obstacle detection based on 3D laser scanner and range image for intelligent vehicle
WANG Xin-zhu1, LI Jun1,2, LI Hong-jian2, SHANG Bing-xu2
1.College of Automotive Engineering, Jilin University, Changchun 130022,China
2.China FAW Group Corporation R&D Center, Changchun 130021, China
Abstract

An obstacle detection method based on 3D laser scanner and range image is proposed for intelligent vehicle. First, the range image of one scan is established based on the Welodyne HDL-32E laser scanner data. Then, according to the range image analysis, the point cloud in one row of the image is classified into several groups. Finally, the point clouds in different groups are detected by a linear model in column. Simulation reveals that using the proposed method, the rate of false detection caused by the obstacle lock is reduced, and this method well adapts to the terrain change.

Keyword: vehicle engineering; 3D point clouds; obstacle detection; environmented perception
0 引 言

环境感知的主要任务是对车辆行驶中的障碍物进行提取, 并分辨出可通行区域, 从而为路径规划提供可靠依据.根据应用传感器的不同, 环境感知方法可归纳为:基于毫米波雷达的方法[1], 基于立体视觉的方法[2, 3, 4, 5], 基于激光雷达的方法[6, 7, 8, 9, 10, 11]和基于多传感器信息融合的方法[12, 13, 14, 15, 16]等.基于毫米波雷达的方法通常受到传感器自身特性的影响, 比如较大的光斑以及有限的距离分辨率.基于立体视觉的环境感知方法通常应用多目摄像头重建三维场景, 该方法很难准确获悉目标的精确位置, 对目标形状和大小的计算方法通常较为复杂, 限制了环境感知的实时性, 而且摄像头受光线等环境因素影响较为明显, 在阴天和夜晚等情况下效果将大打折扣.基于多传感器融合的环境感知方案能够提供更加丰富的环境信息, 但同时也带来了信息的冗余, 提高了计算的复杂度.此外, 由于传感器之间应用固定的校准参数, 校准参数时常会受到环境的影响(如道路的颠簸等), 一旦引入噪声, 会在一定程度上影响环境感知的准确性.为了保障环境感知的准确性, 在数据处理中不得不花费更多的计算来判定当前状态下哪个传感器获取的信息更为准确, 而这无疑将引入更繁重的计算[17].

自美国DARPA无人车挑战赛以来, 基于激光雷达的环境感知技术得到了国外学者的关注, 如Google无人车, 卡内基梅隆大学的Boss无人车[18]和斯坦福大学的Junior无人车[19]等.国内也举办了多届"中国智能车未来挑战赛", 激光雷达在众多参赛队伍车辆中同样扮演着重要的角色.通常应用的激光雷达分为三维激光雷达和二维激光雷达.三维激光雷达较二维激光雷达进一步提供了高度信息, 令障碍物的检测更为简便可靠.因此诸多研究机构在自动驾驶汽车的研究中均采用三维激光雷达, 如Velodyne HDL-64E激光雷达和Velodyne HDL-32E激光雷达等.本研究中采用Velodyne HDL-32E激光雷达, 其相对Velodyne HDL-64E雷达具有更小的体积.

Moosmann等[10]提出了基于快速网格化的障碍物检测方法.该方法首先寻找点云中每点的4个近邻点, 从而分析点与点, 点与面以及面与面的关系, 应用区域增长法来分割点云, 从而获取环境信息.该方法巧妙地应用了激光雷达的工作方法来进行快速网格化, 然而该网格化方法往往很难准确地估计各点所在平面的法向量信息, 并对噪音干扰较为敏感.Douillard[9]等提出了基于高斯过程的样本增量一致性算法, 并用该方法进行障碍物检测, 方法首先选定一些路地点, 建立道路模型, 然后根据当前道路模型判定其后若干点是否属于道路点, 如果属于道路点, 则加入样本, 然后重新建立道路模型.该方法能够对非道路点(离群点)进行过滤, 但是要求初始的样本点为道路点, 否则将无法建立正确的初始预测模型, 一旦初始道路点选择错误或失败将造成模型建立失败, 这将直接影响到环境感知的准确性.Himmelsbach等[6]提出了应用线性模型来描述道路的变化, 该方法较为快捷, 但该方法最初是用于机器人室内道路检测中, 因此对于道路多变的室外区域, 该方法很难跟随路面的变化.Douillard和Himmelsbach都应用了极坐标栅格, 然后沿栅格纵向应用算法进行建模计算, 然而却忽略了横向上的相关性.此外, 固定的栅格有时很难适应复杂的道路环境, 在遮挡情况下很难用当前模型判别当前点的类别.

本文提出了一种基于深度图像的障碍物检测方法, 该方法结合了三维激光雷达的工作特性.首先在深度图像对应矩阵的横向上进行聚类分析; 然后根据聚类结果自适应地划分横向跨度; 最后选择特征点, 并在纵向上建立线性模型进行分类.本方法的特点在于:① 以图像的角度来对点云进行分析; ② 不同于以往的栅格方法, 本文提出的方法在横向跨度选择上具有自适应性, 以减少计算复杂度; ③ 在极少计算复杂度的前提下, 本方法对全部的采样点进行了应用, 最大程度地应用点云信息.

1 障碍物检测方法
1.1 深度图像

图1所示为Velodyne HDL-32E激光雷达, 其使用32个固定式激光发射器来测量周围的环境, 每个都固定到一个特定的垂直角度, 每间隔时间Δ t, 32组激光发射器发射一次, 雷达通过高速旋转扫描来检测周边环境信息, 激光雷达每扫描过360° , 称为一帧.对于时刻t的输入数据为一系列三维点, 根据激光发射器垂直角度由小到大将时刻t获得的32个点编号为1~32.因此, 对于t时刻第n点pn, t, 定义其4个相邻点为pn+1, t, pn, t-1, pn, i+1, pn-1, t .若根据这一原则, 将一帧点云映射到一幅图像中, 并以水平深度作为其像素, 则可获得一幅深度图像, 如图2所示.

图1 Velodyne HDL-32E激光雷达Fig.1 Velodyne HDL-32E laser scaner

图2 将三维点云转换为深度图像Fig.2 3D point cloud is illustrated by a range image

1.2 聚类分析

Douillard和Himmelsbach提出的方法中只考虑了在纵向建模, 而当如图3所示存在障碍物遮挡的情况下, 由于地面点A与估测点B间隔较大, 很难对点B进行正确判定.假设能够判定点B的一个邻近点属于地面点, 而B又与该相邻点属于同一类别, 那么将依此判定点B也属于地面点, 反之亦然.因此, 本文首先考虑对每环点云(即深度图像横向上)进行聚类分析.由于Velodyne HDL-32E激光雷达具有较高的旋转速度, 所以每环点云具有很高的密度, 利用这一特点, 首先在深度图像横向上进行聚类分析, 然后根据聚类结果自适应地选择跨度, 这样不仅能够减少运算量, 而且能够在一定程度上解决由于障碍物遮挡造成的建模不准等问题.

图3 激光扫描受到障碍物遮挡Fig.3 Lasers are blocked by an obstacle

假设 (xn, t, yn, t, zn, t)(xn, t+1, yn, t+1, zn, t+1)在同一圆周上, 当圆周上两点夹角较小的情况下, 两点间的距离近似等于两点间的弧长.因此, 当激光雷达高速旋转时, 如果相邻两点属于同一类别(同一环上), 则有:

Dn, t=(xn, t-xn, t+1)2+(yn, t-yn, t+1)2(1)

Rn, t=xn, t2+yn, t2(2)

Dn, t≈Rn, tΔω(3)

式中:Δ ω 为激光雷达旋转的平均角速度; Dn, t为水平半径长度.

根据每环相邻点之间的距离进行聚类.当相邻两点之间的距离 Dn, t≤αRn, tΔ ω 时, 认为两点属于同一类别, 反之认为两点分属不同类别, 其中α 为大于1的常数.如以图4数据为例, 对该行相邻点进行二值分类, 相邻的同类点表示成为相同颜色, 图中以黑色和白色间隔表示.这样将一环点云自适应地划分为若干组点簇, 在深度图像上反映为对应行上的不同跨度.

图4 聚类方法示意图Fig.4 Illustration of point clouds classification

1.3 障碍物检测

应用递推的方式在深度图像上逐行对障碍物点和道路点进行检测.对一行中的一簇点云, 首先从该簇点中选择若干特征点, 然后以特征点的均值来代表整簇点云, 最后在纵向上建立2D模型, 以此对该点进行判定, 如果均值点属于道路点, 那么整簇点归类为道路点, 反之归类为障碍物点.

假设已推算出了1到m-1行的道路点 G={G1, G2, …, Gm-1}, Pm={pml…pml+s-1}为第m行中一簇点云, 起始于第l列结束于第l+s-1列, 共s个点.为了能够准确估测当前点云, 应该尽量选取距离估测点较近的道路点建立道路模型.对于第m行每簇特征点的选取方法如下:

For w=m-1:-1:1

Rw=[]; Lw=[]; Rcommon=[l:l+s-1]

For v=l:l+s-1

If gwvexists

Rw=[Rw, v]

End

Rcommon=Rw∩ Rcommon

If Rcommon is not empty

Lw=[Lw, w]

end

end

end

Pmean=MeanRow(G(Rcommon, Lw))

Pmol=Pinitial∪ Pmean

其中, Rcommon记录候选特征点所属的列, Lw记录了存在道路特征点的行, gvw为w行v列的道路点.计算时, 该方法选取每行候选特征点的均值Pmean来建立模型.Pmol为可供建立线性模型的均值点, 为了适应地形的变化, 线性模型只选取Pmol中接近当前行的若干点P'mol(P'mol∈ Pmol).然后应用最小二乘法对P'mol中的点进行线性拟合, 建立地面模型, 并以此判定点簇所属分类.计算时车辆轮胎接触区域(传感器盲区)假设为平坦道路, 用 Pinitial=[Rinitial; Hlaser]来表示该区域, 其中 Rinitial={r1, r2, …, rq}, rq为传感器盲区半径; Hlaser={-h1, -h2, …, -hq}, 其中h1, h2, …, hq均取激光雷达距离地面的高度hlaser .

2 仿真实验

实验数据采集于中国第一汽车集团公司技术中心研发的搭载了Velodyne HDL-32E激光雷达的挚途自动驾驶汽车, 如图5所示.Velodyne HDL-32E激光雷达有32个激光器, 纵向视野40° , 质量小于2 kg, 32个激光器组可以实现+10° 到-30° 角度调节, 可提供极好的垂直视野, 水平视野可达360° .HDL-32E每秒可输出700 000像素, 测量范围可达70 m, 一般精度可达± 2 cm.实验中激光雷达的实际旋转速度选定为15 Hz.

图5 挚途自动驾驶汽车Fig.5 Zhi Tu autonomous vehicle

本文应用了Matlab对算法进行了仿真, 并应用实验采集数据进行了验证.这里给出了与文献[6]和文献[9]的对比实验.由图6(a)可见, 圈出的区域应为地面区域, 但是文献[9]的方法却误识别为障碍物.其主要原因在于车辆行驶中容易引入噪音.当应用文献[9]的方法时, 如果初始点受到噪音干扰, 则不能很好地建立地面模型, 从而出现误判.由图6(b)可见, 按照本文提出的方法, 首先在横向上进行了聚类分析, 从而将受到噪音干扰点单独作为一类分离出来, 这样在判定时将不再对其他点的判定造成干扰.由图6(c)(d)可见, 当存在障碍物遮挡时, 会形成一个盲区, 对其后的障碍物或道路判定造成影响.本文提出的方法由于对横向上点与点的关系进行了分析和聚类, 从而在一定程度上避免了盲区影响.

图6 对比实验Fig.6 Experiment of comparison

图7为部分仿真结果, 可以看到本方法能够很好地在复杂环境下对车辆, 行人, 标示, 树木等障碍物进行检测, 并对斜坡区域有着很好的辨识度, 不会将其误识别为障碍物区域.

图7 仿真结果Fig.7 Simulation experiment results

3 结束语

介绍了一种基于Velodyne HDL-32E激光雷达的智能车障碍物检测方法.该方法不同于以往的基于栅格的障碍物检测方法.首先, 基于Velodyne激光雷达工作原理建立深度图像; 然后基于深度图像信息在图像矩阵每行上进行聚类分析, 以自适应的方式划分宽度; 最后应用线性模型对深度图像进行逐行检测以划分出障碍物.本方法的优势在于:① 结合了激光雷达工作特点, 以简便的算法应用了全部的点云信息; ② 综合考量了点云深度图像横向和纵向上的相关信息, 并自适应的划分网格跨度, 减小了运算复杂度; ③ 能够较好地解决由于障碍物遮挡造成的盲区影响; ④ 能够很好地区分障碍物区域和斜坡, 避免斜坡区域的误报.

The authors have declared that no competing interests exist.

参考文献
[1] Reina G, Underwood J, Brooker G, et al. Radar‐based perception for autonomous outdoor vehicles[J]. Journal of Field Robotics, 2011, 28(6): 894-913. [本文引用:1]
[2] Alvarez J M A, Lopez A M. Road detection based on illuminant invariance[J]. Intelligent Transportation Systems, IEEE Transactions on, 2011, 12(1): 184-193. [本文引用:1]
[3] Danescu R, Nedevschi S. Probabilistic lane tracking in difficult road scenarios using stereovision[J]. Intelligent Transportation Systems, IEEE Transactions on, 2009, 10(2): 272-282. [本文引用:1]
[4] Rotaru C, Graf T, Zhang J. Color image segmentation in HSI space for automotive applications[J]. Journal of Real-Time Image Processing, 2008, 3(4): 311-322. [本文引用:1]
[5] 王荣本, 李琳辉, 郭烈, 等. 基于立体视觉的越野环境感知技术[J]. 吉林大学学报: 工学版, 2008, 38(3): 520-524.
Wang Rong-ben, Li Lin-hui, Guo Lie, et al. Stereo vision based cross-country environmental perception technique[J]. Journal of Jilin University(Engineering and Technology Edition), 2008, 38(3): 520-524. [本文引用:1]
[6] Himmelsbach M, Wuensche H. Fast segmentation of 3d point clouds for ground vehicles[C]//Intelligent Vehicles Symposium (IV), IEEE, 2010: 560-565. [本文引用:3]
[7] Steinhauser D, Ruepp O, Burschka D. Motion segmentation and scene classification from 3D LIDAR data[C]//Intelligent Vehicles Symposium, IEEE, 2008: 398-403. [本文引用:1]
[8] Klasing K, Wollherr D, Buss M. A clustering method for efficient segmentation of 3D laser data[C]//ICRA, Pasadena, California, USA, 2008: 4043-4048. [本文引用:1]
[9] Douillard B, Underwood J, Kuntz N, et al. On the segmentation of 3D LIDAR point clouds[C]//Robotics and Automation (ICRA), 2011 IEEE International Conference on, IEEE, 2011: 2798-2805. [本文引用:5]
[10] Moosmann F. Interlacing Self-Localization, Moving Object Tracking and Mapping for 3D Range Sensors[D]. Germany: KIT Scientific Publishing, 2013. [本文引用:2]
[11] 周森, 郭永彩, 高潮, 等. 基于三维激光扫描的移动大尺寸圆柱体工件长度快速检测系统[J]. 光学精密工程, 2014, 22(6): 1524-1530.
Zhou Sen, Guo Yong-cai, Gao Chao, et al. Rapid length measuring system for mobile and large scale cylinder workpieces based on 3D laser scanning[J]. Optics and Precision Engineering, 2014, 22(6): 1524-1530. [本文引用:1]
[12] Milella A, Reina G, Underwood J, et al. Combining radar and vision for self-supervised ground segmentation in outdoor environments[C]//Intelligent Robots and Systems (IROS), 2011 IEEE/RSJ International Conference on, IEEE, 2011: 255-260. [本文引用:1]
[13] Milella A, Reina G, Underwood J, et al. Visual ground segmentation by radar supervision[J]. Robotics and Autonomous Systems, 2014, 62(5): 696-706. [本文引用:1]
[14] Häselich M, Arends M, Lang D, et al. Terrain classification with Markov rand om fields on fused camera and 3D laser range data[C]//ECMR, Örebro, Sweden, 2011: 153-158. [本文引用:1]
[15] Hu X, Rodriguez F S A, Gepperth A. A multi-modal system for road detection and segmentation[C]//Intelligent Vehicles Symposium Proceedings, IEEE, 2014: 1365-1370. [本文引用:1]
[16] Álvarez J M, Lumbreras F, Gevers T, et al. Geographic information for vision-based road detection[C]//Intelligent Vehicles Symposium (IV), IEEE, 2010: 621-626. [本文引用:1]
[17] Básaca-Preciado L C, Sergiyenko O Y, Rodríguez-Quinonez J C, et al. Optical 3D laser measurement system for navigation of autonomous mobile robot[J]. Optics and Lasers in Engineering, 2014, 54: 159-169. [本文引用:1]
[18] Urmson C, Anhalt J, Bagnell D, et al. Autonomous driving in urban environments: boss and the urban challenge[J]. Journal of Field Robotic, 2008, 25(8): 425-466. [本文引用:1]
[19] Montemerlo M, Becker J, Bhat S, et al. Junior: The stanford entry in the urban challenge[J]. Journal of Field Robotics, 2008, 25(9): 569-597. [本文引用:1]