多传感器环境感知——百度的探索与实践

刚才做了2D障碍物检测之后，可以看到有很多的把障碍物框出来，对于自动驾驶的车不能直接使用，因为自动驾驶车辆行驶在三维环境当中。我们要做的就是把二维检测到的障碍物投射到三维空间中，使自动驾驶的决策和规划知道在周边的障碍物具体在三维空间的什么位置。我们使用了立体视觉，首先立体视觉可以恢复出图像中的深度，彩色图可以看到是一个深度图。当你恢复这个图像深度之后，二维当中检测的障碍物，获得在三维空间当中的位置。上面那个图变成一个俯视图，当前车和看到的障碍物车。这样的话，我们就能够把二维的Camera检测到的障碍物和3DLIDAR检测到的障碍物统一到同一个空间进行融合。

LIDAR作为我们现在无人车上面主要的传感器，有人会说是无人车的眼睛，我们觉得LIDAR不是眼睛，而是盲人手杖。LIDAR跟盲人拿手杖探索这个世界挺类似的，知道哪确实有一个东西，但不知道那个东西是什么、长什么样。Camera对它的补充，能够让盲人睁开眼睛真正地看这个世界。Camera帮助LIDAR在很多环境下面提高对不同障碍物的识别。

接下来看一下自定位，车辆的高精度定位。高精度定位不得不先说一下高精度地图，但我今天不会展开讲百度在高精度地图上面的工作，我讲一下百度对于高精度地图的认识和理念。我们觉得高精度地图分为两个层次，原始数据进来经过处理之后形成两套地图，第一个是路网的地图，Road graph，告诉你每个路口有没有红绿灯、红绿灯在哪里，为车的决策和规划使用的。另一个地图是Feature map。Feature map主要用到以下几个东西：反射值、高度值等等。这个图，左边激光扫描的反射值，激光发射出去之后，每一个反射的点带一个反射的强度的，这个反射代表了扫描到的物体对激光的反射率，有这样一个反射值地图之后，把三维的点云压缩成二维的图片。做高精度定位的时候用实时激光扫描的环境的反射值和Feature map里面存储的反射值进行匹配，这样可以获得高精度定位。好处是具有很高的分辨率，不好的地方是当下雨的时候，路面潮湿的反射值发生很大的变化。右边是激光扫描高度值的地图，扫描周围三维环境之后，每个点有一个离地面高度，这个是知道的，投射到一个二维图片上面。它的缺点，在非常空旷、开阔、平坦的地方没有什么高度变化的特征，很难用它做高精度定位。我们现在把这两个定位方式做了融合。

这个视频应该是融合之后的定位效果。这里面有两辆车，一个是红色的，红色车基本上不会露出来。现在基于激光这两种方法融合，大概做到五厘米左右的定位精度。平均的精度是一方面，做高精度定位另一个很重要的指标是说你的最大误差在什么地方。假设我平均都能够以5厘米、10厘米精度做定位，但是我偶尔会偏离3米、5米，这样的车可能就直接撞了，撞到路边的护栏了。还有另外一个指标，当你的车在99.99%的情况下面，能够以最大多少的误差进行高精度定位。这是做自动驾驶高精度定位非常重要的指标，目前我们这个指标在20厘米左右。

这个显示的是刚才说的用视觉特征做高精度定位的结果。我们用了两种方法：一个是VO，立体视觉；还有Keyframe特征比对。