多传感器环境感知——百度的探索与实践

今天因为时间限制，今天主要谈谈摄像头Camera和激光雷达LIDAR在障碍物检测和车辆自定位上面的工作。

先看一下基于LIDAR障碍物的检测。大概这样的流程，LIDAR先做地面检测和消除，像Ground Remove，把地面检除之后，剩下的点云进行聚类，最后把聚类之后的点云进行分类，这里面我们看到地面的检测和消除，一般来说我们会把地面分成均等大小的，叫做Ground。然后在每个Ground里面算点云平均高度做地面的消除，但是会带来一个问题，对于近处的物体需要非常高的检测精度，如果Ground大小太大的话，我们会把不小心落在Ground部分的车体平均掉，认为是地面的一部分，这样会对我们避障带来很大的问题。所以我们现在用的是多尺度的、自适应的地面消除算法。车辆聚类也是一样，车辆聚类，当地面解除之后有非常多的噪声的点云，怎么去除这些不关注的点，进行快速的聚类，这是我们研究的重点。最后在点云分类上面，传统来说，更多的是提取手工的特征来进行简单的机器学习的分类，现在尝试用Deep Learning做，但也碰到一些问题，精细程度肯定不如2D的图像，目前在点云分类上面做到2到3类的分类。

左边这个视频是我们做的一些基于激光点云的障碍物检测，可以看到前后障碍物的历史轨迹非常平滑，可以看到这个点云也不会受到任何光照的影响。右边是我刚刚讲到的算法的优势。

这一张给大家看一下基于2D摄像头做的障碍物检测，在2D障碍物上面，我们用了深度的卷积神经网络，我们这个神经网络的特点主要是两块：一个是Multi—task，可以多任务；另一个是端到端。Multi—task意思是说我们这个模型的输出是同一个模型有多输出，这个输出包括车辆检测、行人检测、自行车的检测，包括不同物体距离的学习。Multi—task的好处就是说，首先减少计算量，可以在一个Deep model里面做多件事情。另一个说多个输出的level可以manage其他不同的类别，他们之间有互相约束的过程。另外用了端到端，输出的直接是检测到的结果，包括距离阶级的古代。还用了路面的分割来减少误报，左边这个视频上面可以看到在旁边树上有一些误检测的车辆，红色区域是我们做路面分割获得的可行驶的路面区域，当前方向路面的区域。通过这个路面区域的过滤，过滤掉绝大多数的误报。右边是非常干净、平稳的结果。上面是高速公路，下面是城市道路，城市道路比高速公路复杂得多。Deep model可以同时检测到垂直道路上面自行车、行人和机动车辆。

说到2D障碍物检测，那么如何衡量这个结果？做图象识别、计算机是觉得，应该都了解KITTI数据库，基本上比较适合于自动驾驶的衡量的数据库，也有很多同学喜欢刷这个数据库。我们现在觉得这个数据库是有问题的，首先数据跟中国真实道路上面的数据差别很大，欧洲车辆和中国车辆差别很大。另一个这个数据库衡量的标准不适合做自动驾驶，不会区分什么样的车辆是自动驾驶的车辆最关注的，人开车关注在我车边最近的车辆。但是这个数据集里面要优化的目标，检测所有的车辆，只要图像上面出现都要检测，这样你要检测远处看不清的障碍物，反而没有针对我们需要关注的障碍物做很好的优化。我们现在也在做针对中国道路的数据集。现在机器学习方法是监督式的机器学习，任何做这样一个Deep Learning需要强大的团队做背后的支撑。