吴俊杰：中国交通环境情况对ADAS系统开发的挑战

2016中国汽车工程学会年会暨展览会（SAECCE 2016）于10月26-28日举办,本次论坛以“技术升级、产业发展、协同创新”为主题，携手150余位行业领导、学会领导、院士，100余位汽车及相关行业权威专家，800余位国内外业界嘉宾共同探讨汽车产业车厂与零部件协同创新和技术发展路径。下面是德尔福中国科技研发中心电子与安全工程师吴俊杰在会上的发言：

非常高兴跟大家在中国分享我们在自动驾驶领域的研究进展——发展ADAS我们面临的挑战是什么。我来自德尔福，负责主动安全和被动安全事业部，我在上海浦东外高桥有研发中心，这里集中了八九十位非常优秀的工程师，还有基于雷达、摄像头的实验室，整体开发都在我们本土可以完成。

德尔福在去年整体销售额达到150亿，全球有超过2万名工程师，我们在研发方面的投入相对于我们销售额的比例也是非常高的，达到了两位数，基本上占到10%左右，这方面的投入主要集中在现在比较热门的自动驾驶，我们将来的SAE的LEB3、LEB4，及其他一些比较前沿的技术开发上面。

我们公司的核心价值是安全、绿色以及互联，围绕三个核心价值，我们形成了四个产品事业部，我所在的是电子与安全部门，这个部门主要负责车上所有的电子控制器，包括我负责的安全气囊控制器、雷达、摄像头以及将来在自动驾驶上方面的控制器。

我们具体会牵涉到哪些产品呢？我们和ADAS相关的，会有一系列的视频和雷达方面的产品，按照不同的应用有前向智能摄像头，长距离、中距离雷达，其中比较具有开创型的产品，我们称之为雷达和摄像头共生体——RACam，在沃尔沃的车上得到了广泛的应用，目前欧洲五星也拿到满分。

今天要谈中国道路对我们ADAS的挑战，谈这个之前，刚才我们几位专家包括几位同行都谈到了一些，C-NCAP和Euro-NCAP遇到一些挑战，比如怎么利用我们仿真环境和数据链进行开发。这方面我们德尔福和业界比较类似，第一个层面在台架上做，台架上更多的是利用我们实际采的一些数据，算法在台架上重复，不需要在外界做很多路试，不同版本更改的模型做多次回放，来看模型的更改，对我们路试采到有问题的现象有没有改进。在台架层面立刻就可以知道模型的可靠性怎么样。同时我们有固定场景的测试，固定场景更多的针对我们既定场景的考核项C-NCAP和Euro-NCAP场景典型工况，我们为什么要花人力、物力、时间来探讨这个事情，因为实际驾驶当中，有太多太多的情况，C-NCAP和Euro-NCAP没有谈到。

我们德尔福中国团队，在去年一年做的实际路测超过25万公里，这副图刚才大家稍微有一点印象，徐工报告里面有一点体现，合作不单单是泛亚，还有各大主机厂，主要在我们中国从南到北，从沿海到中间内路部分，在我们西藏这边会少一点，但是至少在我们中国版图的右版块有我们实验车车轮碾过的痕迹。我们实验车目的是规范我们设计过程当中的问题，让我们知道不管是感知系统，还是整车控制算法，还是对于目标识别当中没有考虑到的方方面面，这些东西是我们需要花很多的工程力量和时间来一项项克服。

简单介绍一下我们在中国路测中碰到的问题，分三个方面：

一、关于传感器。德尔福的产品线覆盖了我们目前ADAS所用的绝大多数的传感器，每一种传感器都有它的特点，刚才我们蔡博士也分享过我们摄像头在什么情况下不行，雷达在什么情况下非常好。德尔福也非常清楚。

区分于我们北美、欧洲，不管道路情况也好，还是我们驾驶员行为也好，它的一些不一样的地方，大家都是在路上开车，路有什么不一样，车的环境有什么不一样等等。

下面看一下传感器。我们这个数据是mobile系统采集出来的，都是一些工程实践当中的真实数据。前置摄像头为了提高动态范围，做成黑白的有利于我们场景的识别。这里第一个场景告诉大家是低照度，是晚上，摄像头系统在晴天的时候，通过识别我们车辆的外型，判断是不是一辆车，到晚上摄像头又不行了，我们要克服这一点。mobile在晚上的时候利用了车辆后面的试宽灯做识别，在夜晚，或者在傍晚，我们系统还能进行一定程度的工作，这个时候挑战来了，大家能看清楚这是什么东西吗？事实上在美国车辆交通灯如果有坏掉一个，或者有一些问题的话，警察会把你拦下来，在中国车坏掉一个灯情况太多了，这种情况下目前固有摄像头固件或者软件没有办法设计成一辆车，ACC、AEB的时候就不会有制动，像这种情况我们碰到过蛮多例，碰到之后，我们把这些情景做归总，对于我们的算法要去提炼出来，再把它放到算法里面识别，这是机器学习的过程，要提炼特征，把大量数据放进去让它自我学习，这是第一个跟大家分享的情况。

第二个情况有一点类似也是夜晚，可以通过大灯或者示宽灯进行识别，这是一个封闭的厢式火车，后面贴了反光条，这是高速公路或者国道上比较多见的情况，这个时候系统有一些问题，这边有反光物，那边有反光物，对面来车大光灯有干扰，这个时候并没有对它有非常好的识别，低照度的情况我们需要采集大量数据，来提炼它的特征，使得目标识别有广泛性和可靠性。

这种情况没有把它识别出来，带来的后果是什么？ACC认为前面没有东西，如果只有摄像头就直接撞上去了。

这个图我非常喜欢，我上班每天要经过外环隧道，这种大卡车太多太多了。事实上大卡车对于摄像头最容易识别的，我为什么要拿出来讲，大卡车离我车有没有很近？如果十字路口交通灯前面我停车，停车线前面是一辆这么大的大卡车，你跟的比较近，你看得到前面交通灯是红灯、绿灯、还是黄灯吗？这时候摄像头，很难把大卡车尾部完整的形状框在摄像头区域可识别之内。卡车对我们摄像头看来，不是完整封闭的长方体，我识别区域比传感器画面稍微小一点的区域，变成不完整的，只有一部分卡车在我识别区域里面，这个时候造成摄像头系统识别不到，造成ACC或者AEB会有一些事故的发生，这个归类成对于目标识别的丢失情况。

这个是隧道里面的情况，在隧道外面没有问题，在隧道里面也没有问题，有问题的是你进入隧道一刹那，如果隧道建设不是很好，到偏僻的地方，隧道灯光比较亮的情况系，加上前面驾驶员驾驶习惯不太好，没有打开自己示宽灯的情况，单单让各位看前面有一辆车，肉眼看未必看得清楚，包括旁边也有一辆车，可能你们也未必看得清楚，这样造成隧道里面发生一些问题，如果使用ACC的功能，可能会发生一些问题。

刚才谈的都是摄像头的，现在说一下雷达的，这幅图听过泛亚徐工说的有一点印象，刚才放的第一个图片，有时候在比较拥挤的路段，非机动车和机动车有铁栅栏隔离，还有前向车道和对象车道有铁栅栏的隔离，不同厂家铁栅栏，雷达对于它的反应不一样，我们试图用同样一种雷达判断的模板识别这个栅栏，一旦栅栏特性有一点不一样，当前模板识别不到，这个时候需要采集有问题的数据，让雷达目标识别的算法进行一些优化。

当时情况雷达已经识别到前面一辆车，很不幸在雷达旁边的金属栅栏反射能量大于前面那辆车雷达提供的反射能量，雷达判断一个物体，它有一些优先原则，其中一个原则就是说，我选取能量比较大的作为感兴趣一点。这个时候系统会错误的把旁边强能量反射的栅栏识别成前面一个车，造成角度和距离判断不准确，我原先要跟着前面一个车ACC做一个跟车的，当我距离判断不准确，这时候我可能会误触发比较轻微的制动，给驾驶员带来一些困扰。

这个场景是我们上个月有一款车要量产，用雷达和摄像头数据融合的系统，我们碰到一个非常有趣的场景，可以看到这是一个下沉式的停车场，而下沉式的停车场，在这上面还有一系列的交通警示标志，这个交通警示标志，也是用金属板做的，这时候因为是下沉式的，整个车有向下的俯仰角，这时雷达错误地把建筑物的边界认为是一个卡车的外形，摄像头做了这样一个判断。我做一个系统，雷达认了摄像头没认可以工作，很不巧这前面有一系列的金属物，雷达能量的反射也是非常强的，它也把它认成是一个物体，这时候雷达和摄像头大家都做一个相互确认之后，认为前面是一个卡车，准备去停车，ACC和AEB就起作用了，一下子制动，这个是非常不舒服的，这种情况我们后期提炼了一些特征，比如说周边的一些视频边界还是有一些特征，上边沿和下边沿不是很清晰，我们做了优化，给系统做了完美的解决。

这里给大家分享的是，不同的传感器有他的优点和弱点，我们关键用它的长处，这也是为什么我们用数据融合的系统，让我们日常的行驶尤其ADAS功能的行驶，带来一些无缝的感觉，所谓无缝就是和轮胎一样的感觉，机器最大的问题，或者系统最大的问题，其实我不懂你的心，他不懂驾驶员到底要干什么，我们通过大量数据的采集和规则的提炼，让机器能知道驾驶员要干什么，这是第一部分。

二、具有中国特色的道路，我没有准备视频看上去比较单调，蔡博士准备了一个视频，韩国有一个中年妇女横穿马路，然后被车辆撞上的情况，不管哪家供应商，行人世界都已经有非常好的方案。像刚才韩国的案例已经可以非常好的可以进行制动。

这里想分享的案例是这样，中国人是世界上非常聪明的民族，他看到车来不会那么傻冲过去，而是一下子就停在路旁边，这个时候既没有进入系统规划的前进的道路，因为没有进入威胁道路，所以就这样开过去，事实上撞不到，因为他人已经停下来了。但是系统觉得旁边看到一个行人，他在进入区域初期有一定的速度，雷达和摄像头判断到它，这个时候会施加一些功能防止车撞到这个人，事实上因为它停下来了，是撞不到的，可以就这样开过去，这时候就会给驾驶员带来非常不舒适的反应，因为碰到这个情况，系统给你非常轻微的刹车，驾驶员感觉非常差的。像这种情况在比较繁忙的城镇道路上太多太多了，尤其国道，我们国道是非封闭的，很多人晃晃悠悠过来，一看到车停，车也制动一来，感受比较不好。这种情况国外非常非常少见。

农用三轮车、电动三轮车也是我们国情，问题不在于农用三轮车，在于汽车得开在机动车道上，但是我没有汽车和货车那么大，他一会儿想站在非机动车，一会儿进入预测的行进路线，一会儿出去，这个系统会频繁的识别或者丢失，然后又轻微的制动，会让行驶感觉不是很好。

目前我们基于系统的能力，算法在摄像头或者雷达里面做的，并没有单独有一个电脑做处理，处理能力有限的，德尔福系统，目前只能处理10个感兴趣的目标可以追踪，这种场景下，人车物非常非常多，超出系统能追踪的数目，这时候系统没有办法把它识别成一个目标，怎么能有安全的操作呢，这也是我们的一个挑战，这种挑战更多的是将来ADAS系统成为集中式的控制系统，车上有很多传感器，控制策略还在做，这时候控制器可以用到非常强大的比如英特尔或者NVD的一些技术，类似于电脑CPU的处理芯片，处理这种比较复杂的情况。

这个图也是两轮摩托车老是在机非混行进进出出的情况。

中国特有的平板车，主要的问题是不像厢式货车外框棱角好识别，有足够的反射物让雷达做识别，雷达看这个东西，有太多金属反射物，吃不准距离多少。mobile下一代IQ4芯片里面有一个三维的物体识别，将来视频系统里面可以得到很好的解决。如果开的离本车道比较近的前提下，可能会导致误制动。

我们中国驾驶员都是开赛车的，从相临车道在极短的时间内，在本车5米范围内做本车的挤入、加塞。这种情况下对于物体的追踪，包括系统的反应时间提出非常高的要求，我们可以对它进行制动，但是对于其他一些场景来说，太灵敏的制动会导致很多误处罚，影响ACC舒适性。

刚才说的是车的识别，现在是电动车的识别。

即便是自己是一个机动车，也喜欢压线行驶，现在对于道路规划，一方面看车道线的检测，另外一方面看驾驶员对方向盘的动作，预测车箱的行驶轨迹，我预测车辆行驶轨迹，是为了更好的把我感兴趣的目标做识别，这样才能加速制动。

如果我们目标车一直游走于车辆预测道路模型边界上面，会导致算法有一些反复的动作，这种情况是我们在北美或者欧洲做算法开发碰不到的，只有我们中国的工程师解决我们中国的问题。

刚才说的是人家不规矩开，自己不规矩开呢？这辆车故意在两根车道跨线行驶，我会按照我的方向盘，驾驶员意图做路径规划，同时也看车道线，把道路预测模型以车道线为主，前面车也在跨线行驶，这个时候会丢失或者回来，这个时候造成一些控制算法，一会儿对它制动，一会儿对它不制动，这些都是我们说该制动没制动、不该制动它制动了的情况。通过一些路试收集这些情况，去解决这些情况，才能有非常好的提升。

我们分析了这些问题，但是怎么解决这些问题呢？我们环境是复杂的，我们需要有更多的传感器，我们需要有更强的整车构架支持我们的系统，我们需要有更强的控制器、计算能力。事实上国内在SAE的LAB1和LAB2上努力，对于将来的LAB3、LAB4，我们传感器更多，路况更复杂，整车构架上面对于视频来说有一些LVDS，对其他有一些KFD等，整车网络对我们大量数据有一定的支持，包括考虑将来自动驾驶功能安全的问题，要有一些冗余的设备。诸如此类都是要探讨的，今天暂时先开个头，将来有机会跟大家做深入探讨。

今天德尔福给各大主机厂提供了我们四角侧边雷达，包括前面长距离和中距离的雷达、前向的摄像头，以及我们将来如果做第三阶段的自动驾驶 Electrical，对驾驶员状态也要有监控，同时要有非常强大的控制器。德尔福去年收购了卡内基梅隆大学组织的一个公司Ottomatika，这家公司目前在全球做自动驾驶算法是非常领先的一家公司。

今天非常感谢这个机会，我的分享就到这边，谢谢大家！

提问：下沉式停车场的地方，更多的可能是雷达检测认为是一个障碍，但是摄像头认为不是一个障碍，摄像头模板认为这个地方很宽了，遇到类似这种情况，你们怎么处理的？ 

吴俊杰：摄像头和雷达都认为是目标，从而有误判断，如果摄像头判断不是，雷达判断是的，ACC场景认为不是目标，保证驾驶员注意力在驾驶上面，同时尽可能减少误触发，当中平衡更倾向于减少误触发。

提问：上面是两个传感器意见不统一的情况，如果统一呢？

吴俊杰：两个大家确认的情况下我们对它进行制动。

提问：哪个传感器为主导？

吴俊杰：低光照情况下，雷达进行更多传感器自信度方面的权重，这是非常个别的场景，在雨天和晚上更多依靠雷达，这个场景非常非常少和特殊的。

提问：我们在自己的车道行驶，路旁有行人穿马路，在路旁停下了，你有没有做预测行人轨迹的测试，确认他是否进入我的车道，类似方案你们现在怎么解决？

吴俊杰：我们现在系统不光看我们当前的行驶轨迹，同时也要看左边和右边各两条的车道，只要进入我右边的车道范围内，我已经选成感兴趣的目标物，这时候我会预测行进速度，如果预测到我的行驶车道，我会进行制动。刚才的问题，正是因为我预测他会进入，我预测这个人会自己停下来了。    

提问：我说的是人踩到车道线上。

吴俊杰：根据之前0.5秒—1秒的行进速度，预测到那个时候，TTC会撞上，但是突然之间不按照之前预定速度行走了，而是突然停住了，我预测他会来所以我停了，但是他停住了，如果你是驾驶员不会停，这中间有机器和人之间的矛盾。