刘威：智能汽车环境感知技术研究与探索

各位同行下午好。我是来自东软集团的刘威。今天跟各位同行分享的是智能汽车环境感知技术研究与探索。上一个论坛大家主要是面向自动驾驶的，作为一个零部件的厂商，我在这里主要像白老师刚才介绍的，就是如何去把面向自动驾驶的一些功能，或者辅助驾驶的功能它落地，能够真正让我们的用户通过购买我们主机厂的车辆用上这些功能。因为我理解目前的自动驾驶，刚才介绍的这些自动驾驶功能，可能还得在未来三到五年才会真正有最终的终端用户，能够使用上它们。

所以我今天讲的可能更多的是面向于辅助驾驶以及自动驾驶一二级的环境感知技术。

简单介绍一下东软，东软实际上是1991年成立的，上个23号刚刚过完它二十五岁的生日。东软作为一个IT企业，实际上从1991年就已经开始从事汽车电子，到目前为止它有3500名汽车电子工程师，他们主要来自欧洲、日本、美国以及中国。截至目前为止，我们的产品已经在全球的主机厂前装了五千多万套，包括导航、音响、娱乐、视频、液晶仪表和ADAS相关产品。我们在车载网络安全的一些前沿方向上，也正在布局，做一些研发，有一些成果，我后面会做一些介绍。

这是我们作为Tier1的生态链，包括主机厂、Tier1。东软在海外主要还有软件，我们的软件在奔驰宝马奥迪等车型上都有搭载。这是我们的生态链，还包括一些通讯运营商。我来自东软睿驰，2015年成立，总部在上海嘉定。在沈阳和大连也设有分公司。大家可以看到，东软睿驰主要有三个业务方向，一个是EV，我本身来自ADAS业务线，ADAS业务线方面我们可能是国内最早的企业之一。我们本身也是智能辅助驾驶和国家标准制定单位，参加相关标准的制定。另外车联网ADAS相关服务已经在日本和中国市场实现了前装。

接下来介绍这个论坛的主题，智能驾驶环境感知技术。实际上在介绍的时候大家都很容易就理解了，做智能驾驶主要解决几个问题，包括感知、定位、路径规划。实际上它可以通过不同的手段来实现，包括传感器、地图及其他一些手段。

感知手段有很多，前面的嘉宾也介绍了很多。简单来说，通过传感器通讯，或者制作高精度地图的方式，另外覆盖的范围不同，解决的技术难题或者解决的技术问题也是不一样的。实际上从我们看，环境感知内容可能分为车外感知和车内感知两大部分。车外感知主要是对周边环境的感知，包括道路、交通参与者、交通指示信息等等。车内的感知无论智能驾驶也好、辅助驾驶也好、自动驾驶也好，其实一个最关键的问题就是在你没有完全实现全自动的时候，L0到L3都是需要驾驶员的参与的。所以如何对驾驶员做感知，包括身份、视线、手势和注意力，实际上是非常必要的。

先介绍一下车外的环境感知，我们本身是从做视觉出发的，虽然我们也在做传感器融合的一些东西，但是这里面主要是介绍视觉的一些东西。车外环境感知，主要包括三个方面：交通参与者感知、路面感知以及指示信息的感知。只有把这些信息都感知到了，面向自动驾驶的0到1到2到3才能实现这样一些可靠的功能。

这是对车辆的检测，实际上我们要解决的是全天候各种光照条件下的可靠的车辆检测，你的传感器虽然都是摄像头，但是摄像头的种类可能不同。比如有广角的、普通的、还有红外的摄像头。如何利用这些摄像头，通过简单的方法而不是针对每个摄像头做定制化的工作，这里面是有很多技术需要突破的。这是我们在国内和美国做路试的情况。最早2004年我们是做后方车辆检测，它能够同时检测车辆以及一些摩托车。相关的产品也是在国内，今年就会实现量产，今年年底就会SOP。

实际上交通参与者，还有一些弱势群体，包括行人、自行车、摩托，特别是在中国的交通环境下，电动自行车非常多。如何对他们进行可靠的感知，能够提供一些有帮助的功能，比如说盲区的功能、变道辅助的功能，包括前方碰撞的功能，是非常有帮助的。可以看到我们在国内的路测以及在欧洲的路测，这是跟合作伙伴共同来做的。

除了可见光的摄像头之外，我们知道可见光的摄像头在某些环境下是有视觉局限的，所以通过红外的摄像头、热感知的方式，其实也是一个有效的补充。所以我们也做了一些这方面的探索工作。

前面讲了车辆、行人，大家讲的都大同小异，提供的功能也没有太大的区别。这里面想要强调的是，面向自动驾驶一级或者二级的时候，我们知道在这种交通复杂场景下，横穿的车辆横穿的行人，由于视角的不同，如何可靠的检测到这些车辆的存在，其实是今天真正能够落地的产品面临的最大的挑战。特斯拉出现的事故，有一起就是横穿的车辆。如何识别这样的车辆，在不用深度学习，因为今天的硬件计算资源还是有限的，如何用轻量的深度学习或者不用深度学习也能够做到，这是今天真正能够在车载环境下实现量产面临的一个挑战。

还有很多路面的信息，包括车道线，包括路面的标识，也是需要被可靠的检测。包括路面的导向箭头，包括路面的美国的菱形跟中国的含义是不同的。做自动驾驶也好，做辅助驾驶也好，只有对相关的信息做充分的理解，才能给用户提供很完整的功能。实际上除了车道线，还有停止线、斑马线，无论是辅助驾驶还是自动驾驶，都是非常有帮助的。可以做纵向定位的调整，也可以作为警告的提示。实际上路面的标识还有泊车位，大家都知道做自动泊车，可以靠超声波，但是如果没有参考车辆的话，如何把一个车停在规定的路径里面去，实际上是必须要通过摄像头来识别这样一个泊车位来实现。

实际上除了路面上的信息之外，还有天空上的一些信息，包括交通的标志、标牌、指示牌，对它们的可靠检测对于辅助驾驶或者对于自动驾驶也是非常有必要的。这里面大家可以看到，我们可以实现各种标识的检测，包括国内的以及国际上的标识牌，包括圆的三角的方形的菱形的。

下面是在日本做路测，限速标识，上面是在高速上做测试的情况，涵盖了不同的天气光照条件以及路牌可能出现倾斜，车辆的抖动导致图像的颠簸。有很多极端的情况需要被处理。实际上在天空上除了标识标志之外，还有很多指示的标识。这些指示标识的识别，一方面可以作为引导，另一方面可以作为自动驾驶的高精度的定位。因为它是一个很好的参考，它是在地图上有一些绝对的位置是可以知道的。通过识别它们，能够做更好的定位。

还有包括交通信号灯，实际上前面的嘉宾也提到了，国际上的信号灯和中国的信号灯其实也不同，中国的信号灯更复杂，包括横向的纵向的，这是在日本测试的场景。

前面讲了是对车外环境的感知，实际上前面也提到了，我们还要对车内的驾驶员做感知。这里面包括他的状态、手势以及视线的感知。这是我们在不同的光照条件下，以及摄像头不断的抖动，模拟车内遇到的颠簸，对驾驶员的面部、朝向以及状态做检测。这是对驾驶员的面部朝向以及嘴部动作做监测。在车内，虽然语音识别科大讯飞已经做得很好了，但是有噪声的情况下是需要配合嘴部的动作来分辨声音是驾驶员发出的还是其他乘客发出的。这是驾驶员的视线识别，你是不是在看路。还有手势的识别，我们在车内驾驶员只要是在目前的这个产品状态下，其实是不允许手脱方向盘的，至少有一只手保持在方向盘上。如何利用空闲的手操控声音或者是导航的画面，这是有必要去通过一些手势来进行控制的。这是截止到今天为止已经量产的一些产品，包括在国际上，包括在国内的一些量产的产品。

前面讲了我们的一个手段是通过摄像头，东软还做了另外一件事，就是通过通讯的方式，通过talk的方式做了一个对周边环境的感知。我们研发了一个VeTalk的功能，也参加了上海的开园以及重庆、北京示范区的开园。这些方面我们也做了很多的积累。这是今年6月份上海示范区，我们公司就在这附近，我们也进行了一些相关的展示。

以上是我的介绍，谢谢。

白杰：谢谢刘威总对他们东软集团在图象处理方面研究成果的介绍。我也想问一下，你们的图象处理现阶段对路面上的坑能不能检测出来？

刘威：抱歉，目前为止还不能，这是一个有挑战的课题。

白杰：路面的状态非常复杂，这方面可能在做自动驾驶方面，需要我们比国外更多的关注。

刘威：是，我们在做这个方向，包括前面的嘉宾也在深度学习最新技术的演示，其实我们也有相关的成果，只是因为今天讲的更多偏向量产方面的，就是如何能够把自动驾驶二级，包括二级，产品能够真正落地，今天没有讲前沿的技术。其实我们还有前沿的团队在做一些相关的东西。但是到目前为止，还没有做到路面坑的检测。

白杰：我只知道你们现在在安亭搞了一个新的专门做智能汽车识别的公司，在这里面你也是负责的老大，那么在这方面你们更多的注意点是在哪里？

刘威：我们这个公司总部在安亭，去年成立的。目前主要的重心是在上海，上海的人才资源非常丰富。我们希望能够在上海招到一些高端的人才，主要面向前沿的技术，包括自动驾驶二级、三级，这样的技术投入研发。在这里借这个平台也欢迎有志之士，对东软有兴趣可以联系我。

提问：我想问问你们对标过吗？从产品时间表上能不能多说几句？

刘威：因为大家都知道，（Moby）是业界最领先的一个公司，它是1999年成立的，东软是2004年成立一个研发中心，技术方案是一样的。目前为止还是有很大的差距，刚才介绍的我们已经量产的产品，大家可以看到基本都是L0的，警告类的。我们正在做的是面向自动驾驶的L1和L2的，L1的应该是说，今年底明年初会有样件上车，是这样一个日程。实际上我们的日程，我看了一下上午的演讲嘉宾，从东软的来看落后他们三到四年。我觉得这不是一个简单的技术上的落后，更多是产业环境上的落后。即使东软今天做到L2，可能主机厂也不会在2018年马上上东软的产品，这是我们的认识，这是大家面临的环境。但是东软为什么要做，东软就是要做一件事，跟在座的各位同仁做的是一样的一件事，就是避免汽车产业的技术被国外化。真正能够落地给中国的主机厂提供产品的本土供应商，其实很少。东软希望能够打破这个，因为东软之前做了一件事，国产化了CT，打破了国际垄断，使CT的价格从原来的100%降了二分之一到三分之一。东软的CT在全球约销售了九千多台，实际上东软的ADAS也已经开始在日本和中国量产，希望能够像东软的CT一样，可以为中国的汽车产业贡献一份力量，这是我们的职责所在。

提问：听到您介绍的情况，确实令人振奋，也感到我们这方面做得不错，有很大的进步。刚才白教授提到坑的问题，我认为你现在所有的识别都是二维的，如果能达到图像的三维识别，坑也可以识别出来。还有现在都是FCW，FCM的计划哪年能完成？就是刹车的，现在是警告。

刘威：今年底明年初，我们的样件会上车，会参加测试。

提问：最后一个问题就是你现在识别的模库，从模式识别角度来说有多少种？上不上十万种？

刘威：不知道您的归类是怎么归，我们一代的产品已经做到量产了。如果简单做一个技术，从研发到原型，花不了太多时间。但是真正到量产，从原型到产是1：9的工作，研发出原型只是10%，真正落到产品还有90%的工作要做。

提问：就是说你识别中有人的形状有动物的形状，有动物有静物，有多少种模式？（Moby）有二十万种，你们有多少种？

刘威：可能大家的理解不太一样，只能说从数量级上来说，我们不比他们少。