刘威：智能汽车环境感知技术研究与探索

除了可见光的摄像头之外，我们知道可见光的摄像头在某些环境下是有视觉局限的，所以通过红外的摄像头、热感知的方式，其实也是一个有效的补充。所以我们也做了一些这方面的探索工作。

前面讲了车辆、行人，大家讲的都大同小异，提供的功能也没有太大的区别。这里面想要强调的是，面向自动驾驶一级或者二级的时候，我们知道在这种交通复杂场景下，横穿的车辆横穿的行人，由于视角的不同，如何可靠的检测到这些车辆的存在，其实是今天真正能够落地的产品面临的最大的挑战。特斯拉出现的事故，有一起就是横穿的车辆。如何识别这样的车辆，在不用深度学习，因为今天的硬件计算资源还是有限的，如何用轻量的深度学习或者不用深度学习也能够做到，这是今天真正能够在车载环境下实现量产面临的一个挑战。

还有很多路面的信息，包括车道线，包括路面的标识，也是需要被可靠的检测。包括路面的导向箭头，包括路面的美国的菱形跟中国的含义是不同的。做自动驾驶也好，做辅助驾驶也好，只有对相关的信息做充分的理解，才能给用户提供很完整的功能。实际上除了车道线，还有停止线、斑马线，无论是辅助驾驶还是自动驾驶，都是非常有帮助的。可以做纵向定位的调整，也可以作为警告的提示。实际上路面的标识还有泊车位，大家都知道做自动泊车，可以靠超声波，但是如果没有参考车辆的话，如何把一个车停在规定的路径里面去，实际上是必须要通过摄像头来识别这样一个泊车位来实现。

实际上除了路面上的信息之外，还有天空上的一些信息，包括交通的标志、标牌、指示牌，对它们的可靠检测对于辅助驾驶或者对于自动驾驶也是非常有必要的。这里面大家可以看到，我们可以实现各种标识的检测，包括国内的以及国际上的标识牌，包括圆的三角的方形的菱形的。

下面是在日本做路测，限速标识，上面是在高速上做测试的情况，涵盖了不同的天气光照条件以及路牌可能出现倾斜，车辆的抖动导致图像的颠簸。有很多极端的情况需要被处理。实际上在天空上除了标识标志之外，还有很多指示的标识。这些指示标识的识别，一方面可以作为引导，另一方面可以作为自动驾驶的高精度的定位。因为它是一个很好的参考，它是在地图上有一些绝对的位置是可以知道的。通过识别它们，能够做更好的定位。

还有包括交通信号灯，实际上前面的嘉宾也提到了，国际上的信号灯和中国的信号灯其实也不同，中国的信号灯更复杂，包括横向的纵向的，这是在日本测试的场景。

前面讲了是对车外环境的感知，实际上前面也提到了，我们还要对车内的驾驶员做感知。这里面包括他的状态、手势以及视线的感知。这是我们在不同的光照条件下，以及摄像头不断的抖动，模拟车内遇到的颠簸，对驾驶员的面部、朝向以及状态做检测。这是对驾驶员的面部朝向以及嘴部动作做监测。在车内，虽然语音识别科大讯飞已经做得很好了，但是有噪声的情况下是需要配合嘴部的动作来分辨声音是驾驶员发出的还是其他乘客发出的。这是驾驶员的视线识别，你是不是在看路。还有手势的识别，我们在车内驾驶员只要是在目前的这个产品状态下，其实是不允许手脱方向盘的，至少有一只手保持在方向盘上。如何利用空闲的手操控声音或者是导航的画面，这是有必要去通过一些手势来进行控制的。这是截止到今天为止已经量产的一些产品，包括在国际上，包括在国内的一些量产的产品。