智驾科技联合创始人叶春兰：如何用高性能视觉感知撬动自动驾驶落地？

2020年6月22日-23日，由南京经济技术开发区与盖世汽车联合主办的“2020第三届全球自动驾驶论坛”隆重召开。本次论坛重点围绕与自动驾驶规模化商用有关的核心技术、法律法规、技术评测、商业模式等话题展开探讨，下面是智驾科技联合创始人叶春兰在本次论坛上的发言：

智驾科技联合创始人 叶春兰

谢谢主持人的介绍，也感谢盖世汽车能给我们提供这样一个线下平台，跟各位同仁和媒体进行技术上的沟通和交流。今天跟大家分享的题目是“感知赋能：如何用高性能视觉感知撬动自动驾驶方案落地？”将从市场、技术、落地应用三方面进行相应阐述。

在开始之前先向大家介绍一下我们公司。智驾科技（MAXIEYE）成立于2016年，是一家具有完全自主知识产权的高新技术企业，智驾科技以前视为主，以感知力量来赋能自动驾驶，专注于提供高级辅助驾驶和自动驾驶解决方案。

到目前为止，智驾科技推出了三代前视ADAS产品，包括1V1R的融合产品。前视ADAS产品包括三代产品，首先预警类的，常用于LDW、FCW，还有一些交通标识相关的识别；控制类，用于纵横向控制和智能灯光控制方面，及根据传感器融合策略提供相关的1V1R传感器融合方案。除此之外，应客户需求开发了DMS相关产品，如疲劳监测、抽烟、喝水、打电话等一系列动作监控，包括给客户推出了一系列基于多传感器融合高级辅助驾驶的解决方案和自动驾驶解决方案，覆盖了L0-L4各级场景。

智驾作为一家初创公司，不但在技术上进行一次又一次的迭代和更新，在管理资质和生产资质体系上同样不断得到认证和认可。资质认证方面，我们已经取得了IATF16949 &ISO9001等质量体系认证，现在正在进行ISO 26262相关的资质认证。 

一、技术市场双落地，机会和挑战并存。

从全球智能驾驶产业现状来讲，主要包括三个方面，即现在自动驾驶不再是PPT或Demo演示的状态，要求的是落地，多场景商业落地的方向是大势所趋，其中包括ADAS千亿级市场规模的落地需求，还有L4级场景细分的落地。除此之外，这种巨大市场还给我们提出了产业链的整合需求，催生了新兴产业业态，传统供应链进行了相应升级，促进大型投资并购。

除了市场、产业链、供应链上的整合和投资，政策法规的逐步完善也给我们较大的政策红利和推动，包括去年提出“两客一危”强制安装LDW、FCW、AEB、LKA等功能，还有全球市场上Euro NCAP上的星级评分，乘用车各种体验需求，这些都为整个市场，不管是ADAS还是自动驾驶场景化落地方面，提供了非常大的市场需求。

市场大环境非常好，自动驾驶技术链包括什么？以上三点是大家非常熟悉的，单车智能的感知预测，知道在哪里，周围环境怎么样，周围所处环境下一刻变化如何，再到决策控制，知道要去哪里，怎么规划路径，怎么样去行驶，然后到执行底盘，底盘怎么样去执行，这是单车智能自动驾驶的三个方面。

智驾主要负责的是感知预测和决策控制两方面，今天主要分享的是以感知预测来进行自动驾驶的赋能。从感知技术需求方面进行具体细化。L0到L5自动驾驶的等级划分，我们习惯于分成两大块：

L3以下的L0-L2更多是ADAS的辅助驾驶，在这个领域，以量产功能划分情况下，前期预警类功能到目前单一纵向或横向或L2纵横向双向控制，叫控制类功能。从感知技术需求角度来讲，区别在哪里？前期预警类功能情况下，更多强调的是目标识别的准确度、稳定性，这时候强调关注报警的虚警率，智驾提供的方案是单目视觉足以支撑整个方案。控制类功能情况下，除了目标感知的准确度和稳定性，从整个功能需求角度来讲，对目标识别的有效距离、识别精度提出了准确的需求，这时候可能大家更常听见的是所谓5%、10%或3%的测距精度需求。这种情况下，智驾提供两个解决方案，可以用单目视觉，第二个方案是大家目前通用化的方案，1V1R的方案，前视+毫米波雷达，这个是目前比较主推的一点。

到L3级以上的自动驾驶，这时候提出了更高的需求，因为不再是做单一的纵横控制，需要全景360度的感知，并且不但需要准确度、距离或精度，对目标的预判性也会有一些要求，前面路口要转向，旁边出来的车辆会不会突然穿过，路边行人有没有必要减速避让，这些都在感知预测上提出更高的要求。

感知冗余。前面两点可以用单一传感器去支撑，但当到自动驾驶以后，传感器感知冗余是必须的，并不是说单一视觉不能做所有的感知，也不是说单一的雷达不能去做，而是传感器本身在不同场景下的失效模式和工作模式要求它需要有一个感知的冗余。在这种情况下，智驾推荐做的场景化、落地划分情况下都是视觉+X，这个X有可能是其他视觉、毫米波雷达或激光雷达感知传感器。

二、环境感知：高性能视觉感知助力自动驾驶

如图，比较常规的几种单车感知传感器，单目视觉、双目视觉、毫米波雷达和激光雷达。昨天也听到有嘉宾分享激光雷达的可视化或成本上的优化，整体上来讲还是在这张图谱里。从结构成本来讲，目前量产技术，激光雷达还是被诟病的一个点，感知分辨率和信息丰富度上面，视觉明显优于雷达。

全天候适应性、功能安全等级方面，目前来看，由于结构本身一些特性需求，毫米波雷达更优，其次是视觉。

最后一点，测量精度，各种传感器对比来看，大家最关注的一点也是视觉最为大家所诟病的点，就在这个地方。激光雷达和毫米波雷达都属于主动测距，到视觉情况下变成被动测距，被动测距情况下没有距离感知信息，双目通过两张图片视差进行测距，不管是远近距离，还是基线距离会对测距精度有影响，但是有理论支持，单目视觉最为人诟病的是测距精度，没有所谓的理论支持，理论上讲就是少了一维深度，因为是从三维世界到二维世界的点。为什么智驾加了两颗星？智驾借了深度学习东风，突破了测距精度问题。

环境感知情况下，关注三个点：

1.地面上所有物体的感知，地面的标识标线，车道线、停车线、斑马线，还有导向箭头、行驶区域。

2.地面上运动目标，道路的参与者，人、车、骑行者这些相对运动机动性比较强的目标识别。

3.红绿灯、标志牌、空中级目标。

从机动目标识别来讲，利用深度估计和光流估计，这两个名词如果在算法领域的话应该会很熟悉，但是用到车规级量产产品里，几乎没有听见过这个点。

深度估计情况下，为我们单目视觉直接补充了第三维的数据，把深度信息补给它，所以达到了单目测距的效果，同时引入光流估计，就是前后之间的祯间逐象素点运动信息，在这点上利用一个单祯深度估计，加快祯间运动关联度，再结合目标识别，可以达到右侧图的识别效果，这是单目视觉纯目标感知，当感知信息可以得到三维姿态、运动和速度相关的一些预测信息。把这些预测信息跟激光雷达进行直接对标投影，纯粹一个单目视觉的结果在激光雷达点上的对标显示。

上面视图红色部分是激光雷达跟相机的相同视野角度上的信息，对比下来50m情况下可以接近激光雷达的识别精度，在目标识别上，不但是精度，有效距离也有要求，车辆识别效果达到200m的稳定效果，天气情况更好的时候，250m也是没有问题的。由于行人形体比较小一些，对小目标或行人识别达到100m的有效范围。

基于单目视觉的地面标识标线感知。在没有车道线时怎么办？我们现在提供了一个解决方案，在有车道线情况下提供了车道线的识别，这块是最初版本，为什么左上角还有一个小图，显示的是坡度识别。当车道线地面标识标线+坡度以后，得到是真实的车道线。右侧把视觉识别效果投影到激光雷达的俯视角度，效果跟激光雷达对标的效果，可以看到是真实的真平行状态，有效解决了以前大家使用平行模型去做车道线算法情况下，碰到起伏或真正分叉路口无法区分开的难点。

最右侧图是纯视觉的FreeSpace。把视觉结果通过一个极坐标的形式进行了雷达上投影显示效果，演示的所有的算法都是纯视觉的。为什么会有FreeSpace？道路上的车道线，结构化道路上有车道清晰的，也有车道磨损和不清晰的状态，甚至有一些车道线被遮挡，行人在上面穿插，我们无法看到完整的车道线，还有地面上有一些锥桶或前车遮挡物，把车道线全部挡住，就没有了车道线感知，但FreeSpace可以告诉你哪里可以行走。

前面主要是结构化道路上的识别，就是环境感知，包括FreeSpace，都是纯视觉层面给到一个直观感知。感知层情况下，再次提供了决策规划级的路面感知。如图显示隧道里的结构化道路，有车道线，给出的感知结果是三根线，绿线是本车道左侧边界线，右侧红线本车车道右侧边界线，不管是在结构化道路还是右侧完全没有车道线的非结构化道路上，都可以有效给出道路左右边界线，中间这根更为重要，是航迹规划的航迹预测线，大家拿到车道线还是拿到FreeSpace也好，都会在决策规划算法上做一根自己的导航线，这根线现在可以从视觉角度直接用深度学习端到端的给出，可以完成这样一个学习，目前也部署到我们的产品上。

三、感知赋能：自动驾驶方案逐级落地应用

概括一下目前到底有多少感知信息。ADAS常规感知，包括刚才提到的三个方面，地面标识标线、车道线、停车线、斑马线，地图所用的导航箭头等等，再往上一级道路相关的机动性比较强的参与者，人、车、骑行者一系列的机动目标；再往上更多的是现在车辆驾驶会关注的红绿灯信息，给出颜色、给出形状，包括限速标识牌、限速、限高等，不管乘用车、商用车都关注的语义级识别，到底限高多少、限速多少。

常规ADAS感知基础上加入了决策规划级的感知，给自动驾驶下一步规划提供一个额外维度的信息，其次加入了坡度的识别，除了辅助地面标识标线做一些更加精准的识别或目标跟踪上辅助以外，同样可以提供车辆驾驶进入坑洼道路上是否对悬架产生影响，是否需要避开，也有这方面的应用。上述的三个点，是产品上面的一些感知功能赋能。右上角的是根据客户需求，我们开发的一些量产功能升级的点。

ADAS也好，自动驾驶也好，功能会越来越复杂，没有谁敢说它的模型是百分之百的覆盖，都会有一些失效，但我们在逐级升级过程中不断进行迭代优化，所以OTA技术在产品中进行应用。

有了相机，必然要标定。乘用车更常用的方法是四轮定位，前面加一个靶标，进行相机的标志，但ADAS应用到商用车上，商用车建一个产线升级的成本会非常高，我们提出相机的自动标定方案？就是车辆开到道路上以后可以完成自己相机的校准。后面还涉及到自动校准，可能出厂时进行相机的初步校准，但是在道路起伏，尤其是重卡上会有一个点的情况，空载和负载率不同情况下，相机的俯仰角可能有正负10度的偏差，通过相机在线自动校准可以对相机实时外参进行调整。这是整个相机外参层面的东西。

传感器融合的情况下，传感器感知冗余方案跟雷达进行融合。最左侧是光雨监测功能，这是额外附加功能，对外界光雨进行监测，可以有效替代车身上光雨传感器，控制大灯开启，配合目标识别情况下，可以做到更高级的智能灯光的控制。

雨量传感器，实现雨刮根据外界雨量进行不同等级速度雨刮控制。以上是MAXIEYE的一些高性能视觉功能技术。

如何应用？

赋能ADAS量产落地，预警类功能、控制类功能、自动大灯功能、自动雨刷功能，ADB/IHBC，自动远近光，不管是机械式、矩阵式，还是现在长城新发布的一款WEY系列投影式的自动大灯，整个技术产品的落地支持。

L4级的场景化落地。我们跟中车联合开发的一套使用虚拟轨道交通，用前面双虚线地面标识线可以模拟类似于轨道的概念，做到无轨胜似有轨，智驾前视觉给它提供了整个感知系统。

无人公交，是跟宇通联合开发的，就是在无人公交前面给它提供前视模块，感知道路标识标线，还有周围机动目标，以保证跟它们的控制规划结成，形成无人公交的应用。

智能大灯，前面提到跟长城开发的长城WEY系列的DLP投影式大灯，相对于以前见到的自动远近光，矩阵式、机械式的智能大灯，有更高的分辨率，例如投影屏幕上的概念，可以对道路的参与者、车辆、行人、行人眼睛进行精准的灯光避让，把其余部分进行远光照亮，以保持驾驶员的最大视野，这是它的基础功能。除此之外，还可利用投影式大灯做动态斑马线，转向提示、前侧车距预警提示，这些增强现实的辅助，给驾驶员更高的体验感和关注度。

增强现实，HUD融合控制更加直观，通常ADAS产品部署到车身上或自动驾驶部署到车身上，如果做一个观察员去看的情况下看不到什么东西，可能听到小屏幕上滴滴滴或有一些小图标上的报警，但并不直观，告诉你前面有目标，但也不知道在哪儿。HUD融合情况下，可以把你的危险等级直接在前方投影，跟驾驶员视野进行直接融合，为驾驶员提供信息。

前面讲ADAS、自动驾驶上的场景化落地，实际上整个视觉感知在车联网技术发展和应用上或其他方面还有很多应用，例如车联网里的V2X车端感知，路端感知覆盖面很全，但一定会出现一个盲区和遮挡，车端感知是必不可少的。

高精地图，现在熟悉的大家更多习惯用激光雷达等一系列比较高额的方案做这件事情。高精地图里所需要的车道标识标线、红绿灯、标志牌，包括旁边的路灯之类的柱状物，在视觉也能提供很高精度情况下，视觉也可以做这件事情。高精地图的建图和定位，尤其是它的定位使用会非常重要。建图时可以用激光雷达或高额传感器，但车辆大批量上市使用情况下，目前来看是没有办法在车顶装一个激光雷达做定位，但视觉可以有效使用ADAS的感知信息做定位。以上就是我们现在感知赋能各个方面的应用。

最后，宣传一下我们的品牌价值，Power to Sense感知的力量，我们以感知赋能。

敬请关注盖世汽车“2020第三届全球自动驾驶论坛”直播专题！

https://auto.gasgoo.com/NewsTopic/251.html