2019全球未来出行大会|清华大学智能技术与系统国家重点实验室教授，人工智能研究院视觉智能研究中心主任邓志东：5G环境下的人工智能与自动驾驶

为更好地推动全球范围的跨界协同，理清出行公司、汽车公司、城市等各个主体在未来出行生态中的角色，讨论未来出行方式、出行科技、交通结构、交通战略会发生的重大变化以及整个行业将面临的机遇与挑战，中国电动汽车百人会组织举办2019 全球未来出行大会，以推动出行生态变革、转型创新和国际协同，迎接出行革命。以下为清华大学智能技术与系统国家重点实验室教授，人工智能研究院视觉智能研究中心主任邓志东演讲内容实录：

今天非常高兴能跟大家分享5G环境下的人工智能与自动驾驶。主要是分享三个方面内容，第一个是5G能跟自动驾驶带来什么，第二个人工智能能够为自动驾驶落地带来什么，第三个人工智能目前有什么问题。在这种有缺陷的情况下，怎么合力支撑人工智能产业落地

今年是5G的商用元年，标志6月6号四大电信运营商这个是商业牌照，预计今年中国5G基站的建设会加速进行，这会走在世界前列。这种情况下看到5G是通信技术是质的飞跃，以前2G、3G、4G是改变人的生活，实现人与人之间的交互，5G改变的是社会，它解决不仅仅是人与人之间的交互，还有人与物，物与物的互联互通。它至少有几个特点，超高速率，移动带宽，体验到0.1-1Gbps。第二高可靠，可靠性接近100%，第三大连接数，每平方公里百万公里的连接。还有高移动性，这个特点看的明显，高移动的带宽高的可靠性，还有全覆盖，还有低延时大连接，这个时延可以做到一个毫秒，这种情况下很多技术有三大运营场景，迄今为止最理想的万物互联技术，会给人类社会带来深刻的变革，这是真正变革型技术，尤其与其他技术结合起来的话，我们说4G改变生活，5G改变社会。它的场景，生活场景，大家看到有4K、8K，甚至8超高清的视频，还有城市里面场景，包括自动驾驶，车联网，车联系统，智能交通，智能充电桩，智慧城市、智慧安防，还有生产场景。4G的情况下与人工智能结合是加法还是乘法的关系，给自动驾驶带来什么，首先带来边缘计算，边缘计算是在我们这个互联网里面，最靠近物理的、实体的、终端的节点，这个节点可以为数据的源头提供实时的服务这么一个前沿技术，因为它可以提供几毫秒的时延。这意味着什么呢？我们搞控制的知道，一个高速动态系统20毫秒就可以控制一个周期，如果几十毫秒可以把实时控制器放在边缘设备上面，最靠近它，他们之间通讯通过5G超带宽低时延，大连接、高可靠、全覆盖网络进行。这样有什么好处呢？好处非常明显，可以把很多人工智能的算力，从移动终端放到边缘设备上去，这样可以解决我们长期存在的矛盾，又要移动终端有足够人工智能能力，同时需要低成本，以前没有办法，本质是矛盾的。但是5G环境下，边缘设备提供的情况下，这个矛盾有可能缓解，把很多算力放在边缘设备上提供公共服务，这样可能把移动终端大大降低它的成本。这就可以强化实现移动端的智能化、轻量化和低成本。应该可以通过边缘设备连接两端，一端连接移动终端，比如自动驾驶汽车，另外一端可以连接我们的云，叫云-边-端或者云-管-端，很多人工智能能力都可以放在里面，里面可以基于人工智能构建云边端、云管端一体化，基于人工智能建立信息安全，这个时候信息安全非常重要，人工智能还可以赋能信息安全。

我们看到无人驾驶车路协同，我们一方面看对人工智能与自动化程度的要求越来越高，另外一方面受制于移动终端设备本身对低成本的限制。它还有一个计算供电资源的问题，手机有供电的问题，不仅是成本，供电限制了，这种情况下5G环境大数据人工智能赋能云边端产业提出了迫切的需求。

未来两到三年，尤其是中国，可能超前部署完5G大规模的商业主网，在这种情况下，大数据人工智能赋能的云边端，就必将加速自动驾驶产业落地。中间是5G，旁边是一个边缘计算，这块是云，这部分是人工终端。

第二方面我们看看有5G以后，有云边端、云管端以后，自动驾驶落地会给人类带来什么机遇？大家知道产业有两个焦点，一个是发展RoboTaxi，一个是发展Maas，选择谁哪个优先这是比较重大的战略选择，大家瞄准L4的量产汽车，尤其跨界企业，RoboTaxi有很多衍生物，无人干线、无人的公交汽车，RoboTaxi突破以后这些都应该不在话下，有人认为RoboTaxi应该是自动驾驶珠穆朗玛峰，我们暂时还做不了L5，也没有人考虑L5，这种跟人完全一样的自动驾驶，我们基本上产业关心L3或者L4，尤其L4RoboTaxi可能是我们自动驾驶的珠穆朗玛峰，可能爬不上去，但是一旦突破以后，它的大量使用对我们人工智能各个垂直应用领域带来根本性的突破共性关联技术。另外一个是Maas，L4量产车，低速的Maas，大家知道移动级服务，里面包括很多，无人物流、无人末端配送、无人摆渡，都是移动级服务这种低速车发展模式。我们发展这种RoboTaxi还是优先发展低速物流还是配送车，这是一个问题。

以摄像头技术为主还是以激光雷达为主，搞单目视觉有很成功的还有商品化的，典型就是特斯拉，完全不使用激光雷达，完全在量产车上使用了，虽然没有完全达到L3、L4的水平，以单目视觉为主。另外一种典型激光雷达为主，WAYMO，他们真正掌握了激光雷达的技术。这两个都是核心技术，不管单目视觉还是激光雷达为主导。

不管是2D图像摄像头还是3D点云激光雷达或者是毫米波雷达，成像以后都计算机视觉，都需要人工智能赋能。它都是计算机视觉，都可以成像，最后就是计算机视觉问题，跟人类非常像，人开车主要是靠两个眼睛，还有靠运动感觉，其他就完全不需要了。我们就说人工智能为自动驾驶能带来什么呢？

我们知道人工智能通过前面说的5G加持的边缘计算还有两端延伸的，云边端可以赋能自动驾驶产业的落地。5G环境下AI加持的边缘计算及云管端，在降低驾驶移动端成本的同时，大大加强人工智能的算力，还把成本便宜了，人工智能还加强了，这样有很多需要注意的事情。第一基于云边端无人驾驶远程安全监控，这在美国加州是有法规规定，上面没有安全驾驶员，一定要有远程安全监控，必须要远程可以对它感觉安全干预，这是强制性的，这是必须的。但现在主要放在云端上面，还有基于云边端共享出行的运营与安全监管。安全监管没有驾驶员之后，怎么进行监管，出了事怎么办。还有高精地图的远程下载，这个大家没有想到。还有基于云边端决策规划与人机交互，对实时性要求不是那么高的也是可以放在后台，边缘计算甚至支持实时控制，几个毫秒，20毫秒就控制了，无人车控制系统是20，有的50毫秒，甚至我们做过80毫秒，控制系统控制周期，这个完全可以在后台进行控制，这样可以大大降低成本和反应能力。

云边端人工智能为自动驾驶落地带来了比传统计算机视觉方法更强的环境感知、自主导航与信息融合能力，带来了更加自主的行为决策与路径规划能力。人工智能可以带来什么，人工智能是计算机视觉、语音识别、自然语言处理的主流方法，带来的最大进步就是计算机视觉，它比传统的计算机视觉带来很大飞跃2012年以后以深度学习为主要标志，新一轮人工智能成为主要方法，带来场景、目标及其行为大幅度的跃升。视觉人工智能成为基础技术，靠人工智能算法、硬件、硬件垂直整合，人工智能里面包括算法、大数据、算力、细分场景还有垂直整合，它是一个典型的应用场景。那么多细分场景如果都调结构调参数不可能，怎么办，就采用AutoML，这种方法要注意信号灯、交通标志还有车道线、障碍物、机动车、非机动车你调的过来吗？我们有一个结论，相对于传统的计算机视觉方法，有什么特点呢？分类器是可训练的，但是特征提取器是人工设计的，而且有分层的，只有一层特征，现在看起来只有一个底层特征，而且是人工设计的，这是传统的计算机视觉。现在深度学习方法，特征提取器是可以分层可以训练自动提取特征，底层特征、中层特征、高层还有局部特征全局特征都有。这样能力带来了巨大的飞跃，基本可用，以前不可用，以前传统视觉方法不可用，而2009年搞自动驾驶的时候，那时候没有想过它可以落地，就是这么一个，因为视觉那个时候采用传统计算机方法，深度学习方法可以达到97%99%，能够达到甚至超过人的水平，虽然学习方式跟人类不相同，学习方式靠什么呢？靠大数据，靠大计算，这么干的，人是靠什么学习，我们靠举一反三，学习方式不相同，有人认为新一类人工智能是新的物种，数据智能不是人类智能，完全不同，但是它确实带来很大能力，这个能力基本可用。

为什么基本可用？后面会说，首先环境感知能力，可以做像素水平的分割，这跟人很像，这是语义分割，最近2014年以后带来的进步。然后可以用这个方法做极端环境下道路感知，以前传统计算机方法做车道线跟踪，现在深入式识别跟踪效果更好，还可以做路面的分割，路面分割是非常基础的东西，我们为什么人下雪的时候还能开车呢？雪把车道线都覆盖了，我们还是可以开车人有分割能力，我们按中央轨线走就行了，不管交规了，低速走就可以了，人有检测分割识别能力，这就是特别像我们新一代人工智能的方法还可以做交通信号灯检测识别，交通标志检测识别，还可以做地面的交通标志的检测识别，深度学习都是一样的方法，无非调结构调参数，还可以做障碍物检测识别，这是非常关键的，也是同一套方法可以做这样的事情，还可以做非机动车检测识别，还可以做行人检测与识别，行人检测包括容易、中等、难的。什么叫难的，难就是小于40像素，一个人蹲在地面这就很难识别，这种是非常困难的，需要多模态来进行。行为意图识别，开车本质是意图预测控制，预测你行为意图，如果你横穿马路非常危险，如果不是在马路上走，或者往外面走，对开车应该是没有任何影响，不仅是行为意图的预测，还有一个比较重要的，就是前车障碍物运动参数的估计，估计的准确现在没有很好成熟的产品，包括很多产品化出来的器件比如毫米波雷达，激光雷达出来是结果，但是参数估计的结果都不是那么准确。还有多模态导航，导航不能完全依赖，不依赖高精度昂贵的导航设备，几十万的设备，这种产业化显然不可取，而且还走不了隧道和地下车库，这种情况下肯定要用单目或者双目视觉SLAM或者激光SLAM。刚才说障碍物，人蹲在地上，靠深度解决不能完全解决，激光雷达其他雷达还在手上，多模态融合，不管对环境感知还是自主导航都是必不可少的。

是不是可以无人驾驶汽车也有自主学习能力，我们人就是在驾校什么都不会，开了几十万公里不是通过监督学习，通过强化学习得到的，我们自己学的自学成才，很多刮蹭，很多事故，很多罚款、罚分，我们自己变成老的师傅，是自己学习出来的。我们是不是让自动驾驶汽车也有强化学习能力，让它可以学习很多处理紧急情况的能力和驾驶技巧，这是值得思考的。我们看到现在方法虽然很好，我们叫视觉感知智能，感知就是视觉、听觉、触觉叫感知，感知能力跟我们学习方式不同，但是比传统的计算机视觉方法好很多，我们看到有根本缺陷，缺陷是目前视觉感知智能方法缺乏对实例内涵与外延的抽象与延伸，缺乏对不同概念之间关系理解，缺乏基于知识推理以及对常识经验的利用。我们人看到车就知道内涵是什么，所有车有什么共性，知道外延是什么，它跟车和道路另外的东西有什么区别，我们也知道，现在完全不知道，我们知道内涵外延我们还知道他们的关系，车和道路有什么关系和天空有什么关系，天空一定在上面道路一定在下面，另外一个还有常识，车一定在道路上面，而不是道路在车上面，这些都是我们的常识，我们不需要思考就理解每个概念每个关系的理解，还应用到常识。一个老师傅为什么叫老师傅，他有丰富的经验、常识和技巧，而且每个时刻都在利用技巧和常识，我们现在方法完全没有，我们现在方法类似于一个猫一个狗的感知能力，一个动物的眼睛，视觉眼睛能力，没有任何理解，没有任何常识利用和经验利用。这种方法你是肯定不行的。

不行怎么办，我们就要把自动驾驶落地，人工智能还有缺陷。我们就靠合力支撑。这是一个例子，WaymoRoboTaxi无人驾驶出租车，这是发了一个邮件，可以完全实现无人驾驶Waymo汽车完全上路，要把安全驾驶员撤下去，大家都知道这个事，如果把安全驾驶员撤下去以后，不仅有商业模式无人驾驶出租车RoboTaxi商业模式已经有了，虽然限定区域限定人群，一千多人志愿者服务，它有了，很多时候安全驾驶员不是完全的L4，如果把安全驾驶员去掉以后，那是真正的L4，而且现在已经从亚历山大州扩展到加州，我们已经有RoboTaxi，只不过区域很小，限定是有限的人志愿者还有朋友，不到一千人左右，这么一个情况。如果把这个撤掉以后是历史性的一步。定一不发展到正在尝试，无人驾驶重卡商业化，如果RoboTaxi突破，重卡没有问题。

安全是自动驾驶发展的环境标准，现在的事情从根本上说就是解决安全问题，互联网时代我们关心的是网络安全，1995年左右，网络没有安全没有办法解决电子支付，做不了电子商务，钱放在网络上不行，后来看到2000年以后，这个不是一个问题，所有人把钱都放在网络上面，黑客照样有，但是你觉得很安全。现在我们无非解决另外一个问题，面对另外一个事解决道路交通问题，现在认为不会解决。安全就是一切，谁能确保安全谁就能在商业化落地上赢者通吃。自动驾驶解决安全不是解决正常人开车的安全，我们暂时做不了L5，去年联合国数据90%以上因为人类驾驶员违规违法操作，疲劳驾驶、酒后驾驶等等原因造成，自动驾驶不会有这样的问题，机器不会有疲劳驾驶，可以把90%去掉。

技术是不是先进主要看安全性，安全才是环境标准，不管水平多高，核心零部件需要支撑激光雷达自动驾驶芯片，控制器进行支撑，大数据支撑，看到大数据的变化，都是大数据比较高的，现在做到3200多公里，产业竞争观点，大数据里程数还有人工干预频率，还有高精地图，智慧道路支撑，专用车道，建设智慧道路，把单车智能向车路，车车，车人协同的群体智能发展，或者智慧空间，包括V2X，V2E，V加上边缘计算，还有下一代人工智能的支撑这是最根本的。现在缺乏认知水平理解能力，缺乏记忆推理，记忆常识经验技巧与学习能力，缺乏举一反三，现在方法非常初步。从视觉感知智能到视觉认知智能，这是根本性的，什么时候能解决这个问题，可能三年解决也可能三百年，认知智能不好说。

最后产业生态的支撑，也不说了，靠产业生态。最后形成合力，基于现在目前人工智能有根本缺陷的人工智能，但是有比传统计算机视觉方法好很多的人工智能，在5G很多支撑下面支撑产业落地大规模的商业应用，里面包括这些东西。

最后一句话，人工智能通过5G加持的边缘计算还有云边端可以降低自动驾驶成本的同时增强人工驾驶端算力，赋能产业落地。还有云边端带来比传统计算机视觉方法更强的能力，我们说5G大数据视觉感觉智能，我们现在没有视觉认知智能，这种情况下就要有边缘计算云平台，合力支撑下来推动自动驾驶产业在中国的快速发展与产业落地实践。谢谢大家。

敬请关注盖世汽车“2019 全球未来出行大会”直播专题！

PC：https://auto.gasgoo.com/NewsTopic/211.html

移动：https://m.gasgoo.com/news/topic/211