WICV2020 | 英伟达汽车业务总经理Dan Berman：从云端到车端：开发端到端自动驾驶解决方案

11月11-13日，“2020世界智能网联汽车大会（WICV2020）”在北京隆重召开，本次大会由北京市人民政府、工业和信息化部、公安部、交通运输部、中国科学技术协会共同主办。旨在打造全球智能网联汽车领域内规模最大、级别最高、影响力最大的世界级平台，持续引领全球汽车产业发展趋势，全面开启智能网联汽车产业发展的新征程。下面是英伟达汽车业务发展总经理Dan Berman在本次论坛上的发言：

大家好，我是丹-伯曼，英伟达汽车业务发展总经理，正式开始前我想代表英伟达公司 向世界智能网联汽车大会组委会表示感谢，现在我们马上开始。

英伟达一直相信未来所有的车都将实现自动化。英伟达的目标就是推动汽车领域的这场革新。我们今天探讨的不仅仅是自动驾驶汽车，还有与行业相关的各种问题，如装配线等。那我们是如何推动的呢？我们生产出了有史以来第一款专用于机器人的芯片，这就是几年前推出的芯片系统，以及下一步将推出ORIN 芯片系统。今天我会详细介绍一下ORIN。

英伟达关注的不仅仅是硬件，除此之外，我们拥有丰富的软件栈，专注于自动驾驶和工业应用，我们必须专注于汽车的发展，当大家判断其发展趋势时，我觉得最重要的一点是未来所有的汽车都将是以软件定义，为了实现这一革新，大家要去关注一些基本的东西。而我认为首要的，就是集中化。原因是，当汽车将变得越来越复杂的时候，大家希望能够在产品的生命周期内简单高效地提升性能。就像手机的迭代一样，而这是非常关键的。因此，我们着重关注集中的核心芯片，即在一个ECU上运行不同类型的应用程序。

第二，开放。丰富的软件栈，可以满足不同类型的应用和需求，如停车、自动驾驶或驾驶舱解决方案。它要足够强大，有强大的计算能力。因为如果你定位于未来自动驾驶或是其他的先进的项目中就需要大量的经费。至于今后的发展，说实话，还没有人能够确定实现自动驾驶所需的计算量，因为我们还没到那一步。对于你所投入的每一笔资金都要算好其边际价值。第三，也是很重要的一点，应该是安全，意味着你需要确保你使用的硬件和软件都能解决功能安全问题。因为人命关天。所以，当你真正推出这样一款应用时，需确保你的系统是安全的，且不会出错。英伟达的战略目标是实现端到端的软件定义，不只局限在车内，还有数据中心以及各种应用。我们是市场上唯一能够做到这一点的公司，并在不同领域发挥我们的所有特长和能力。先收集数据，通过传感器进入数据中心并进行模拟训练，之后创建视频，使用DGX A100系统到模拟环境中进行验证和训练。因为我们有Constellation和Drive SIM ，也就是我们的软件模拟器，我们在Constellation之上进行模拟测试。至于在运行车辆上，我们安装了Drive AV和Drive IX自动驾驶系统。二者都是在Xavier或ORIN 系统之上的自动驾驶和驾驶舱应用。最后一栏是Estimator，对于大家和更多的新人来说，我想这是Driver系列中最好控制的了，支持远程操控。驾驶员终有一天会离开方向盘，所以要保证低延迟，为了实现这个目标，我们不仅在芯片上下功夫，也力图打造一个可扩展架构。我们要为不同生态系统的合作伙伴解决相应的市场问题，从ADAS高级辅助驾驶系统到通过两块 Orin SoC 和两块基于安培架构的 GPU 组合，实现有2000TOPS算力的Robotaxi 计算平台。为此，我们有着单一可扩展架构，并提供软件兼容，意味着你们正在使用的是相同的API。即您使用ADAS时的API自动驾驶功能最高可达到L5级，您可以按需选择级别。这个过程需要大量的工程成本，因为没有独立的ECU。浪费了大量的人力也未必能实现在不同类型的项目和团队成员之间的知识转移，即在相关产品上所学的知识。

那么，接下来介绍一下ORIN。ORIN是有史以来性能最好的芯片系统，领先行业一大截，性能高达200TOPS，可通过开放的CUDA Tensor Cores 和DLA与12个Hercules ARM64 CPU等进行编程。最重要的是，正如我提到的，我们关注安全性能，提供独立的安全岛、安全的密钥存储。而我们的目标是达到ASIL-B和ASIL-D系统评级。基于我们Xavier上的成功经验，我们有信心能够做到这一点。谈到英伟达时，纵观市场，在很多情况下人们倾向于认为，我们是一个硬件公司，重点打造的是GPU等等。但实际上，当大家看英伟达的汽车业务时会发现我们将大部分资源都投入在了软件上。我想用这张幻灯片来告诉大家我们是如何做的，实际上它也适用于我们所有的生态系统。图片的最下端是我们的硬件，也就是ORIN SOC和我们车辆中所用的HYPERION传感器。除此之外，我们有Drive OS，基本的API，可以通过CUDA或Tensor RT自行编程。除此之外，我们还有一个Driveworks框架。我们提供各种您开发自动驾驶期间重要的工具，如校验记录仪和障碍物传感器。我们提供所有这些生态系统，让人们能够开发他们的应用。当然，有很多企业都想与我们合作，我们也在企业内部进行应用来开发我们的应用程序，比如之前提到应用于自动驾驶的Drive AV和驾驶舱应用Drive IX我们开发Drive AV和Drive IX的原因。不仅仅是因为我们想提供产品，当然啦，这也很重要。我们希望能够成为行业领先者，并让每个人都能享受自动驾驶，它对解决所有的技术问题以及应对开发系统的困难也有很大的帮助。而我们不仅仅是依靠我们的生态系统来修复bug，我们自己动手来打造更好的产品。

今天我演讲时间有限，所以我准备挑一个重点，那就是感知。在很多情况下，感知被视为商品类概念。但实际上，摄像头感知是一个非常复杂的任务，通常也会有很多的解决方案，比如障碍物检测、地图检测、路径检测、红绿灯感知、交叉口检测等。而最重要的部分不仅仅在于检测，更在于在不同的条件下检测，如不同的天气，不同时间等，这也是需要大家努力攻克的领域。那我们如何做得更好，怎样去做，怎样做更有效呢？今天我的时间有限，只能介绍我们正在开发的摄像头感知模块中一些很酷的功能。所以首先是全景式的分割，从幻灯片的上方可以看到，我们能准确地识别到图片中的所有物体的像素水平。从下往上看，你可以看到我们是如何准确地定位物体，并将其组合。图中每个数字都代表了我们识别到的每个对象的ID，大家可以看到我们如何使用它来识别车辆以及单一的物体，我们也能识别出背后的物体。即便在不同的场景下，这项任务非常复杂，但我们做到了。另一个很酷的功能是未来移动轨迹预测。为此，我们结合时间序列的图像，也就是图上这个，非常精确地识别车辆移动轨迹。再结合准确的地图信息，也就是灰线，我们结合两个系统来预测车辆的行驶轨迹。当我们推出产品时，我们不需要现有的图像，我们只需要一个摄像头或雷达输入。当然现有的图像也可以用在里面，它将更为准确。但是我们也可以依靠摄像头，这里是一个四摄系统的例子。在右侧，可以看到这个实时预测的自上而下的视图，所以我们检测周围的物体

并预测他们会开到哪里去，也就是其移动轨迹。所以，一般来说，暖色代表着较近的时间序列，冷色代表较远的时间序列。在这种情况下，大家可以看到系统是如何预测转弯的，比如在十字路口右转，还可以检测画面中的静止物体。大家看这里就是一个变道的例子，可以看到汽车如何实时预测是否变道，继续在当前车道行驶或是变道。另一个有趣的功能是十字路口的检测。红色代表自动驾驶汽车在十字路口处的驶入线，橙色代表其他车辆进入路口的行驶线，而绿色代表所有车辆在十字路口的驶出线，黑色代表不可行驶的车道线，也就是说，你不能在那里行驶。所以通过这些例子我们可以看一下，我们的系统在不同场景下是如何预测的。这一功能相当强大，我想给大家看一些例子，即它是如何实时预测的。当你驶到十字路口时，需要做出判断，即车可以开往哪里。而在这个例子中，我们的系统可以准确地判断出是否可以直行、右转或左转，或是U型转弯。而以上技术可以应用于三个方面，一种是检测，告知你应该往哪开；第二种是将其与精确的地图数据相结合；而第三种方案是用这个检测来创建地图数据。因为创建地图数据本身是非常复杂的，需要花费大量的人力，所以利用我们的这一功能来创建地图数据很省事。另一个很酷的功能，提供停车解决方案，在这些例子中，我们检测不同环境下、不同类型的停车点。这是进入停车场的视角，红色的代表停车位的边界，即便车位没有全部划出或是有着不同形状，我们都能检测出。而这一功能，对代客泊车等非常重要。我想再强调一下，非常重要的一点，英伟达要打造一个开放的平台，让每个人都能在此基础上进行开发，你不需要购买我们所有的产品，按需选择即可，再自己开发。我们正与汽车、卡车、制图和模拟公司等合作，也鼓励高校的各类创业公司利用我们的平台、丰富的软件栈和强大的硬件，开发新的服务。

在结束之前，我想邀请大家参加我们12月15日到12月18日的GTC 中国线上大会，会议大部分内容将以中文进行，当然也会有CEO黄仁勋先生的主题演讲，欢迎大家的加入。

感谢大家的聆听，再次感谢世界智能网联汽车大会组委会邀请我们参加这场会议，谢谢大家。

（注：本文根据现场速记整理，未经演讲嘉宾审阅，仅作为参考资料，请勿转载！）