NVIDIA 端到端大模型助力汽车行业新体验

汽车行业正经历着翻天覆地的变化，以算法、算力和数据为基础要素的AI技术正在持续赋能智能汽车行业的发展。

从第一代自动驾驶技术到AI的逐步引进，再到端到端大模型，自动驾驶技术经历了三段式发展。集成大型端到端AI模型可以实现对汽车技术栈的全面管理和优化。新一代的自动驾驶系统不仅提升了决策的精准度，还通过生成式AI和强大的计算平台，增强了汽车的学习和适应能力。

而生成式AI的出现将AI推到了前所未有的高度，也给汽车行业带来了非常深远的影响。NVIDIA 作为全球AI的赋能者，正致力于通过NVIDIA的领先技术在汽车领域将AI赋能到汽车的每个环节，将自动驾驶汽车推向新的高度，并进一步引领整个汽车行业更好地在AI时代向前发展。

NVIDIA 除了提供生成式AI和大型端到端AI模型之外，还为汽车行业用户设计、构建用于生产的数字孪生AI工厂。未来工厂将通过采用自主移动机器人 (AMR) 提供生成式AI体验，从而显著提升用户的数字化工厂运营能力。

NVIDIA创始人兼首席执行官黄仁勋曾表示： “我们正在打造一个前沿的AI工厂，这是一种全新形态的数据中心。不同于传统的数据中心，那里众多用户共享一个计算机集群并存储文件，而AI工厂更像是一台独立的发电机。经过数年的精心研发和构建，我们已经完成了AI工厂的雏形。现在，我们面临着将其转化为实际产品的挑战。无论是云服务提供商还是我们自身，都将致力于构建它。生物技术公司、零售公司、物流公司，乃至未来的汽车公司，都将拥有它。它将不仅是制造汽车的工厂，更是为汽车制造AI的工厂。”

AV 2.0技术革新，赋能汽车制造业

AV 2.0最早由 Wayve 在2017年提出，AV 1.0 侧重于利用多个深度神经网络完善车辆的感知能力。相比之下，AV 2.0 则需要全面的车载智能来驱动动态真实环境中的决策。AV 1.0 可以实现高级驾驶辅助系统（ADAS）或者高速和城市环境的自动驾驶NOA，但如果想要实现完全的自动驾驶和最高等级的安全，就需要向AV 2.0 转型。AV 2.0 是大的融合世界的统一模型，基于 GPT 或者基于 Transformer 建立，采用多模态的大语言模型，包括视觉语言模型和生成式AI等其它技术。

NVIDIA 汽车事业部负责人吴新宙认为，生成式AI会对整体生产力包括人类生活的方方面面带来极大的提高，而 AV 2.0 作为时代变革的前沿话题，也同样离不开生成式AI。

生成式AI正在推动 AV 2.0 的发展，开启自动驾驶汽车技术的新时代。通过大型、统一的端到端AI模型，AV 2.0 实现了对汽车技术栈在感知、规划和控制等方面的全方位管理。

NVIDIA 正积极推动自动驾驶技术向2.0时代过渡，通过端到端自动驾驶等技术为合作伙伴带来更安全、更智能且更高效的自动驾驶解决方案。

因为端到端自动驾驶对于实现安全可靠的通用自动驾驶至关重要。目前，NVIDIA 研究人员已构建了一个端到端驾驶系统Hydra MDP，通过统一的Transformer模型实现精准的感知和鲁棒的决策。Hydra MDP能以每秒仅两帧的低帧速率提取一秒钟的车辆轨迹历史以及摄像头和激光雷达数据，并生成接下来四秒钟的最佳车辆路径作为输出。Hydra MDP的简化端到端架构能够以更少的代码和更好的性能优化流程。通过从真实世界和仿真驾驶数据中学习，Hydra MDP可以更容易地处理罕见的极端情况和危险场景，并且能够更轻松地模仿人类驾驶，从而提供更舒适、更可预测的体验。借助NVIDIA Omniverse Cloud Sensor RTX API，自动驾驶开发者还可以在基于物理特性的虚拟环境中测试和验证AV模型的结果。

生成式 AI 与自动驾驶的深度融合

AV 2.0 技术革新的关键在于生成式AI与自动驾驶的结合。生成式AI的上下文理解、创意产出和自适应学习能力标志着一个新时代的到来。大量车企都在探索如何使用生成式AI改进汽车设计、工程、制造、营销和销售。除了汽车产品的生命周期，生成式 AI 还为自动驾驶汽车开发带来了新的研究突破，比如使用神经辐射场（NeRF）技术将所记录的传感器数据转换成完全可交互的3D仿真等。这些数字孪生环境以及合成数据生成可被用于超大规模的自动驾驶汽车开发、测试和验证。

NVIDIA 汽车事业部负责人吴新宙表示：“加速计算为生成式AI等领域带来了变革性突破，而生成式AI则正在重新定义自动驾驶和全球交通运输业。”NVIDIA 加速计算所带来的性能跃升使得训练大量模型成为可能。自 Transformer 模型问世以来，在这些模型的支持下，汽车行业已经取得了惊人的成果。

以中国新能源汽车制造商和造车新势力头部企业之一理想汽车为例，该公司深耕智能驾驶领域，通过利用 NVIDIA 从云端到车端的全方位加速解决方案，在采用系统1（直觉式快速反应）和系统2（深度思考）思维的融合策略下，理想汽车加速模仿人类驾驶决策过程，提升了对复杂交通环境的适应性。同时，NVIDIA 利用云端训练和推理，助力理想汽车的AI助手“理想同学“在智能座舱中提供三维空间交互体验，打造了更加自然和个性化的车内空间。不仅如此，理想汽车也已选择 NVIDIA DRIVE Thor 集中式车载计算平台为其下一代车型赋能。

NVIDIA DRIVE Thor 是专为汽车行业中日益重要的生成式 AI 应用而打造的车载计算平台。作为 NVIDIA DRIVE Orin 的后续产品，NVIDIA DRIVE Thor可提供丰富的座舱功能，以及安全可靠的高度自动化驾驶和无人驾驶功能，并将所有功能整合至同一个集中式平台上。NVIDIA创始人兼首席执行官黄仁勋在 GTC 2024 主题演讲中宣布，这款新一代自动驾驶汽车平台将搭载专为 Transformer、大语言模型和生成式AI工作负载而打造的全新 NVIDIA Blackwell 架构。NVIDIA DRIVE Thor 将彻底改变汽车行业的格局，开创生成式AI定义驾驶体验的时代。

全球最大的电动汽车制造商比亚迪正在与 NVIDIA 进行多方面的合作，不仅从车端延伸到云端，还包括了AI工厂，数字孪生，汽车设计，汽车智能制造等。除了在DRIVE Thor上构建下一代电动车型外，比亚迪还计划将NVIDIA 的AI基础设施用于云端 AI 开发和训练技术，并使用 NVIDIA Isaac™ 与 NVIDIA Omniverse™ 平台来开发用于虚拟工厂规划和零售配置器的工具与应用。

小鹏也宣布将把 NVIDIA DRIVE Thor 平台作为其下一代电动汽车的“AI大脑”。这款新一代车载计算平台将助力该电动汽车制造商自研的 XNGP 智能辅助驾驶系统，实现自动驾驶和泊车、驾乘人员监控等功能。

智能汽车的未来已来

NVIDIA 致力于将AI技术全面融入汽车行业，以推动该行业在AI时代的持续进步。NVIDIA 不仅基于车端的 DRIVE Thor平台进行了大量思考，同时也在云端提供了解决方案，旨在支持未来 AI汽车的开发，提升仿真模型的计算能力至全新高度。NVIDIA DRIVE Thor平台的生态系统正在迅速扩张，它不仅将成为具有强大计算能力的芯片，还将达到更高的安全标准，为生成式AI 和大型语言模型提供支持，从而推动AI定义的汽车行业向前发展。

AI 技术的快速发展和端到端技术的快速应用正在重构汽车产业格局，NVIDIA 正在用前沿技术，深入改变汽车产品全生命周期的各个阶段，更智能、更环保、更人性化的智能汽车未来已来。