智能汽车携手大模型，打造产业新生态

自去年ChatGPT发布之后，大模型的热度居高不下。国内企业迅速跟进，前有百度文心一言、阿里通义千问，后有讯飞星火，加上商汤、腾讯等多家企业，共同开启“百模大战”。

一场场的发布会向公众展示大模型在各个领域的应用前景，开启了一场人工智能的狂欢。而对于汽车领域，众厂商发挥巧思，在智能座舱、自动驾驶等方向似乎都有大模型应用的广阔天地。

“AI研发的一个终极目标是我们希望设计一个算法，并使它能像人一样去思考。ChatGPT向人们证明，这并不是不切实际的想象，AI大模型也许会在未来融入到社会的各个行业场景，驱动产业的变革，经济的增长，将会带来新的一场工业革命。”在由盖世汽车主办的“人工智能——大模型时代下的智能汽车技术研讨会”上，NVIDIA工程和解决方案技术总监路川如是说到。

NVIDIA工程和解决方案技术总监路川；图片来源：盖世汽车

大模型的火热，无疑也给予汽车产业玩家极大的想象空间，但是每一种新兴事物的出现，总是伴随着拥趸与争议，大模型同样如此。但也有一批批先行者前赴后继，想要在这团还不太明朗的迷雾中，探索一条通往终局的大道。

大模型重塑智能汽车体验

就汽车行业和大模型的关系，大模型可以在自动驾驶、座舱智能化、人车传感器互联、工厂数字化等层面产生价值。从功能层面来看，目前AI大模型在汽车上主要有两种落地形式。

其中一类与智能驾驶有关，自动驾驶的进程，因为大模型又生波澜。ChatGPT的出现带给自动驾驶行业很大启示，这种通过对海量多模态数据的大规模自监督学习，加之预训练+微调的方式，让AI得以完成各种复杂自然语言任务。自动驾驶，被认为是下一个可能实现突破的领域。

对此，汽车产业界迅速反应。今年4月，毫末智行发布了自动驾驶生成式大模型DriveGPT，通过引入驾驶数据建立RLHF技术，对自动驾驶认知决策模型进行持续优化，终极目标是实现端到端自动驾驶。

6月20日，理想汽车也公布了其智能驾驶最新进展，称理想AD Max 3.0进入大模型时代，当月内将向北京和上海的内测用户交付不依赖高精地图的城市NOA功能，下半年将向用户开放通勤NOA功能。该功能核心是采用了BEV大模型。

AI大模型或赋予自动驾驶更快速、准确地解决认知和决策问题的能力，或在标注、仿真、视频信息处理等多方面存在应用空间。如通过大模型优化数据标注，可以降低人工标注比例和成本，以及提升虚拟训练环境的真实性，优化虚拟训练数据等。

对于大模型上车，还有一类是用于人工智能对话交流，大多数应用在智能座舱。比如此前发布的百度的文心一言，已有东风日产、红旗、长城以及吉利银河等近十家车企宣布接入；阿里巴巴也宣布AliOS智能汽车操作系统已接入通义千问大模型进行测试等。

在研讨会上，商汤绝影智能车舱产品创新高级总监邵昌旭分享到，未来的智能座舱将成为有温度，能够更加懂你出行的管家，能够全方位的感知和理解乘客的需求。

商汤绝影智能车舱产品创新高级总监邵昌旭；图片来源：盖世汽车

通过大模型赋能，智能汽车更具“情感”，以真正向第三生活空间转变，满足乘客更深层次的生理和心理需求。值得注意的是，现在如百度的文心大模型，再或者吉利AI大模型，其在智能座舱领域最核心的应用均是在语音等交互场景，短期内可能会出现同质化的隐忧。

当然，在大模型时代，智能座舱可进化的空间远不止于此。

今天的智能座舱，本质上在功能层面并不是一个AI问题，而是用产品经理去定义座舱中的各个场景。“大模型时代的一个典型特征就是好像每一个问题都可以变成AI问题。”长城汽车智能化研发总监杨继峰说到。

长城汽车智能化研发总监杨继峰；图片来源：盖世汽车

AI问题的核心是如何让机器模拟人类的智能思维和行为。大模型时代，有机会把座舱变成一个AI问题。如自动驾驶一般，其本质是车如人一样驾驶，对于智能座舱，则是驾乘空间如何更加的“拟人”。智能座舱需要从如今的形态走向智能空间形态。

基于这种思考，若将用户历史使用习惯和车内外的当前环境状态等信息，输入给座舱的认知大模型，再利用各种生态应用或交互方式等方式来表现，以实现智能座舱的体验跃升。

现在智能空间会成为一个跟自动驾驶体量差不多的AI问题。Coding、阅读、知识搜索和推送……所有的业务重构会变成一个一个的AI问题。这带来了一个全新的挑战，“我们没有准备好。”杨继峰说到。

大模型这笔账，该怎么算

杨继峰认为大模型突然爆发的本质原因是LLM提供了一个能力和泛化能力足够强的模型基座，和一系列可以SFT、可以对齐、plug-in，以及可以重训、可以轻量化的工程范式。

落到具体的实现层面，如大模型在智能座舱方面的应用，挑战伴随着变化出现。如可能面临需要去挖掘各个不同的维度上所有的感知数据；在座舱里需要建立从来没有建立过的针对于算法的数据闭环体系等。

高合汽车前期智能产品与技术规划负责人黄骏认为，大语言模型、多模态检测模型和神经辐射场建模NeRF是比较可能落地的座舱大模型。其中，多模态检测模型的重要性愈发突出，能大幅削减检测模型标注成本。而利用扩散网络生成的SR场景能大幅降低座舱计算负载。

高合汽车前期智能产品与技术规划负责人黄骏；图片来源：盖世汽车

但从大模型开发的视角来看，今天还处在技术竞争的前期阶段，模型如何做到足够大能力足够强，形成强的竞争力是本质问题。站在企业角度，如何让大模型尽快进入产品工程赛道和降成本周期，以快速进行大规模应用，才是本质要求。

这是一个持续深化的过程。

一方面，大模型的成熟是一个循序渐进的过程。火山引擎汽车行业总经理杨立伟表示，大模型的成熟应该是厚积薄发的，新技术满足旧需求，旧技术满足新需求，而非用新技术做新场景。信息数据是制约大模型持续训练的主要因素。

火山引擎汽车行业总经理杨立伟；图片来源：盖世汽车

他认为，在ChatGPT4.0出现之前，最大的大模型就是人的大脑，应将外部大模型和内部大模型结合起来，找寻可落地的场景。当人或机器某一方犯错时，能通过人和机器共同决策，以最终结果来做出靠谱的决策。

在广泛的应用场景里，大模型远不如人类思考能力，需要通过Transformer模型、多模态的数据、规划训练端平台对大模型进行打磨训练，让其得以处理更复杂的事情。

路川认为，要做好大模型，需要满足以下几个点：

第一点是基于Transformer的模型结构；第二点是需要用到更多的数据，或者是用一些多模态的数据，去训练大模型的业务，以满足一些复杂业务场景的需求；第三是计算平台层面的支撑，大模型的训练需要强大的算力资源，传统的计算模式已经很难满足，在训练端用集群的方式去构建一个分布式的系统，对于大模型来说是必须的，这样才能有一个比较好的训练速度，快速迭代，让大模型应用在真实的业务场景中成为可能。

从成本的方面考量，大模型带来的训练、推理、数据等方面的成本飙升是不得不考虑的问题，以及对算法、芯片算力等方面的要求持续高涨。

杨继峰指出，从算力形态角度大规模分布式推理平台的形态和能力也还需要一些时间，同时下一代的专用芯片、GPU、通信问题也都在路上。

针对这些问题，业界持续思考解决方案。黄骏表示，座舱智能化带来的算力缺乏问题要求跨域融合或大算力芯片。考虑到汽车行业的计算业务规模相对较小，嵌入式NPU集成于设备中，可分担GPU的部分工作，提供更高计算性能的同时降低功耗。嵌入式NPU的AI开发利用NPU加速AI应用，能大幅降低硬件成本，将成为OEM在AI业务投资和单车收效中关键的一环。

此外，使用大模型还小模型这笔账该怎么算？大模型的企业尝试着用更大参数量的模型解决更多的问题。而主机厂倾向于用更小的模型去解决特定的问题，并且以更低的工程成本去实现应用。

路川提到，如智能驾驶是一个非常复杂的场景，把一些业务通过一个通用的模型进行融合，让大模型成为车载大脑提供完善的智能服务，是未来探索的一个方向，也是未来大模型一个可能应用的领域。

中科创达物联网事业群副总裁杨新辉预测，下一个时代可能将围绕于汽车产业和机器人产业的融合，而汽车正处于机器人和汽车机器人之间的过渡阶段。未来的大模型可能在混合方面发生变化，一是在云端和边端组合的层面，二是在大模型和小模型混合的层面。

中科创达物联网事业群副总裁杨新辉；图片来源：盖世汽车

真正的挑战是深入到汽车产业各个层面的。

“我们在同时面临着的模型层面的爆发、工程层面的爆发、应用层面的爆发、生态层面的爆发、产业层面的爆发，而我们在研发结构调整和组织能力调整上好像还有很长的路要走。”杨继峰感叹。

大模型深入赋能汽车产业并非可以一蹴而就，这需要相关企业持续创新、与时俱进，也需要整体的汽车产业链做好迎接变革的准备。

激进与谨慎，蓄势待发的产业链

大模型时代，新的商业模式正在出现。

无论是自动驾驶还是智能座舱，现在大模型上车更多的是比较浅层的应用，离真正的给汽车带来翻天覆地的变化，或许还有一段距离。更直观的感受是，整个汽车产业链正在做好迎接大模型的准备。

站在车企的角度，杨继峰指出，传统的汽车产业链结构已发生改变，跨领域链接和合作已是常态。车企需要在全新的时代找寻自己的定位，而不是基于所有业务进行AI转型。

不止车企，大模型带来生态的广泛链接，基于不同的分工，每一个企业都将会是大模型的共建者。

商汤绝影基于“驾、舱、云”三位一体的发展战略，通过大模型向自动驾驶和智能座舱提供赋能，实现驾舱一体和人机共驾等驾乘体验。邵昌旭介绍，商汤提出在大模型时代的解决方案，打造了全新智能座舱架构：车端和云端为底层支撑，智能车舱大脑为核心，不同风格的定制化数字人交互呈现各类智能应用，实现座舱如人一般的智能。

面对大模型时代对于整车操作系统的新要求，中科创达打造了“滴水OS”整车操作系统，赋能大模型上车。杨新辉说到，大模型可能会成为操作系统中不可或缺的组成部分，并在很大程度上改变操作系统的形态。

据悉，该操作系统能够满足智能驾驶在功能安全方面的需求，以及具备动态自发、异构融合等优势，并集成创达魔方基础大模型，可实现多模态交互与反馈、全局智能决策支持等功能，以此提升智能驾驶和座舱体验。

而对于核心的算力和平台支撑，路川透露，从数据集构建、分布式集群训练平台搭建到客户端应用优化和部署，NVIDIA能为基础薄弱的公司提供大模型快速构建整合方案。NVIDIA有一整套完善的工具链，可以高效地帮助客户快速构建数据集。针对分布式训练平台，NVIDIA拥有NeMo Megatron框架， SuperPOD参考架构，可以更好地支撑客户针对大模型的分布式训练任务的需求等。

“NVIDIA在很久之前就开始认识到AI对算力的需求是飞速增长的，并开始构建GPU集群用于内部的研发，应用测试，从中不断地积累相关经验，并输出给行业客户，大模型时代的到来，更多的客户可以依托NVIDIA技术积累，快速构建自己的分布式训练平台，可以应用NVIDIA提供的端到端的技术方案，快速具备大模型的能力。”路川说到。

实际上能够完整构建基础大模型的一定是少数企业，居高不下的成本和技术壁垒是难以翻越的一座高山。在此之上，更多行业前沿玩家，基于对行业的理解和掌握的行业数据，构建更贴合实际场景的行业大模型。除此之外，还有在基础大模型和行业大模型之上，开发AI应用的企业。

杨立伟表示，由于每个大模型都有自己的侧重点，重要的是如何建设好大模型平台，满足不同客户的需求。

6月28日，火山引擎发布大模型服务平台“火山方舟”，面向企业提供模型精调、评测、推理等全方位的平台服务（MaaS，即Model-as-a-Service）。杨立伟提到，MaaS平台具备的低成本、费用低、能以一定的测试标准针对不同场景输入结果，在短期内是最有价值的平台。火山引擎凭借在工具和数据两个层面的优势，能帮助车企进行数据治理。

以上只是产业链的一角缩影。

模型时代是一个模型研究、工程研究 、计算研究、数据研究、产品形态、商业形态、产业生态、法规伦理同时爆发的时代。这给各个参与方带来思考，如何建立大模型时代的组织架构、研发体系、基础设施等。

杨继峰坦言，大语言模型并不是无所不能，不是所有知识的表达形式都是语言，同样也不是把所有的业务问题用LLM的范式解决都是最优解。“但不管怎么样，当我们开始用大模型的范式思考业务转型，用AI思维对待流程、对待数据、对待评价、甚至是对待生产力和生产关系的时候，就真正来到了一个大模型世界。”

或许接下来，产业内将面临一场空前激烈的竞争，大模型的上车之路也将在这个过程中，持续进化，行至终点，而今天，才只是开始。