北汽研究总院：智驭未来——智能座舱结合AI技术的探索与实践

公开数据显示，目前我国已有超过19个语言大模型研发厂商，其中15家厂商的模型产品已经通过备案。据预测，2023年我国语言大模型市场规模已达到132.3亿元，增长率已达到110%，市场规模实现较快提升，应用场景不断丰富。

2024年4月18日，在第二届汽车人工智能大会上，北京汽车研究总院有限公司智能座舱总师赵亨利坦言：“AI对于效率的提升，将融入到各行各业的每个角落。”

Al大模型对智能汽车有哪些影响？赵亨利认为，首先AI大模型将助力智能汽车更好的理解传统车控意图；其次基于AI大模型，将不断提升驾驶安全性、优化用户体验、提升座舱舒适性；最后汽车作为场景和功能的集合体，AI大模型将助力“第三生活空间”的建立。 

赵亨利 | 北京汽车研究总院有限公司 智能座舱总师

以下为演讲内容整理：

大模型技术发展概况

经过数年的演进，大模型的发展已经历从最初的专家系统到多领域单体智能的蜕变。至2023年，经过显著的技术突破，包括参数量与数据量的显著增长，以及算力逐步累积带来的智慧涌现，大模型的发展达到了新的高度。2023年，从ChatGPT 4到Sora模型的陆续推出，不仅为公众提供了丰富的话题，也为各行各业带来了前所未有的挑战与机遇。生成式AI的技术进步，吸引了国内外众多行业的瞩目，我国亦在此领域保持着持续的关注。 

图源：北汽研究总院

总体来看，技术发展以美国为引领，我国虽在某些方面存在短板，但凭借丰富的开源算法和模型资源，在应用开发层面正逐步追赶国际先进水平。由于某些国外先进算法的使用受限，我们不得不自力更生，开展自主研发。

据工业和信息化部赛迪研究院的调研数据显示，目前我国已有超过19家大语言模型厂商完成备案，2023年大语言模型市场规模已突破百亿，增长率显著，市场潜力巨大。各厂商通过不断整合应用，将自身业务融入大模型之中，预示着其发展的辉煌前景。AI技术的融入将极大地提升各行各业的效率，涵盖医疗、教育、金融、智慧交通、零售与电商、娱乐及安全等多个领域。在医疗领域，AI辅助医生进行更精准的诊疗，提升治疗效果；在教育领域，它能提供更具针对性的教学方案；在金融行业，大模型通过风险与收益分析，帮助规避风险，实现更高收益。

AI大模型对于智能汽车的影响

对于汽车行业而言，大模型的引入将带来深远影响。它能够更深刻地理解用户意图，提供智能化的解决方案，并与汽车控制系统联动，实现从单体智能到更高级别的智慧化转变。通过大模型，汽车将不再局限于简单的命令执行，而是能够与用户进行更自然的交互，理解并回应各种句式和语境。同时，大模型还能提升驾驶安全性，通过路况、车况及人员状态的分析，为用户提供更安全的驾驶方案。 

图源：北汽研究总院

在反馈执行层面，大模型将与汽车硬件紧密配合，通过座椅、空调、屏幕、声音等设备的智能控制，提升驾乘体验。未来的汽车将不再是功能的简单罗列，而是成为多模态交互的智慧化系统，为用户提供更舒适、更安全、更智慧的出行体验。

此外，随着科技的不断发展，大模型将与外部世界和家居IoT等领域深度融合，形成智慧的第三空间。通过大模型的涵盖，家电、家居等设备将实现智能化联动，为用户提供更加便捷、高效的生活体验。作为汽车行业的从业者，我们将以车为节点，与智慧的第三空间实现联动，为用户提供适时的服务，实现更加完善的智能化出行。 

对于汽车而言，需要主观地判断用户的需求场景空间，通过软件和硬件等资源的协同配合，实现预先设定的功能。近年来，汽车行业热衷于探讨出行场景和小憩模式等创新概念，这些大多基于车厂主观或预先设定的场景。然而，关于实际使用的数据量，我们并未获得详尽的信息，但这一方向无疑是正确的。因此，我们推出了可编程座舱的概念，即不再局限于车厂提供的固定场景，而是将权限开放给用户，让他们根据自己的需求进行编程，形成个性化的场景空间。无论是调整空调温度还是定制座椅样式，用户都能实现有限的控制权。

这一目标的实现，依赖于汽车本身的SOA化，以发挥更多的功能和效率。在此基础上，我们进一步提出了主题空间的概念，这是一种非固态的、灵活多变的空间形态。通过汽车的硬件算力、网络通信能力以及大数据的加持，结合软件技术，我们塑造出汽车的整体主题灵魂。用户同样可以参与编辑，车厂不再过多干预车辆的使用方式。我们推出的可能是一台通用化的硬件，具备部分预制功能，其余则由用户自主控制。

以雾霾天气为例，当雾霾即将来临时，我们的系统会自动推送雾霾模式，将外循环改为内循环，关闭车窗，调节氛围灯和空气净化器至最大档位。这种智能化的响应让用户感受到汽车的聪明与贴心，无需再手动操作。

北汽大模型技术的应用及思考

北汽集团在大模型技术的应用方面进行了大量工作，深知大模型的核心在于算力、数据和算法。在我们的应用中，算力、数据和应用构成了三大核心要素。我们已建成大规模的超算中心，每个车厂都拥有海量的数据资源。我们建立了标准化的、安全的数据管理体系，并与众多合作伙伴共同构建了生态系统。 

图源：北汽研究总院

通过大模型的算法接口，我们已经具备了大模型的训练能力，并成功构建了插拔式大模型平台。无论是ChatGPT还是Sora，它们目前尚未实现通用化的人工智能，无法应对所有任务。因此，我们致力于构建插拔式平台，根据需求插入相应的功能模块。我们实现了车云算力的协同一体化，利用边缘计算技术，使车辆也具备一定的算力能力。在数据方面，我们建立了云存储和大模型数据系统，同时面临着隐私和法律法规的挑战。例如，中国现有的法规要求显示终端对其显示内容负责，这要求我们对敏感信息进行严格过滤，以避免生成不适宜的内容推送给用户。

最初，我们通过场景化的落地方式，利用大模型推荐生成场景，并通过微调与评测体系进行优化。这是北汽集团在几个关键方面所做的工作。我们构建了一个名为”百模汇创“的整体平台架构，以大模型为底层支撑，涵盖了北汽的智算中心、大数据分析平台、工具链以及大模型隐私保护系统。在上层，我们改进了大模型的引擎层，利用基座大模型的能力，形成了北汽自己的产品和技术能力，包括多模态感知大模型和多模态生成大模型。在中间层，我们有垂域大模型，包括质控、场景生成和意图理解的百模创汇平台。最终，我们生成了大模型的场景和应用，涉及车控、智驾等多个方面。

这一理念的核心在于通过组合不同的模型，充分发挥各模型的特长，实现万物的感知。简而言之，我们将生态和汽车能力进行原子化组合，通过大模型的规划能力进行调度，以满足用户的实际需求。我们智慧地感知用户需求，并给予智能化的反馈。无论是车端能力、第三方资讯还是外部生态的预约，都可以在大模型的调度下，在合适的时间推送给合适的人。这将为车生活带来更加便捷和智能的体验。

大模型本身只是一个智慧大脑，类似于科幻故事中的三体存在。要使其发挥作用，必须不断地喂数据，使其变得更加聪明。同时，我们还需要引入生态和汽车的基础原子化能力等资源。这样的生态系统融入大模型将带来诸多好处，如无需频繁切换应用，通过接口调用APP生态基础能力进行深层次的组合。如果实施得当，将为用户带来更好的体验。北汽集团将分为三个平台进行推广：一是通过大模型改善现有基础上的语音对话能力，使对话更加流畅和智能；二是通过插拔式的大模型场景及平台，接入不同类型的大模型，实现智能调度，充分理解和反馈生态资源和用户场景。

关于大模型产品3.0的构想，旨在破除生态孤岛，实现去APP化，并以智能化的形象进行深度交互。人们往往更倾向于有形、可感的交互体验，因此，数字人助理可以设计成可爱的小考拉、俏皮的小狐狸，甚至是定制化的个性化形象。这一形象将与大模型在后台实现深度联动，包括表情、动作、情绪等方面的协调，实现场景的无缝对接。这样的设计将使得汽车交互更具实体感，从而增强用户的喜爱度。

在纵向上，我们致力于利用大模型能力实现智慧升级；在横向上，则通过智能场景的重构、形态的革新以及第三空间的增强，来提升用户体验。而硬件能力的提升，正是通过纵横坐标的交叉融合得以实现，从而完成对用户情感共鸣和沉浸感的增强，更深入地洞察用户意图，并据此提供积极、智能化的反馈。

对于大模型的应用展望，其核心地位不言而喻。任何技术的实现都离不开硬件的支持，包括硬件平台的搭建、接口设计以及整个硬件体系的构建。在此基础上，软件层面如操作系统、应用层、驱动层等亦需完善。我们需配备相应的智能化辅助系统，通过数据与生态的喂养，使AI成为处理用户与座舱交互的核心。我们的终极目标，是实现与传统座舱在功能和体验上的全面智慧性升级。

打造未来座舱的思路，可概括为集成、协同与跨界。这意味着我们需与合作伙伴，特别是战略合作伙伴，紧密合作，共同构建完整的体系。通过AI的赋能，我们将实现车内硬件在视觉、听觉、触觉、嗅觉等多方面的场景交互，为用户提供更加智能、亲切、愉悦的驾乘体验。

（以上内容来自北京汽车研究总院有限公司智能座舱总师赵亨利于2024年4月17日-18日在第二届汽车人工智能大会发表的《智驭未来——智能座舱结合AI技术的探索与实践》主题演讲。）