上汽集团：AI驱动的智能座舱感知交互演进

新能源汽车智能化角逐初期主要聚焦于功能性竞争，力求单点突破，强调智舱与智驾的差异化竞争。随着智能化水平成为比拼焦点，主机厂开始从整车层面出发丰富使用场景，推动舱驾融合与数据驱动的大模型学习，车辆日益成为移动智能体。

2024年7月12日，在第二届智能座舱车载显示与感知大会上，上汽集团创新研究开发总院智能座舱首席专家周阳霖表示，下一步智舱交互的趋势是机器从被动响应走向主动交互，从人适应机器到机器不断地适应人；多模感知交互是简约的、更加情感化的自然交互方式，是实现智舱 AI 智能体的关键。

周阳霖｜上汽集团创新研究开发总院智能座舱首席专家

以下为演讲内容整理：

新能源汽车智能化发展

新能源汽车的竞争轨迹常被简化为“电动化上半场，智能化下半场”，实际上电动化与智能化共同构成了全程挑战，前期可视为入围角逐，而智能化深化则引领进入淘汰赛阶段。智能化初期聚焦于功能性竞争，如提升CPU算力、增大屏幕、丰富功能，力求单点突破，强调智舱与智驾的差异化竞争，通过特定功能如DMS、OMS彰显特色。随着智能化水平成为比拼焦点，主机厂从整车层面出发丰富使用场景，推动舱驾融合与数据驱动的大模型学习，车辆日益成为移动智能体。

其中，智能座舱作为整车感知交互的核心，集成了人机界面与操作系统，是整车智能化水平的直观体现。它涉及众多零件子系统与功能，通过视听触嗅等多感官方式提供沉浸式体验，成为连接各系统的中心节点。智能座舱具有高度集成、个性定制与智能交互三大特点。

图源：演讲嘉宾素材

当前，智能座舱形态与功能已趋于稳定，信息框架、语音交互、车控车设、生态服务构成基础框架。未来发展方向一是基于现有体验的微创新，二是智能化大模型的引入，带来从边缘到核心的突破性变革，聚焦智能化体验与功能的深化。

AI驱动的感知交互发展

在AI驱动的感知交互领域，多模态大模型将推动交互方式的深刻变化。传统APP+GUI模式将向极简界面与动态LUI（对话式用户界面）转变，大模型的生成能力将实现界面实时构建，打破固定规则，重塑交互体验。

智能体验主要聚焦于人与机器的交互，特别是智能体如何模拟人类感知与行为，这种人智交互旨在模拟人类间的自然沟通。智能座舱作为核心，强调多驾乘空间与多模态互补的交互方式，通过座椅反应、方向盘震动等空间性元素，综合作用于用户的视觉、触觉、听觉与嗅觉，实现多维度空间交互。

智能化层面，感知智能依托传感器收集信息，如通过DMS监测用户疲劳状态；而认知智能则更进一步，实现从感知到推理的跨越。大模型的应用正推动这一进程，促进从感知智能向认知智能的飞跃。

大模型成为智能座舱感知交互发展的核心驱动力，其支持的多模态感知与交互，共同构成了智能行为的输入输出体系。大模型上车的方式多样，包括人为主导、人机协同及智能体模式，后者能自主决策并优化用户体验，如调整氛围、导航避堵等。

图源：演讲嘉宾素材

在具体应用上，语音识别与交互领域的应用迎来变革。传统语料训练方式被语义理解所取代，实现模糊语音车控，大幅提升交互自由度。智能问答系统亦受益于此，快速理解并反馈车辆信息，提升用户操作效率。此外，多模态感知交互虽处于起步阶段，但其在提升识别能力、自然交互、个性化及情感化方面的潜力巨大，是未来发展的重要方向。

在多模态交互设计中，需注重时间与空间的连续性、互补性及一致性，确保交互体验的完整与流畅。通过这些努力，我们将为用户带来更加智能、便捷、人性化的驾驶体验。

生成式HMI（人机界面）的核心在于利用大模型技术，基于语音对话的上下文理解，动态生成复合视觉效果，实现从传统GUI（图形用户界面）向VGUI（视频图形用户界面）的转变，彻底革新界面交互方式。允许用户根据个人喜好，直接自定义主题、壁纸、色彩乃至助理形象，大模型能实时生成多样化内容，促进用户共创设计，带来全新体验。

推动极简交互模式的发展，去除冗余功能，实现界面与交互的去应用化，通过云端与车端能力融合，根据用户意图动态组合功能，提升交互效率与体验。这一趋势与苹果产品的设计理念相呼应，即追求简洁与高效。

场景引擎的智能化升级是关键。传统基于规则的场景模式（如小憩、抽烟、影院模式）存在局限性，难以适应用户个性化需求与变化。而面向多模态的大模型能够赋予场景引擎理解与认知能力，灵活调用SOA（面向服务架构）资源，根据实时情况做出最适调整，从而打破规则限制，提升用户体验。

图源：演讲嘉宾素材

尤其值得注意的是，大模型的参数规模与计算能力，使其在处理复杂场景与条件判断时展现出巨大潜力，远超传统规则引擎。这不仅解决了规则数量激增导致的性能瓶颈问题，也为车载智能化提供了更加可靠与高效的技术支撑。

大模型在车载应用中主要呈现为三种形态：通用模型（大模型）、领域特定的小模型（部署于车端），以及用户个性化的微模型。这一架构合理高效，通过大算力实现通用能力压缩至车载小模型，再经用户微调形成个性化微模型，形成闭环优化。

在选择大模型时，智能化水平是关键考量，包括使用体验、生成质量、智能体能力及安全合规性。需综合评估模型的上下文理解能力、内容创新、生成能力、逻辑推理及智能体特性，确保其既能独立运作，又能融入感知、决策、执行等完整智能体闭环中。

对智能座舱未来的展望

展望智舱未来，核心在于实现人与车之间自然、高效的交互，确保安全愉悦的驾乘体验。趋势上，智舱交互将从被动向主动响应转变，机器不断适应人的需求。多模态感知交互将成为主流，以简约而情感化的方式，增强人机交互的自然性。最终，智舱大模型将融合文本、声音、图像、视频等多模态理解与生成能力，成为智舱感知交互的智慧大脑，深刻改变汽车行业的发展方向。

（以上内容来自上汽集团创新研究开发总院智能座舱首席专家周阳霖于2024年7月12日在第二届智能座舱车载显示与感知大会发表的《AI驱动的智能座舱感知交互演进》主题演讲。）