极氪：单点交互迈向多模感知，AI大模型拓展智能座舱交互边界

随着生成式AI的兴起，智能座舱将迈向新高度。对此，2024年7月12日，在第二届智能座舱车载显示与感知大会上，浙江极氪智能科技有限公司整车功能集成主任工程师罗梦琦谈到，未来可预见的中长期，无感交互、主动推荐等智能座舱交互功能将有机会逐一落地。

罗梦琦表示，座舱人机交互正由单点向多模感知进化，趋向自然、情感化、主动化及服务闭环。产品层面，主要定义情感化交互，例如在TTS里面增加表情包及温馨关怀语，增加跟用户的情感互动。虽早期语音意图识别有技术局限，较难通过文字内容和语音语调语气精准捕捉用户情绪与意图，随着大模型技术的发展，多模态融合技术带来突破，车端处理和理解多模态数据的效率提升，模型可以通舱内的图片、视频素材收解读出多维度的用户状态信息，提升了智能车舱系统对用户情绪状态识别的准确度和实时性，车端服务可以根据情绪识别的结果，进行实时响应。

罗梦琦｜浙江极氪智能科技有限公司整车功能集成主任工程师

以下为演讲内容整理：

AI大模型带来座舱演进新思路

智能座舱的概念已历经十多年的发展，自互联网兴起之际，汽车行业便致力于将智能化操作融入汽车。初期，车内交互以机械物理按键为主，逐步引入了移动中控屏、智能后视镜等，尝试复刻手机上的多媒体与智能功能，提升用户体验。

随后，电子时代的到来标志着智能座舱空间定义的深化，车辆从单一交通工具向娱乐休闲空间转变。车内屏幕普及，电子与软件交互按钮兴起，标志着智能座舱的初步成型。

图源：演讲嘉宾素材

当前正处于智能时代，车辆已搭载完善的软件系统，实现了手机内容消费、通信模块、基本提醒及远程车控等功能的车内应用。语音助手普及，用户可通过语音指令完成基础任务与舱内交流，交互体验显著提升。

随着生成式AI的兴起，智能座舱将迈向新高度。预计在未来可预见的中长期，无感交互、主动推荐等智能座舱交互功能将有机会逐一落地。通过AI大模型的思考与推荐能力，模型可以处理复杂的自然语言任务，还能在更广泛的场景中自动执行任务，实现全栈式服务闭环，用户仅需简单指令即可享受跨场景服务。

AI大模型的核心优势在于其数据规模扩大后产生的涌现能力，扩大了人工智能的使用范围，这将推动车内服务从单点向全场景联动闭环转变，提升用户体验至无感智能新境界。同时，这也对企业研发、运营、管理系统提出了更高要求，需加强大模型算法、芯片等新技术，及相关人才储备与部门设计。

此外，多模感知技术的逐步成熟将成为改变车辆交互形式的关键，手势识别、眼动识别等技术将为用户带来更加直观、便捷的操控体验。还将探索后排儿童监测等多模交互新场景，不断拓展智能座舱的应用边界。

AI定义座舱的使用范式

座舱内的人机交互模式从单点交互迈向多模感知，实现更加模拟人性化、情感化、主动化的交流方式，形成服务闭环。为实现情感化设计，我们正着手在产品中融入具备一定用户情感互动能力的TTS(Text To Speech,TTS)回复功能，通过表情包、温馨关怀语等细节，提升用户体验。尽管过去情感识别面临技术瓶颈，随着大模型技术的发展带来多模态融合技术的突破，车端处理和理解多模态数据的效率提升，可以通舱内的图片、视频素材收集到更多的用户状态信息，提升了智能车舱系统对用户情绪状态识别的准确度和实时性，车端服务可以根据情绪识别的结果，进行实时响应。特别是座舱主动交互语音的引入，正重塑服务提供方式，从零散走向整合。

图源：演讲嘉宾素材

随着智能座舱的普及，各主机厂纷纷探索车内屏幕布局的最佳方案。屏幕已不仅仅是科技感的象征，更深度融入车辆功能，兼顾安全与娱乐。

在具体应用场景中，大模型展现出强大的意图理解与综合推荐能力。以双人出行找餐馆为例，模型能准确捕捉主副驾的意图，理解模糊表述背后的偏好，甚至处理多条件请求，如“好吃不贵又近”的餐厅推荐。此外，大模型还能实现多意图判别，如同时推荐餐厅及附近影院，打破了传统场景剧本的限制。这一过程中，主副驾屏幕协同工作，既体现科技感又确保安全性，计划年底前实现部分推荐能力的上车应用。

在多模态感知方面，追求舱内外信息的深度融合与智能交互。通过识别舱外环境及舱内对话内容，模型能生成跟出行过程相关的创作作品，丰富座舱内的交流，如绘本故事，让智能座舱成为更加人性化、互动性强的空间。

车端AI技术的展望

在探讨了AI大模型在车端产品形态的设想后，我们进一步思考了未来技术上车的工作方向。Agent作为大模型实现智能感知、理解、决策和执行的关键框架，能够高效执行复杂任务，其能力演进分为多个等级。目前我们处于第三等级，通过提示词工程，模型能主动完成类似任务，无需预设。未来L4、L5阶段，Agent将具备更高级的资源调配与自主决策能力，虽尚处探索阶段，但前景广阔。

针对模型部署与训练成本高的问题，我们提出工程化解决方案：采购行业内训练好的模型，云侧训练，端侧推理；同时对任务进行分类和梳理，模型和任务精准匹配；大小模型结合，提升复杂场景处理能力，确保运行稳定性。 

图源：演讲嘉宾素材

在生态构建上，致力于打造高效交互空间，接入更多座舱生态模式插件，促进生态伙伴合作。通过搭建应用框架，注入企业数据与能力，利用成熟基座模型，共同推动座舱智能化发展。

目前，已在车端完成座舱样板间搭建，实现反馈闭环与场景融合，具备工程化落地能力。未来，模型部署与生态转化率、新场景的探索，将是我们的工作重点。诚邀各界伙伴交流商业模式，共同打造高效组件与工具，提供更优质的智能座舱，服务市场与用户！

鸣谢：产品团队，座舱团队和合作伙伴（阿里云）

（以上内容来自浙江极氪智能科技有限公司整车功能集成主任工程师罗梦琦于2024年7月12日在第二届智能座舱车载显示与感知大会发表的《AI大模型给智能座舱带来的演进新思路》主题演讲。）