吉祥智驱：全新3D互动体验座舱及AI大模型应用的创新与实践

吉祥智驱是一家以科技创新为导向，具备整车平台研发能力，并面向行业生态全面开放共享的新能源汽车科技公司。

当前，智能座舱存在设计同质化、功能同质化等问题，导致座舱的差异化不足，识别度降低。2024年11月7日，在第六届智能座舱与用户体验大会上，吉祥智驱智能网联执行总监秦艺指出，未来的智能座舱体验将呈现出三大发展趋势：一是舱驾融合带来的多维互动化，二是虚拟现实技术融合的沉浸式体验，三是智能终端成为AI-Agent。

基于这些洞察，吉祥智驱推出了AI智能座舱，该座舱集成了三大行业首创实践。首先，它采用了全3D多形态桌面互动系统，为用户提供新颖的操作界面和交互体验。其次，引入开发世界的游戏制作理念，打造沉浸养成式虚拟世界，打造了一个高度模拟现实的虚拟环境，增强了用户的沉浸感。最后，结合了AI模型与出行垂直领域生态，依托出行生态平台，打造座舱一站式AI出行助理，为用户提供了更加智能化、个性化的出行服务。

秦艺 | 吉祥智驱智能网联执行总监

以下为演讲内容整理：

关于均瑶集团与吉祥智驱

均瑶集团是以实业投资为主的现代服务业企业，创立于1991年7月，现已形成航空运输、金融服务、现代消费、教育服务、科技创新五大业务板块，旗下有4家A股上市公司，员工超2万人，是中国服务业500强企业。

新能源汽车科技业务是均瑶集团的第六大业务板块，吉祥智驱作为这个板块的承载主体，是均瑶集团全资子公司。吉祥智驱是一家以科技创新为导向，具备整车平台研发能力，并面向行业生态全面开放共享的新能源汽车科技公司，包括三电系统、智能网联、自动驾驶、平台架构、性能集成、整车工程等核心研发能力。

目前，吉祥智驱已完成自主研发的高性能、高安全、高智能的可进化模块化纯电专属平台，大带宽，可迭代，覆盖A~C级车型，可适应Sedan、SUV、MPV等多品类车型。基于该平台的全新车型（Juneyao Air）即将SOP量产交付，将于2024年第四季度首先面向海外市场上市交付。

打造差异化智能座舱的思考

当前智能座舱体验存在三个现状，分别是技术方案趋同、人机交互趋同、AI体验瓶颈。同质化使得座舱的差异化不足和品牌识别度不够。但实际上，同质化并非不好，同质化的底层原因是交互视觉的普世合理性、用户需求的统一导向。如果过度强调差异化，可能也不太好。因此在塑造差异化的同时，不能违背用户使用习惯和需求。

我们认为，未来智能座舱体验存在三个趋势。一是舱驾融合后的多维互动化。舱驾融合趋势下，智能辅助驾驶将进一步提高车内乘员的自由度，座舱互动不再局限于视听娱乐和互联应用，互动体验需求会大幅上升，用户对于座舱的互动感，需要有沉浸式的载体。

二是虚拟现实混合的沉浸化。从二维HMI交互，到多屏互动交互，到语音+GUI的混合交互，再到多感多模态的融合交互，最终用户需求上升为基于车内物理世界＋车外环境世界＋座舱虚拟世界的混合沉浸式交互。

图源：演讲嘉宾素材

三是智能终端成为AI-Agent。Al大模型赋能智能座舱、智能语音交互、多模态交互、视觉感知、车云一体，都将使得智能汽车作为终端，逐步渐进式AI化，类似智能手机的发展路线，从本地计算+云计算的多应用形态，演化为Al-agent。

基于以上思考，我们在打造AIR智能座舱的过程中，坚持用户原则，大胆创新实践，进行了三个行业首创。一是行业首个全3D多形态桌面互动系统。桌面系统设计从2D化全面升级为3D化，并且不局限于车辆场景，真正实现3D为底的桌面系统。我们基于双3D引擎打造的仪表和娱乐系统，从用途需求出发，发挥引擎优势。实际上，3D本身不是目的，3D是工具和载体，呈现互动内容才是核心。

二是行业首个沉浸养成式虚拟世界。我们引入开放世界的游戏化制作，与车辆驾驶行为、用户行为的融合式养成互动，塑造情绪价值。3D虚拟世界能够提供个性化视觉价值。此外，还实现了游戏元素与运营活动相结合的用户成长与行为沉淀。

三是行业首个大模型+垂域生态的AI出行助理。首先，AI大模型提供交互技术基础；其次生态接口提供信息聚合能力；第三，汽车座舱成为大出行场景节点，为用户提供一站式精选式出行服务。

全3D互动座舱及沉浸式虚拟世界的研发实践

下图是Crystal OS Design，整体质感优良。不同与过去2D为底层逻辑的设计，吉祥AIR的Crystal OS是以3D为核心做设计，整体设计基因的驱动完全不同。

图源：演讲嘉宾素材

Air系列车型的智能座舱包括六大核心模块，这些模块相较于市面上的座舱实现了差异化。一是硬件主流，域控架构，智能旋转屏；二是双3D引擎打造沉浸式交互系统Crystal OS；三是AI出行助理，一站式智能大出行服务；四是航空特色的智能语音助手；五是丰富的互联生态，打通手机域融合桌面；六是行业首创养成式虚拟世界-吉祥世界。

我们基于Unity 3D引擎打造了全3D多形态桌面互动系统，充分发挥了双引擎的各自优势，能够根据应用场景的特点进行转换。我们在车控场景中使用基于Unity原生的全局GI光照模式，并重构了天空球的24小时渲染方式。其中，美术、模型、场景、地编、TA技美、程序等都是由我们全部自研的。车辆的虚拟控制需要充分考虑用户实际需求，因此我们在高通8155平台上（性能不是最强的情况下），克服了很多技术难题，趟了不少坑，不仅考虑功能的稳定性、视觉效果，也要考虑功能稳定性和性能效果。

经过一系列技术创新，我们实现了在8155平台上构建整个全产品虚拟世界，也绝对完成了性能流畅、画面视觉多者之间的平衡。此外，我们实践了一些3D的HMI和安卓系统以及虚拟化系统之间的通讯机制、层级，包括数据安全、响应。

图源：演讲嘉宾素材

目前，我们所研发的行业首个沉浸互动式虚拟世界——吉祥世界已率先在海外推出，泰国市场对我们新颖创新的智能座舱兴趣浓厚，引起了良好的差异化反响，国内版本也已经完成量产，即将上市。在这个虚拟世界里，我们在座舱内提供了类游戏化的体验。我们在做吉祥世界时引入了游戏行业打造开放世界的理念，基于主角互动和场景探索，能够在车机上实现很多玩法。

我们运用AI大模型工具赋能吉祥世界的美术设计，我们设计有多个地块，互动元素丰富，全场景有数干万级面数。虚拟世界与物理世界的一些元素产生了联动，包括节气和天气等，每一时的车机中的视觉，都是崭新的。

基于虚拟世界的互动座舱不仅仅有用户价值，还有很多车厂价值。对用户而言，虚拟世界提供了从底层逻辑上来说完全不一样的交互，是全3D的沉浸式交互。它首先是视觉价值，包括个性化世界的装扮，形成了用户在视觉上的差异，也有陪伴化的情绪价值。

图源：演讲嘉宾素材

而对于车厂而言，车厂要与用户产生有效的链接，通过吉祥世界在其中引入更多运营手法，让用户持续在每天的通勤驾车过程中与虚拟世界产生沉淀，进而产生更多互动。其实虚拟世界还有一些很深层次的价值待挖掘。

AI大模型出行助理的创新研发实践

当前，行业内AI大模型应用于座舱中的主流场景包括智能车书、知识/百科/资讯、语义兜底、文生图/图生文、出行资讯/本地生活、个性化虚拟人。但有一些不是座舱里的高频应用，或者新鲜感之后就不会再用了。

我们将AI与出行相结合，背后逻辑首先是我们自己车型的定位，包括公司定位，提供跨场景的多场景出行解决方案。车是解决从A点到B点移动的一个工具，在这个过程中，能否把AI应用起来，并与用户的移动端行为产生互联？比如出差场景或旅游场景，需要买机票、打车、订酒店等，目前完成这些动作，我们需要在手机的不同APP上进行。如果用户在开车过程中能够一站式解决这些问题，那就十分有价值了。

大模型做出行不只是AI本身的能力，还包括构建开放联盟、终端应用和大出行中台，这是提供AI能力到应用，再到产品场景上的基础。我们建立了这样一个架构，最核心的是大出行运营平台，依托均瑶集团和字节体系的联合生态，没有生态，大模型是无法提供内容的。在这个架构中，我们主要聚焦在座舱端、车端应用的打造，生态的聚合。字节跳动为我们提供了大模型本身的计算引擎能力，包括字节的抖音本地生活等一些生态的调度。

图源：演讲嘉宾素材

从场景上而言，其规划包括出行、本地生活。比如在差旅场景中，用户对车机说出“帮我定一下去深圳出差的三天行程”，用户只需一句话指令，我们通过AI大模型将用户的语义进行解析，对接到相应的技能，给出一站式解决方案。我们可以通过车机直接展示出行路线、合适的酒店、热门景点短视频等，用户也可以保存分享到手机端。

现在的大模型应用中，我们去问一些车去某地玩的出行规划，大部分都是给出一大段文本，第一台怎么样，第二天怎么样，做不到我们这种，是因为我们与生态进行了深度联通，将模型作为计算引擎，生态作为资源池，为用户提供一站式的解决方案。

基于附近搜索也是同样，在常规的车机中，我们询问附近资源，一般是跳转地图给出POI推荐，或大模型给出大段文本。而在吉祥的车型中，我们通过大模型引擎和大出行运营平台，将生态进行融合推荐，可以一键导航，形成一站式解决方案。

用户除了在车端，也可以在手机端实现相关功能。这些产品目前在国内已经完成了相关的量产设计，我们也即将在海外市场推出。我们在泰国自研的车云平台、车联网功能也已经量产，海外版JuneyaoAuto APP也即将上线。我们未来的规划是，只要是吉祥航空到达的航线，我们都希望能够在当地实现端云一体的AI出行助理的解决方案。

我们希望将吉祥智驱以上智能座舱、车云平台、海外车联网平台等所有解决方案面向行业，对车厂、tier 1等进行开放，开源合作，协同创新，一起为用户提供面向未来趋势的全3D沉浸式虚拟世界的智能座舱。

（以上内容来自吉祥智驱智能网联执行总监秦艺于2024年11月6日-7日在第六届智能座舱与用户体验大会发表的《全新3D互动体验座舱及AI大模型应用的创新与实践》主题演讲。）