极氪汽车：3D HMI体验创新与技术架构

3D HMI在体验上可以分为广度和深度的两个方向。2024年3月15日，在第四届中国汽车人机交互创新大会上，极氪汽车智能座舱3D总工徐宇峰谈到，在广度上，我们可以理解为用更多3D模块提升体验。目前已经有30多种场景接近量产，很多场景会用一镜到底做打通，在广度上非常接近于全3D HMI。如果要进一步提升3D的体验，我们需要在深度上下功夫，广度和深度可以理解为人无我有，人有我优的两个阶段。

徐宇峰表示，在深度上有三个创新方向：第一，持续提升视觉的体验。另外，强化情感交互提升情感化。现实的情境中会有四季的春夏秋冬、白天黑夜、风雪雨雾，让3D HMI的虚拟世界和现实世界保持一致。

第二，驾驶模式。轿车、轿跑、SUV都会有不同的属性和模式，比如运动、经济、沙地、越野等等不同的模式。还有场景模式，用户会经常遇到用车的场景，比如露营、洗车、宠物、休憩、影院和游戏。每一辆车都有各自的市场定位和它的设计理念和风格，偏家用或偏商用，有运动风或赛博科幻风格，这些不同的风格就做不同的3D HMI的设计。定义场景和个性化改造，比如车翼的贴花，虚拟助手的皮肤应用商店等。

第三，拥抱AI。利用AI加强设计，用AI和虚拟助手提升情感化，并且用语音和文字，用AI来生成图文和一些视频。

徐宇峰｜极氪汽车智能座舱3D总工

以下为演讲内容整理：

3D HMI体验创新

3D HMI设计趋势出现是因为我们对这个世界的认知是3D化的。通过3D化的设计和呈现，用户可以更加直观地理解汽车正在发生的变化，人机交互也可以更加顺畅自然。

3D HMI的落地需要技术进行支撑，一个优秀的技术架构是体验创新的根基。这一领域很像3D游戏，其经过数十年的发展，拥有了整个行业内最成熟的体验和基础架构。但车机和游戏相比有一些独特要求，如严苛的稳定性、芯片寿命等。因此3D HMI的技术架构在引用游戏的架构同时还需要进行优化。

当前3D在智能汽车领域已经被广泛应用，如汽车的造型部门已经全面使用3D软件做一些造型设计，宣传部门每发布一辆新车都会做许多3D宣传视频等。 

图源：极氪汽车（内容由AI生成）

此外，目前整个制造业都在做4.0的技术升级，智能化和自动化等技术融合后打造一个高效和高产的智能工厂。智驾算法约有90%是通过3D仿真平台完成测试。智能座舱中的屏幕越来越多、越来越大，还有更高分辨率的屏幕，3D HMI能够给用户带来更好的视觉体验，仪表屏、中控屏、后排屏等都搭载了3D应用。

视频来源：极氪汽车

3D在座舱领域有诸多应用，包括3D导航、3D车模桌面、3D空调、3D座椅、3D虚拟助手和3D辅助驾驶。导航作为车内使用频率最高的应用之一，其视觉效果和准确性不仅会影响用户的驾乘体验，还与驾驶安全息息相关。3D车模增加了画面的美感和视觉的丰富度，能够有更直观的操作体验。虚拟助手通过拟人化的可爱形象，用AI赋能，能够为用户提供温暖和情感。辅助驾驶则将车身周围的环境如人、车、路面等信息实时渲染出来，将智驾技术可视化，让用户有更直观、更安全的驾乘体验。

图源：极氪汽车

3D在智能座舱领域的发展是随着8155芯片的大量普及后开始发力的，其发展时间只有3-4年，但速度非常快。目前我们所统计到已经量产的3D应用和场景有30+种。

3D HMI在体验上可以分为广度和深度两个方向，广度上即用更多模块，通过3D提升其体验。目前已有30多种场景接近量产，很多场景会用一镜到底做打通，在广度上十分接近全3D HMI。如果要进一步提升3D体验，我们需要在深度上下功夫。广度和深度可以理解为“人无我有，人有我优”的两个阶段。

3D HMI在深度上有三个创新方向。一是持续提升视觉体验。比如我们会用一个30万以上的高面数车膜，更全面的高精贴图，通过PBR渲染算法，甚至会通过技术的改进优化，采用实时软光追。

 图源：极氪汽车

二是情景交互。现实情境中有四季、白天黑夜、风雪雨雾，我们可以让3D HMI的虚拟世界和现实世界保持一致。驾驶模式上，包括运动、经济、沙地、越野等不同模式。还有不同的情景模式，如露营、洗车、宠物、休憩、影院和游戏。此外，目前每一辆车都有不同的市场定位和设计理念、风格，不同风格会做不同的3D HMI设计。

图片、视频来源：极氪汽车（内容由AI生成）

三是拥抱AI。近两年AI非常火爆，车企会利用AI加强设计，用AI和虚拟助手提升情感化，并且用AI生成图文和一些视频。

总结以上三点，即在深度方面利用更高精度的渲染，更细腻的画质，差异化的场景，加强情感化，拥抱AI来打造更好的用户体验。

8295芯片在去年第四季度开始量产，根据最新的性能评测，8295的整体性能比8155提升2倍以上，高算力的芯片能支撑3D车模和虚拟人的高精度渲染。3D车模是3D HMI最核心和使用频率最高的模型，是渲染优化的重中之重。车模的材质系统异常复杂，几乎涵盖了PBR渲染体系大部分的著名模型，比如车内饰中有皮革、环境光遮挡、凹凸纹理，后视镜有镜面反射，FR的车尾翼是碳纤维，有碳纤维材质和ClearCoat透明图层。金属轮毂有GGX高光，刹车盘有各项异性，车漆的材质有底漆、颜色漆、反光漆、散光漆和透明漆5个图层。

 图源：极氪汽车

除此之外，车身还有塑料材质、布料材质，还包括地面反射。除了整个车外，车周边还会有一些场景，场景里包含光线烘焙、环境光照、阴影，实时软光追还有风雪粒子等通用渲染。如此众多复杂Shader的优化组合是车模高品质渲染的保障。

全面拥抱AI有两个方向。第一，利用AI辅助和加强设计。第二，可以用AI和虚拟助手在提升情感化方向上在8295上进行还原。

技术架构

下图是座舱的整体系统架构图。部分会存在有无虚拟机的差异，总体差异较小。3D应用如3D车模、导航、泊车等都是包含在QNX和安卓两个系统中运行。

 图源：极氪汽车

下图是3D HMI已经量产的三种方案，分别是AS Library、AS Service、AS Launcher。第一个方案中每个3D应用都是相互独立的，APK里有Java和一些3D库。第二个和第三个方案的Java是完全解耦的，都是独立运行。其中第二个方案的Java在前台显示，3D在后台做渲染，第三个方案则是3D在前台做显示。

 图源：极氪汽车

以上三个方案中，AS Library的研发难度最低，门槛低，稳定性挑战小。缺点在于启动慢，包体大，内存占用较大，一镜到底会闪。AS Service的研发难度中等包体较小，内存小，启动快，稳定性挑战中等，一镜到底的方案也有一定概率会闪。AS Launcher是三个方案中体验最好的，所有的3D内容都在一个进程里。缺点在于研发难度大，稳定性挑战高。

3D的技术架构平台化方面，2023年市面上有近百款新能源上市，每一家都有改款车型并持续推出新车型，差异化竞争越来越激烈。每家公司车型的数量越来越多，风格有家用、运动、商务等，不同风格都有不同3D定义和需求。其次，国际化也越做越好，需要做多语言和左右舵的适配，车内屏幕越来越多，横竖屏、长条屏、扶手屏、吸顶屏等不同屏幕需要做不同的3D适配。   

我们一个很小的十人团队需要同时开发和维护许多车型和硬件版本、屏幕等，核心在于平台化。平台化的关键有三点。一是工具链。许多工具都是通用性的工具，但每一家车厂的需求和产品都有所不同，因此需要对这些工具进行二次开发，产出最合适各家车厂的工具以提升开发效率。

二是模块化。模块化是将3D中相近的功能做成一些高复用性、高性能的模块。如车门、车窗、天气、情境、动效、地形、灯光等通用模块。

三是技术架构。一个优秀的技术架构是3D平台化的基础，架构需要满足高扩展性、高稳定性、高兼容性和高灵活性等需求。

平台化等最终目标是实现一套代码自动化打包，自动化适配，降本增效，即以最少的人力投入带来最高的产出。

除了技术上的优化，我们还需要有快速迭代的能力。我们会在车厂中与各个中心和部门进行紧密合作，建立起一个强大的工业化生产管理线。如许多中心和部门都要使用3D，它们有各自不同的工具链和数据资产，我们会提前将各个部门拉通，制定相应标准，打破部门之间的数据壁垒，让数字资产能够高效复用。

图源：极氪汽车

通过我们的紧密合作，加上优秀的技术架构加持，通过3D工业化生产模式，3D就能非常高效地快速迭代，并持续优化用户体验。

（以上内容来自极氪汽车智能座舱3D总工徐宇峰于2024年3月15日在第四届中国汽车人机交互创新大会发表的《3D HMI体验创新与技术架构》主题演讲。）