凯朴硕科技(CapsuleTech)：从0到1，3D HMI 量产交付之路

3D HMI行业正迅猛崛起，从2021年北美车企的初步尝试，到如今各大厂商纷纷融入3D元素，其发展趋势已不可阻挡。

2024年3月15日，在2024第四届中国汽车人机交互创新大会上，凯朴硕科技(CapsuleTech) 3D开发负责人李逸飞表示，凯朴硕科技(CapsuleTech)早在2022年便洞察到HMI向3D转型的趋势，并迅速布局研发，于2021年为高合HiPhi Z项目成功实现基于8155平台的虚幻引擎HMI量产。Hiphi Z项目量产已逾一年，其HMI的复杂性和前瞻性在行业内仍处于领先地位。

结合此案例，李逸飞展开整体开发流程的经验分享。他还提到，3D开发强调设计与开发间的无缝合作。设计师利用3D工具精准还原设计意图，开发人员则借助3D引擎完美呈现设计效果。设计师甚至可直接参与开发过程，实时调整量产效果，确保双方沟通顺畅，大幅减少修改成本。一旦发现需求难以短期实现或画面质量不足，团队可迅速反馈至产品端，灵活调整策略。

“因此，当设计和开发的壁垒被打破后，我们可以得到前所未有的视觉效果和用户体验。”

李逸飞｜凯朴硕科技(CapsuleTech)  3D开发负责人

以下为演讲内容整理：

3D HMI 量产交付之路

3D HMI行业正迅猛崛起，从2021年北美车企的初步尝试，到如今各大厂商纷纷融入3D元素，其发展趋势已不可阻挡。

凯朴硕科技(CapsuleTech)早在2022年便洞察到HMI向3D转型的趋势，我们迅速布局研发，并于2021年为高合HiPhi Z项目成功实现基于8155平台的虚幻引擎HMI量产。Hiphi Z项目量产已逾一年，其HMI的复杂性和前瞻性在行业内仍领先。

HiPhi Z项目自立项之初便以游戏化体验为核心，通过技术架构创新，实现了一镜到底的流畅体验。我们突破了传统开发流程，采用虚幻引擎整合ADAS、APA等功能，使用户能在车内无缝切换至内饰、ADAS或电池管理，享受沉浸式交互。

HiPhi Z拥有目前量产车机中最丰富、最复杂的模型，全车内外饰模型高达88万面，不仅满足美学需求，更实现了与实车信号的联动调整。其矩阵大灯和氛围灯均有精细展示，尤其是三角形矩阵大灯，我们为其定制了三套主题，每套主题的流水动效等都精准复刻。

图源：演讲嘉宾素材

值得一提的是，HiPhi Z在8155芯片上实现了流畅的车机系统运行，全场景（包括ADAS、APA等耗能场景）均能达到60 FPS满帧运行。在后期移植到8295平台后，实现全车机120fps的稳定运行。

HiPhi Z项目的成功，为3D开发提供了宝贵经验。接下来，我将分享如何从0到1实现此类项目开发。

3D整体开发流程

在3D开发领域，开发流程与2D截然不同。传统的2D开发遵循“瀑布式”流程，从市场营销或产品部门获取需求，再传递给设计部门，最后由开发团队实现。这种流程耗时较长，产品落地周期数月之久，设计人员和产品人员需耐心等待。

相比之下，3D开发强调设计与开发间的无缝合作。设计师利用3D工具精准还原设计意图，开发人员则借助3D引擎完美呈现设计效果。设计师甚至可直接参与开发过程，实时调整量产效果，确保双方沟通顺畅，大幅减少修改成本。一旦发现需求难以短期实现或画面质量不足，团队可迅速反馈至产品端，灵活调整策略。

模型处理环节

在了解整体流程后，我们深入探讨各开发步骤。3D开发的首要任务是模型处理，模型作为画面基石，其质量直接影响渲染效果。若模型处理不当，后期可能出现光影不自然、边缘锯齿等问题。为追求最佳效果，我们从数百万面的工业模型出发，逐步优化至移动端流畅运行的状态。

至于模型面数，并无固定标准。不同车型需求各异，需通过实际测试确定。以HiPhi Z为例，其车模高达88万面，但仍能在8155芯片上实现60 FPS流畅运行，证明合适的优化可平衡高面数与流畅性。

以轮毂为例，其复杂轮廓要求我们为每个轮毂分配2.5万面的模型预算。虽然这在其他项目中可能相当于整车的模型预算，但设计团队坚持保留轮毂细节，与开发团队紧密合作，经过测试与协调，最终在确保性能影响可接受的前提下，保留了这一精致轮毂于量产模型中。

图源：演讲嘉宾素材

模型处理完成后，下一步便是为模型增添材质。在3D引擎中，材质与着色器紧密相关，着色器是一系列指令，指导GPU如何渲染画面。着色器的实现方式灵活多样，可以通过连线方式或纯代码方式实现，这使得shader编写成为一项富有创造性的工作。我们通过精心编写的shader，不仅实现了画面表现的多样性，还在后期进行了大量优化，确保在不损失画质的前提下，大幅提升运算效率。

以车门为例，我们运用了一种独特的shader技巧——Vertex Color，通过这一节点将车门分区，实现单一shader表现多种材质的效果，从而节省了计算资源。

材质处理完毕后，接下来是打光环节。光影对于展现车身质感至关重要，合适的打光能让车身线条更加流畅。在移动端，光源主要分为静态光和动态光两种。静态光一旦放置便不可更改，而动态光则可在运行时调整其范围和位置。然而，动态光的使用需慎重，因其对性能的影响较大。在车载设备算力有限的情况下，建议优先使用静态光。

图源：演讲嘉宾素材

若需在静态光条件下实现动态光照切换，我们建议分别制作白天和晚上的光照版本，并通过程序进行切换。特别是晚上的打光，对打光师的技术要求极高。在昏暗的夜晚，需巧妙添加人造光源以凸显车身质感，同时保持夜晚的氛围。这一过程需反复测试和调整，每辆车的打光都是独一无二的。

当材质和模型处理完毕后，便可进入特效制作阶段。特效的添加需谨慎，虽能提升视觉效果，但也可能对性能造成较大影响。内饰场景是车机系统中渲染最复杂的部分，涉及空调粒子特效、内饰模型、实车联动以及氛围灯等。我们为氛围灯编写了复杂的shader，以确保其交互性和可编程性。为确保3D展示模型与实车效果一致，并在此复杂场景下保持60 FPS的流畅运行，我们投入了大量时间和精力进行优化。

代码实现环节

美术环节完成后，接下来便是代码实现部分。

需要强调的是，美术与3D开发代码并非孤立环节，而是需要紧密合作的。以座椅动态调节为例，美术人员需在座椅模型上预设锚点，供开发人员以之为中心进行旋转和位移操作，这样方能实现功能的完整展现。

图源：演讲嘉宾素材

另一个显著例子是运镜。HiPhi Z以其独特的“一镜到底”效果著称，涉及数十个机位，对机位管理和运镜走向的要求极为严格。运镜融合了技术与艺术的精髓，难以仅凭文字准确描述所需的运镜感。为此，我们让开发团队构建运镜系统，并将相关美学参数暴露出来，使设计师能直接上手调节。设计师可在系统中填入所需的焦段、位置、光圈等信息，从而精准控制运镜走向。这种方式不仅减少了沟通成本，还大幅缩短了修改时间。

代码完成后，优化工作随之展开。优化需明确性能瓶颈所在，我们借助一系列工具来识别问题。例如，使用ADB和 Snapdragon Profile工具可查看CPU、GPU内存占用情况，监控CPU频率，甚至实现CPU锁频功能，确保数据对比的准确性。此外，RenderDoc工具能够分离渲染画面的各个通道，为美术优化提供指导。

通过项目内部和美术资源的优化，我们实现了显著的性能提升。以Hiphi Z项目为例，从初版到量产版，资源占用量大幅下降，内存减半，显存减少至原来的三分之一，材质更是减少至五分之一。然而，当性能优化到一定程度后，可能会遭遇平台期，此时需考虑在引擎层面进行修改。

例如，3D引擎原本是为游戏开发者设计的，因此某些功能和模块可能并不适用于车机环境。我们可以根据需求裁剪不必要的模块，如AI和Navigation模块。此外，针对车机特点，我们调整了线程管理机制，优化休眠和触发机制，减少无用线程在后台的运行。

基于Unreal 4.27引擎的public release版本，我们进行了优化对比。结果显示，优化后的版本在CPU占用量和包体大小方面均实现了显著减少，分别为原来的三分之一和一半。这充分证明了优化工作的重要性和有效性。

有些主机厂或友商在尝试使用引擎时可能遇到性能问题，这往往是因为引擎未经充分优化，未能发挥其潜力。因此，我们建议如有引擎优化需求，可使用我们经过优化的引擎进行测试，以获得更客观、更具量产参考性的数据。毕竟，这一引擎在HiPhi Z项目中已经得到了充分验证。

整个3D开发流程已大致梳理完毕，若从宏观视角审视，这一流程与敏捷开发颇为相似。始于用户故事，经产品需求梳理，至规划会议定调。规划会议至关重要，产品开发与设计团队需齐聚一堂，共商需求、协调合作。需求明确后，随即进入联合设计与开发阶段，共创Demo雏形。

接下来是各类测试环节，包括单元测试和功能测试等，确保产品质量。最终，通过验收测试，一个sprint周期便告结束。在团队磨合良好的情况下，我们甚至能在一周内完成一个sprint，迅速获得可交互的准量产Demo。这一Demo在对接产品需求和向上级汇报时，均能直观高效地展现成果，并获得中肯反馈。获得反馈后，我们将其与预期比对，若有出入则重启sprint，若相符则进入后端集成阶段。

关于架构，或许有人感兴趣。在此简要说明，我们的3D引擎位于整体架构的App Engine层，与各级Service协同工作。上层APP层则负责车控、车设应用及音乐等功能的展示，通过开窗口形式调用下层服务。

开发告一段落后，测试与集成完成，但挑战仍未结束。Bug时常以各种形式出现，尤其是已集成至系统的Bug，因包体精简和符号去除，报错信息常为乱码或内存地址，需借助工具反向编译定位问题。

总结

回顾HiPhi Z项目，我们庆幸能参与如此高创新度的项目。作为开发供应商，我们深感未来需更深入地融合设计与开发。因此，我们已在其他项目中尝试让设计师与开发团队从头开始紧密合作，以期呈现更出色的效果。

图源：演讲嘉宾素材

展示的另一项目尝试中，当2D设计、开发与3D真正融合时，我们获得了前所未有的设计效果和用户体验。2D与3D元素和谐共存，即便更换3D场景，2D元素仍能与之和谐对应。在3D场景下，我们更尝试大胆的场景假设，如ADAS与导航地图的融合，虽国内数据敏感，但国外已有实践，这为我们提供了品牌差异化的新方向。

图源：演讲嘉宾素材

即便在音乐等以2D元素为主的领域，加入少许3D特效也能显著提升原有质感。因此，好的3D不只是复杂模型和转场，它也有可能是对一个原本就很精美的2D元素的点缀和提升。

由此可见，3D HMI的未来仍有无限可能。期待和业内人士携手合作，一起打造出更优秀，更智能，更有价值的座舱体验。

（以上内容来自凯朴硕科技(CapsuleTech)  3D开发负责人李逸飞于2024年3月15日在2024第四届中国汽车人机交互创新大会发表的《从0到1：3D HMI 量产交付之路》主题演讲。）