安霸半导体：大算力结合VLM,助力端到端自动驾驶

2024年5月16日，在2024第二届吉利汽车技术论坛暨技术展上，安霸半导体技术（上海）有限公司研发副总裁孙鲁毅坦言，2023年国内新能源汽车销量为946.5 万辆，同比增长37.9%。从电动化普及到智能化加速的趋势下，自动驾驶技术取得突破性进展，城市NOA与高速NOA渗透率攀升，AEB加速落地。

孙鲁毅介绍到安霸作为AI芯片领域的佼佼者，在智能驾驶领域取得了显著成果。其研发的一系列SOC芯片满足不同算力需求，广泛应用于智能座舱和自动驾驶技术。特别是其CV72芯片，以低功耗和高处理能力为特色，支持多种算法运行和数据采集。此外，安霸积极探索4D雷达技术，提升智能驾驶感知能力。 

孙鲁毅 | 安霸半导体技术（上海）有限公司研发副总裁

以下为演讲内容整理：

电动化普及到智能化加速

在端到端的处理流程中，VLM作为视觉语言模型的一种，尤其值得关注。此外，端到端的概念亦属当前热门话题。安霸作为一家芯片公司，专注于研发从L2级ADAS到中高算力域控器等一系列的SOC芯片，以满足智能座舱及不同算力需求。接下来，我将介绍我们取得的一些成绩、产品系列及其特点。

当前，电动化已成为行业发展的显著趋势。从最新数据来看，国内电动汽车的出货量已过半，这一进展令人振奋。特别是在电动汽车市场，中国的汽车产业，尤其是吉利等品牌，已占据领先地位。吉利在EV的表现尤为突出，在全球范围内具有显著优势，尤其在出口方面，我们的技术、行业发展程度及智能化水平均处于领先地位。

回顾2023年，中国自动驾驶行业取得了突破性进展。城市NOA已有头部厂商尝试，并取得不俗成绩。这一进展部分归功于前几年L4级Robot Taxi市场的经验积累，尽管去年该市场有所收缩，但许多企业开始转型，更加关注实用性和消费者需求，以降低驾驶负担。城市NOA作为高阶产品，其应用前景广阔。而高速NOA则更接近实际突破，例如在节假日出行高峰期间，高速NOA的价值明显提升，这一点在中国市场尤为明显。此外，泊车技术也体现了中国特色，虽然海外市场需求不同，但在欧洲等停车位紧张的国家，泊车技术同样重要。 

图源：安霸半导体

关于AEB，它是真正的刚需。随着市场的发展，AEB的普及率逐渐提高，但也面临性能等问题的挑战。传统AEB品牌虽成熟且市场占有率大，但在关键指标上仍需提升。特别是在复杂交通环境下，传统AEB的表现尚需改进。安霸在AEB领域已有实际进展，更有量产级别的产品为客户提供便利。

在深入探讨当前自动驾驶技术及其发展趋势之际，我首先要提及的是，对于某一车型的功能开发，车厂需明确哪些功能应优先开发，哪些功能在宣传与资源投入上应作为重点，以及消费者如何评价这些功能以满足其真实需求。例如，在泊车辅助系统的宣传中，不同的品牌和技术可能各有侧重，因此，当采用特定术语描述某项功能时，可能会发现不同品牌之间的宣传并不完全一致。

展望市场未来，我们有理由相信，随着技术的发展和市场的成熟，各方最终会就自动驾驶功能的基本需求和高级功能达成某种共识，并对各项功能的期望值形成统一认识。回顾2021年特斯拉在宣布了采用BEV算法解决智驾技术上的突破，将传统自动驾驶技术提升到了准3D的层次，显著提高了多传感器融合和智能驾驶判断周围环境的准确性。特斯拉后续还率先推出了占用网络OCC等创新技术。在这一轮技术革新中，国内车厂和算法研究机构同样展现了惊人的速度，特别是在各种算法研究上，国内总体上表现出明显的优势。

在自动驾驶技术中，有两个热门词汇值得关注：端到端和大模型。端到端的设计理念旨在通过数据驱动来降低局部最优解，实现全局优化，非常适合解决复杂问题，减少人工规则设定。而大模型则主要解决更为复杂的问题，如基于场景的理解、复杂的路径规划等，这些问题通常需要综合更多的数据和时间来解决。

安霸ADAS全系解决方案

安霸是一家成立于2004年的半导体公司，专注于视频处理技术，包括视频编码等。自2017年起，安霸开始涉足前端AI智能芯片领域，并成功推出了第一代AI芯片。随后，在2018年，我们推出了10纳米的车规级芯片，并在市场上取得了显著的成果，目前已有多款车型采用了我们的芯片。此外，我们还在2022年推出了CV3-AD大算力车规芯片，它能够支持多路摄像头，并具有数百T甚至更高的算力。 

图源：安霸半导体

2023年1月，我们推出了CV72AQ的中算力5纳米车规芯片。这款芯片显著的特点是低功耗和高处理能力，它不仅支持视频采集、录像，还能有效运行包括BEV在内的多种算法。

安霸的CV72AQ在数据采集与闭环操作方面已与客户完成了完整的合作流程，不仅用于AI推理，还能在推理过程中利用剩余带宽进行数据采集和在线脱敏，直接输出脱敏后的数据。此外，我们还涉及了激光雷达等增值数据采集的合作项目。

在产品线方面，CV3-AD等系列芯片已进入量产阶段，我们在大算力芯片市场中占据重要地位。尽管行业内竞争激烈，我们的芯片凭借其广泛的覆盖范围脱颖而出。我们的产品系列丰富，从最早进入前装的行车记录仪开始，到与国际客户如上汽大众、丰田、日产等的合作，我们一直在不断拓展业务领域。在CV3-AD进展方面，我们已正式宣布与国际和国内的多家公司建立合作，预计未来将有更多车厂合作项目正式公布。

此外，我们还在探索4D毫米波雷达技术。2021年，我们收购了专注于4D雷达算法的公司傲酷，并与国内合作伙伴合作开发了一款4D毫米波雷达产品。目前，我们正在将4D雷达原始数据通过CV3-AD集中处理，实现中央域控成像雷达，使其不仅支持多功能的视觉感知，还能执行4D毫米波雷达的点云生成、滤波和跟踪等一系列算法。此技术的一大优势在于其高性能，有效解决了传统3D雷达在点云密度和角分辨率方面的不足，提高了对小目标，远距离目标，静止障碍物，和目标高度的检测能力。 

传统3D雷达在某些应用中存在显著限制，特别是在检测车辆是否能安全穿越天桥或涵洞时，因其无法精确测量物体高度，故难以做出准确的刹车决策。这种物理上的局限使得3D雷达在汽车领域的应用受到一定制约。然而，4D毫米波雷达与其他传感器相比，拥有明显的优势，例如其检测距离可达300至400米，远超过许多激光雷达，因为激光雷达在100米距离后便开始显著衰减。

特别是在恶劣天气条件下，如暴雨，激光雷达的效能会大幅降低，而毫米波雷达则能在全天候条件下稳定工作。此外，4D毫米波雷达成本较低，易于实现360度全景覆盖，提供全方位的检测能力。

升级到4D技术的毫米波雷达，通过先进的图像处理技术和点云生成技术，以及优化的算法进行点云滤波，显著提升了检测精度和清晰度。这使得毫米波雷达能够识别出更为细小的目标，如行人，为智能驾驶提供了更为可靠的技术支持。

我们已经在国内外实现了毫米波雷达的量产，并成功应用于多款车型中，包括瑞典和北美市场的电动车。这些应用案例证明了毫米波雷达在智能驾驶领域的广泛适用性和显著优势。我们期待未来能与更多汽车制造商合作，共同推动智能驾驶技术的发展。

安霸大算力芯片护航助力端到端自动驾驶

安霸端到端的大模型旨在解决先前难以处理的复杂问题。其核心在于VLM能够融合感知、场景理解和预测等功能于一个网络之中，并通过这一网络进行规划。未来，该模型还有可能涉足执行端，尽管目前这一领域的应用尚属少数，主要聚焦于感知、预测和规划，以及场景理解的尝试。这一发展的目标在于使芯片的功能更贴近人类的需求，尤其是在自动驾驶等领域，对芯片能力的要求日益提高，需要支持大型模型。

图源：安霸半导体

安霸的芯片在大语言模型中展现出显著优势，我们今日展示的demo即是一个名为CLIP的模型，其通过输入英文词汇，迅速在长视频中搜索出相关片段或图片。尽管这一demo在自动驾驶中的直接应用较为困难，但它展示了从文字到图像的一种可能性。此外，这一技术还适用于场景理解和仿真事件等领域，尤其在数据采集与闭环中，大语言模型能够生成新的内容，对现有数据进行组合与变换。

在行车场景中，传统的基于规则的系统在面对交通堵塞时警察的人工干预等复杂情况时显得力不从心。而更人性化的自动驾驶系统需要理解不同交通参与者的意图和行为。例如，在面对红灯和警察挥手示意前进的情况时，系统需要判断警察的身份和意图，从而作出合适的驾驶决策。

我们的产品线包括大算力AI域控芯片CV3-AD系列以及CV72AQ等中算力芯片，它们构成了全系列的产品。特别是CV3-AD685芯片，于2023年11月宣布可量产，面向L3/L4级自动驾驶应用。2024年初，我们发布了CV3-AD635和CV3-AD655两款芯片，分别适用于高速NOA和城市NOA场景。这些芯片均采用5纳米车规工艺制造，具备高效运行神经网络能力和低功耗特性。 

在探讨我们的芯片产品线时，无论是CV3-AD685还是CV3-AD655型号，它们都支持激光雷达的接入，并且与大算力GPU芯片方案相比，我们的激光雷达解决方案在CPU和内存带宽的占用上更为高效。这得益于我们特有的硬件加速技术，主要优化点云计算比如坐标变换等任务，使得整体处理效率显著提升。同时，在激光雷达数据处理方面, CV3-AD运行相同的网络算法，相比竞品平台能够节省内存带宽资源，和使用更少的AI算力，这为产品设计留下更多空间。

CV3-AD系列芯片的另一个显著特点是其视频录制功能。它能够同时接入并录制所有连接的摄像头，以30帧进行高质量视频录制。即使在全负荷录制11路视频时，也不会对AI性能产生明显影响。这一特性得益于我们独特的视频编码技术和芯片架构设计，使得对内存带宽消耗得到有效控制，不会冲击AI算法推理对内存带宽的占用，保证了AI性能的稳定性。

在数据驱动和模型训练方面，我们强调数据采集的重要性。通过全面采集摄像头数据，我们可以为模型训练提供丰富的素材，并通过数据闭环不断提升模型的准确度和效率。而655芯片的视频录制功能恰好满足了这一需求，使得数据采集变得更加便捷和高效。

在CV3-AD平台上部署的网络方案中，我们展示了实际运行效果。通过算力单元NVP的支持，AI算力占到了总资源的43%，而CPU占用率仅为1.41%，内存带宽占用率不到5%。这一数据证明了我们的平台在处理复杂网络时的强大潜力。同时，我们也展示了平台对多种主流网络的兼容性，包括BEVDET, DETR3D, PETR, BEVFormer等，这使得用户可以根据实际需求灵活选择网络架构。

最后，我们介绍N1和CV72两款芯片。虽然它们不属于CV3-AD系列，但与CV3-AD系列有着紧密的继承关系。CV72在汽车领域，则可以提供最富性价比的高速NOA解决方案，而且低功耗，已经有客户进入量产状态。CV72可用于本地运行3B个参数的大语言模型，也可用于视频采集，机器人小车等。 N1芯片则是我们针对机器人和AIOT行业推出的新产品，可高效运行大语言模型（LLM），最多可达34B个参数。 N1和CV72展现了我们在不同领域的技术实力和市场布局。这些新产品的研发将进一步丰富我们的产品线，并为用户带来更多选择和可能性。

（以上内容来自安霸半导体技术（上海）有限公司研发副总裁孙鲁毅于2024年5月16日在2024第二届吉利汽车技术论坛暨技术展发表的《大算力结合VLM,助力端到端自动驾驶》主题演讲。）