为旌科技：车规软件架构及工具链对BEV+Transformer的支持

为旌科技成立于2020年8月，是国内顶尖的集成电路设计企业，拥有强大的图像处理能力和高能效的人工智能核心，能够提供优质的图像质量，并支撑复杂的AI计算场景覆盖智慧视觉和智能驾驶领域，全面支持客户在不同细分领域的芯片选型。

2024年4月17日，在第二届汽车人工智能大会上，上海为旌科技副总裁&联合创始人张晓峰谈到，在智能驾驶方面，已推出为旌御行系列行泊一体域控芯片VS919、VS919L、VS909，以高度集成、高性能、低功耗等特点为客户提供单芯片智能驾驶解决方案。产品内部集成ASIL-D级安全岛，同时提供整体的autosar解决方案。通过自研ISP支持高动态、全域降噪等需求，满足低光、强光及各种气象条件下图像还原，降低机器推理难度；自研高效能NPU和工具链，采用近存计算、乱序执行、多队列、多维度融合等先进技术，得到传统GPU计算数倍的有效算力，提供高质量解决方案的同时，降低了用户整体系统成本、研发成本和研发周期。 

张晓峰 | 上海为旌科技副总裁&联合创始人

以下为演讲内容整理：

公司发展历程

为旌是一家专注于芯片研发与制造的企业，在座的嘉宾多为我们的上下游合作伙伴或业界同仁。自2020年8月成立以来，我们始终致力于技术创新与产品研发。2021年，我们成功启动了首个智慧视觉芯片项目，2022年实现了流片并一版成功，并于年底获得了首个客户订单，这标志着我们初步在市场中取得了认可。 

图源：为旌科技

同年，我们进一步拓展了产品线，推出了智能驾驶芯片VS9系列。在研发过程中，我们同步开展了车规、以及ISO26262功能安全体系的建设工作，以确保产品符合行业标准。首颗车规芯片回片后，我们立即启动了AEC-Q100认证流程，并于2022年年底完成了某车企方案商的design in。

2023年，我们在北京隆重发布了智慧视觉旌海山系列芯片，其图像质量达到了业内领先水平。在智能驾驶领域，我们于2023年7月份通过了ISO26262体系认证，并在11月份成功获得了首颗车规芯片的AEC-Q100认证。同年12月，我们发布了为旌御行VS919系列芯片，并在本周一获得了VS919系列芯片的ISO26262功能安全产品ASIL-D认证，这进一步巩固了我们在行业内的领先地位。

VS919：国内首颗极致性价比的单芯片行泊一体

VS919芯片作为我们主打产品，以其极致性价比和行泊一体方案受到了市场的广泛关注。该芯片集成了满足ASIL-D等级的安全岛MCU，拥有8核A55、4核R5F以及两个支持96G算力的DSP。此外，我们还自研了24T算力的NPU，并对Transformer进行了加速处理。双核GPU的算力高达80G，支持3D渲染，确保了强大的图像处理能力。

在接入能力方面，VS919芯片同样表现出色，总接入能力达到3200万像素，可支持多达16路200万像素的输入，同时兼容12 CAN-FD以及其他常用外设接口如PCIE、USB等。

值得一提的是，我们还自研了宽动态范围达到140dB的为旌遥光ISP，有效解决了车载视觉系统在复杂环境下的可见性问题。此外，智能编码模块支持H.264、H.265等多种编码格式，具备4K@120fps的编解码能力，满足了高清视频处理的需求。

关于VS919单芯片行泊一体域控方案，我们采用了先进的传感器技术，支持5R7V12U等多种传感器接入方式。通过can接口接入5路毫米波雷达，通过SPI、GPIO接口接入12路超声波雷达，实现了全方位的环境感知。同时，我们还提供了丰富的车载以太网接口，支持与其他车载设备的连接与通信。

在软件方面，我们搭建了符合ISO 26262：2018 ASIL-D标准的嵌入式软件开发流程，并采用V模型覆盖整个设计和测试过程。我们定义了严格的编译规范、设计方法和验证标准，并提供了一套完整的满足ASIL-D等级的开发工具链。这些措施确保了软件开发的高效性和可靠性。

此外，我们还对车载软件部署进行了深入研究，提出了基于硬件算力单元的软件架构方案。我们主要在大核上部署SDK，并对接三方中间件，为客户提供了灵活的算法部署空间。同时，我们注重安全岛的建设，提供了ASIL-D等级的安全岛以及相应的操作系统和中间件支持。

在整体软件架构方面，我们实现了从AI算法到APP的全方位覆盖，并整合了雷达、毫米波等多种传感器数据。通过中间件实现通信管理、时间同步等功能，并通过硬件以太网支持DDS等通信协议。我们为客户提供了一系列软件库和工具，包括媒体处理、AI部署、DSP API以及图形渲染等方面的支持。

为旌科技的实践探索

目前，我们在MCU中内置了ASIL-D级别的安全岛，并提供了相应的API和CP协议栈支持。客户可以通过这些接口轻松调用我们的应用和服务。我们期待与更多的AUTOSAR合作伙伴携手共进，实现共赢发展。

现将我们构建的数据通道图展示如下：图中左侧支持两个800万像素的通道，辅以四条200万像素的环视通道，并增设一条300万像素的后视通道。 

图源：为旌科技

在BEV模式下，四路环视信号需与前视信号保持同步时间戳，以便将相关信息传递至NPU进行BEV处理。若仅执行泊车功能，则需进行图像拼接。拼接算法部署于GPU上，，GPU执行拼接与渲染操作后，最终由VO负责显示。

值得一提的是，我们支持BEV+Transformer架构，提供高度灵活且可编程的算子支持。目前，我们已支持200多个算子硬件加速，支持混合精度量化等功能，能够有效支持Transformer模型的加速运算。

此外，我们还通过OBU模块支持可定义算子的实现。，经实际芯片评测，我们在CNN上的性能达到友商的1.5倍，而在SwinT上的性能更是友商的6倍。

我们的为旌星图工具链核心包含两部分：量化工具与精度评估工具通过工具链转化后，我们获得量化参数表与浮点部署模型。随后，利用编译器与性能评估工具进行优化处理，包括图优化、算子拆分与融合，以及与硬件直接相关的算子融合。最终将模型转换为硬件可识别的模型与指令，并通过我们的部署流程直接加载至芯片上。

图示为Yolov5在VS919芯片上的量化部署，芯片连接7个摄像头。显示器顶部为两个主摄，中间一排为环视摄像头，底部为后视摄像头。所有摄像头均朝向同一方向，充分展示7V的能力。在SwinT量化部署方面，我们首先进行模型准备与清洗工作，随后根据数据集类型选择相应的量化方法。经过模型量化后，生成中间量化文件，并利用我们的量化工具进行处理。最终，通过编译工具生成芯片可识别的文件，并通过部署流程加载至芯片上。目前，我们在性能上已达到竞品的6倍。 

图源：为旌科技

展望未来，我们坚信合作共赢是发展的关键。作为旌科技这家专注于芯片研发的公司，我们致力于打造好用、易用、耐用的芯片产品，在算力底座方面发挥我们的专长。我们期待与更多的合作伙伴，包括中间件合作伙伴与算法合作伙伴，共同打造国产智能驾驶方案。

（以上内容来自上海为旌科技副总裁&联合创始人张晓峰于2024年4月17日-18日在第二届汽车人工智能大会发表的《车规软件架构及工具链对BEV+Transformer的支持》主题演讲。）