意法半导体和Leopard Imaging携手NVIDIA Jetson推出多传感器模块 加速机器人视觉技术发展

盖世汽车讯 3月16日，意法半导体（STMicroelectronics）和Leopard Imaging®联合推出一款面向人形机器人和其他先进机器人系统的多模态一体化视觉模块。该模块融合了意法半导体的成像技术、3D场景映射和运动传感技术，并采用NVIDIA Holoscan传感器桥接技术，可与NVIDIA Jetson和NVIDIA Isaac开放式机器人开发平台原生集成，从而在人形机器人的尺寸、重量和功耗限制范围内，简化并加速视觉系统的设计。

图片来源：意法半导体

“人形机器人技术正从研究项目和演示阶段走向实际应用，为制造和汽车工厂、物流和仓储、零售和客户服务等众多领域提供功能强大的新型机器，”意法半导体模拟功率MEMS和传感器市场营销与应用副总裁Marco Angelici表示。“我们与Leopard Imaging的合作，将市场领先的ST传感器和执行器无缝集成到NVIDIA机器人生态系统中，从而加速具有类人感知能力的物理AI应用的部署。”

“直接在生态系统中使用ST传感器和执行器，使我们能够标准化并简化HSB接口上人形机器人视觉的数据采集和记录，”Leopard Imaging首席执行官Bill Pu表示。“机器人制造商可以使用我们的多传感器视觉模块和Isaac工具来加速学习，并快速弥合‘仿真到实际’的差距。”

这款全新模块由NVIDIA Holoscan传感器桥接器驱动，可通过以太网与NVIDIA Jetson无缝集成，实现实时传感器数据采集，并可与NVIDIA Isaac开放式机器人开发平台无缝对接。该平台为开发者提供开放的AI模型、仿真框架和库。全新模块包含构建系统和应用程序编程接口（API）、专为移动机器人优化的AI算法、示例应用程序、域随机化功能以及包含传感器模型的仿真环境。

作为NVIDIA机器人和边缘AI领域的重要合作伙伴，ST持续将其传感器、驱动器、执行器、控制器和开发工具集成到NVIDIA机器人生态系统中，其中包括高保真模型和概念验证模块。

技术信息

Leopard Imaging Systems视觉模块包含：

用于视觉传感的ST VB1940车规级RGB-IR 510万像素图像传感器，支持卷帘快门和全局快门模式。ST还发布了面向大众市场和工业市场的V**943版本，该版本属于ST BrightSense产品系列，提供单色和RGB-IR两种模式，并有芯片级和封装级两种选择。

用于运动传感的LSM6DSV16X六轴惯性测量单元（IMU）集成了ST机器学习核心（MLC），支持边缘人工智能、低功耗传感器融合（SFLP）和用于用户界面检测的Qvar静电传感技术。

对于三维深度感知，ST FlightSense产品系列中的VL53L9CX dToF一体化激光雷达模块可提供高达9米的精确测距，实现三维深度感知。该模块具有54 x 42个区域（近2300个区域）的分辨率，结合55°x 42°的宽视场角（提供1°的角度分辨率），能够以高达100帧/秒的速度进行近距离和远距离测量以及小物体检测。