Nvidia Cosmos 3发布，瞄准自动驾驶与机器人训练市场

盖世汽车讯 Nvidia向开发者开放了Cosmos 3，此举表明其更看重基础设施的带动效应，而非模型授权的收入。

Nvidia已推出Cosmos 3，这是一个面向物理AI的开放世界基础模型，基于混合专家变换器架构构建，将视觉推理、世界模拟和动作预测整合于单一系统之中。该模型旨在将物理AI的训练和评估周期从数月压缩至数天，可直接应用于自动驾驶汽车开发、机器人技术和视觉AI领域。

图片来源：英伟达

Cosmos 3将一个推理变换器与一个专家生成变换器配对，使其能够在生成视频和动作输出之前，理解物体交互、运动及时空关系。该模型基于Nvidia所称的全球最大的多模态物理AI数据集之一进行训练，涵盖文本、图像、视频、声音和动作轨迹。

此次发布还包括Cosmos联盟，这是Nvidia与Agile Robots、Black Forest Labs、Generalist、LTX、Runway和Skild AI新建立的一项合作，旨在共同推进开放世界模型的发展。理想汽车是在Cosmos平台上进行开发的自动驾驶企业之一，该平台现已包含覆盖自动驾驶、机器人技术和空间推理的全新数据集。

Nvidia创始人兼首席执行官黄仁勋在一份声明中表示：“得益于多模态推理语言、视觉和世界模型的突破，物理AI的大爆炸即将到来。Cosmos 3系列开放的先进全模态模型，为开发者构建能够在物理世界中感知、推理、规划和行动的机器人、自动驾驶汽车和视觉AI，提供了代际飞跃的能力。”

此事件的重要性在于：

• Cosmos 3是Nvidia本周发布的其他所有产品的基础支撑。 Alpamayo 2 Super、AlpaGym训练框架、OmniDreams场景生成——这些工具中的每一个都以Cosmos作为其底层世界模型基础。综合来看，台北GTC大会上的发布与其说是独立的产品发布，不如说是一个垂直整合的物理AI技术栈。

• 开源发布是战略布局，而非慷慨之举。 免费提供前沿基础模型，将缩短开发者在Nvidia（而非竞争对手）架构上进行开发的时间线。Cosmos联盟同时引入了机器人公司、视频生成实验室和AI开发者，进一步延伸了这一逻辑：物理AI生态系统中越多参与者标准化采用Cosmos，就越难在同等规模上构建有竞争力的替代方案。

• 汽车领域应用潜力巨大，但其更广泛的定位更为重要。 Cosmos 3同时定位于机器人、自动驾驶汽车和工业视觉AI领域。这一广度至关重要，意味着在Cosmos 3上进行训练的自动驾驶开发者，所依赖的数据集和架构也在通过机器人技术和仓储应用不断得到优化。这实际上意味着跨领域的训练数据规模，是任何单一领域的开发者都无法复制的。这是否能转化为实际道路性能上的显著提升，尚待验证，但从架构逻辑上看是合理的。