返回行业动态
算力与基础设施

英伟达放出四个 16B 世界模型权重:11 路相机加激光雷达,单卡也能跑最小档

11 月 5 日英伟达在 Hugging Face 发布 Cosmos 3 家族四个开放权重检查点,均为 16B 可训练参数的 Cosmos 3 Nano 后训练版本,采用允许商用的 OpenMDW1.1 许可。两个面向自动驾驶数据生成与流式闭环评测,两个面向机器人双臂与仿真到真实渲染。BF16 生成需 58 GiB 显存,FP8 加持下可压到 31 GiB。英伟达自认模型对策略学习的支撑度仍待测量。

来源:himiao.ai:英伟达发布 Cosmos 3 四个开放权重世界模型(据 Hugging Face 官方博客)原标题:NVIDIA Releases Four Cosmos 3 World Models: 16B Open Weights for Driving and Robot Simulation查看原文
清晨的自动驾驶测试场,一辆布满传感器的测试车行驶在环形跑道上,车顶激光雷达射出青色扇形扫描光带,空间中漂浮彩色点云构成的城市轮廓

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

11 月 5 日,英伟达在 Hugging Face 博客宣布为 Cosmos 3 世界模型家族新增四个开放权重检查点,面向交互式世界模拟与多传感器、多视角驾驶场景生成。四个模型均为 Cosmos 3 Nano 的后训练示例,每个 16B 可训练参数,骨干为 Mixture-of-Transformers——用注意力把文本处理网络与视觉生成网络接起来。许可为 OpenMDW1.1,按其条款允许商业与非商业使用。

四个检查点各管一段

  • Cosmos3-Nano-Transfer-Auto:离线合成驾驶数据。最多 11 路相机视角(含鱼眼)同步生成视频,并与激光雷达点云联合输出;每路相机可用 World Scenario Map 设定道路布局与交通行为,外观由文本提示控制。30 fps,单段最长 400 帧,480p 或 720p。
  • Cosmos3-Nano-Sim-Auto:Transfer-Auto 的因果蒸馏流式版本,用少量去噪步就吐出一小段相机视频与激光雷达,面向长时交互 rollout 与闭环评测。
  • Cosmos3-Nano-Sim-Transfer:把物理仿真器的控制量与文本提示渲染成照片级 RGB 视频。深度、分割、边缘、模糊四路空间控制作为条件,物理状态仍留在仿真器里。
  • Cosmos3-Nano-Sim-Bimanual:由双臂机器人或相机动作预测下一帧,支持 YAM 与智元 AgiBot 本体,可由策略或人手摇杆驱动,混合动作示例用 59 个控制值。

英伟达一并公开了四阶段训练配方:双向适配、教师强制、一致性蒸馏、自强制。最后一段用模型自己生成的历史做训练,目的是压住长时生成的误差累积。后训练配方与推理权重一起放出,指向的是让开发者换到自己的传感器配置与机器人本体上。

部署门槛落在哪

运行需要 Linux、英伟达 GPU、Docker 与 NVIDIA Container Toolkit。Cosmos 3 Nano 生成在 BF16 下需 58 GiB 显存,FP8 下 44 GiB,FP8 加卸载可压到 31 GiB——也就是说最小档能落在单张工作站级显卡上,而不是必须整机架。技术报告里的演示数字是单张 GB300 上 480p 下 48.1 fps、166 毫秒延迟,属于特定硬件配置下的表现,不是通用承诺。

对企业意味着什么

世界模型的价值不在生成好看的车载画面,而在替代实车与实机采集:11 路相机同步加激光雷达,此前基本只在闭源系统里;现在有可商用的开放权重,意味着自动驾驶与机器人团队可以自建「按下动作、看下一秒会发生什么」的仿真数据源,把长尾场景的采集成本从路测小时数换成 GPU 小时数。

对国内团队还有一层现实意义:OpenMDW1.1 允许商用,但条款需逐条核对;模型对中文场景与本土交通规则的表现没有任何公开评测,直接套用到量产数据管线之前,需要先在自己的传感器配置上做后训练与一致性检查。

不确定之处

这篇博客是英伟达在 Hugging Face 托管的技术合作内容,尚无外部机构独立测量这四个检查点的画面质量;英伟达也未放出评测代码与误差条。更关键的是发布方自己写明:这些模型在多大程度上能忠实支撑策略学习与评测,仍待测量。换言之,它们现在是数据生成与场景扩增工具,还不能当作闭环训练的可信裁判。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。

英伟达开放 Cosmos 3 四个世界模型:16B 权重、11 路相机|北京拓实科技