ai/cosmos3-super

Cosmos3-Super 镜像说明

镜像概述

Cosmos3-Super是NVIDIA Cosmos物理AI世界基础模型平台的核心组件，基于混合Transformer（MoT）架构，拥有640亿可训练参数，遵循OpenMDW1.1许可证，支持商用与非商用场景。该模型旨在帮助机器理解、模拟和交互物理世界，加速物理AI应用开发。

核心功能

• 多模态处理: 支持文本、图像、视频（含/不含音频）、动作轨迹输入，生成连贯的文本、图像、视频、音频及动作指令。
• 跨实体适配: 兼容多种设备（如Franka Panda机械臂、自动驾驶车辆、Agibot等）的动作生成需求。
• 高效生成机制: 结合自回归Transformer（离散token生成）和扩散Transformer（连续多模态生成），优化不同模态的生成效率。

使用场景

• 机器人技术: 机械臂操控、机器人动作规划与控制。
• 自动驾驶: 环境感知、动作预测与决策。
• 智能空间: 工业/工厂场景的智能监控与自动化控制。
• 物理AI研究: 世界理解、模拟、未来预测及具身策略学习。

配置说明

硬件要求

• NVIDIA Ampere、Blackwell或Hopper架构GPU。

软件环境

• 操作系统: Linux（未测试其他系统）。
• 运行时引擎: PyTorch、vLLM-Omni、Hugging Face Diffusers、SGLang。
• 精度支持: 仅BF16精度（FP4/FP8/FP16未正式支持）。

部署示例

Docker拉取镜像

bash
docker pull docker.xuanyuan.run/vllm/vllm-omni:cosmos3

vLLM-Omni服务启动（8xH200/H100/A100）

bash
vllm serve nvidia/Cosmos3-Super \
  --omni \
  --host 0.0.0.0 \
  --port 8000 \
  --cfg-parallel-size 2 \
  --ulysses-degree 4 \
  --use-hsdp \
  --hsdp-shard-size 8 \
  --init-timeout 1800

图像转视频生成示例

python
import json
import mimetypes
from pathlib import Path
import requests

# 读取提示文件
json_prompt = json.load(open("assets/example_i2v_prompt.json"))
negative_prompt = json.load(open("assets/negative_prompt.json"))

# 构建请求
url = "http://localhost:8000/v1/videos/sync"
image_path = Path("assets/example_i2v_input.jpg")
mime_type = mimetypes.guess_type(image_path)[0] or "image/png"
data = {
    "prompt": json.dumps(json_prompt),
    "negative_prompt": json.dumps(negative_prompt),
    "size": "1280x720",
    "num_frames": "189",
    "fps": "24",
    "num_inference_steps": "35",
    "guidance_scale": "6.0",
    "seed": "17"
}

# 发送请求并保存结果
with image_path.open("rb") as image_file:
    files = {"input_reference": (image_path.name, image_file, mime_type)}
    response = requests.post(url, data=data, files=files, headers={"Accept": "video/mp4"})
    response.raise_for_status()

output_path = Path("/tmp/cosmos3_super_i2v.mp4")
output_path.write_bytes(response.content)
print(f"视频已保存至 {output_path}")