ai/cosmos3-nano

Cosmos3-Nano 镜像概述

Cosmos3-Nano是NVIDIA Cosmos平台下的轻量级全模态世界模型，基于混合Transformer（MoT）架构，支持从文本、图像、视频、音频及动作轨迹等多模态输入生成连贯的文本、图像、视频、音频和动作输出，为物理AI领域的研究与应用提供核心支撑。该模型支持商业与非商业用途，遵循OpenMDW1.1许可证。

核心功能

• 多模态生成: 从文本、图像、视频、音频、动作轨迹输入生成对应模态输出，覆盖世界理解、模拟、预测及动作推理场景。
• 推理能力: 支持文本、文本+图像、文本+视频输入的推理任务，输出包含思维链、坐标定位等结构化内容。
• 跨设备兼容: 适配多种机器人（如Franka机械臂）、自动驾驶车辆及智能设备的动作轨迹生成需求。

使用场景

• 机器人技术: 机械臂操控、自主导航等动作轨迹生成。
• 自动驾驶: 环境模拟、未来场景预测与决策支持。
• 智能空间: 工业/工厂环境监控、场景生成与分析。
• 学术研究: 物理AI世界模型、多模态生成算法的验证与优化。

配置说明

软件依赖

• 运行时引擎: PyTorch、vLLM-Omni、Hugging Face Diffusers、SGLang。
• 支持精度: 仅BF16（FP4/FP8/FP16未正式支持）。

硬件要求

• NVIDIA GPU架构: Ampere、Blackwell、Hopper。

操作系统

• Linux。

Docker部署示例

拉取镜像

bash
docker pull docker.xuanyuan.run/vllm/vllm-omni:cosmos3

启动推理服务（H200 GPU推荐配置）

bash
vllm serve nvidia/Cosmos3-Nano \
  --omni \
  --host 0.0.0.0 \
  --port 8000 \
  --init-timeout 1800

图像转视频生成示例

python
import json
import mimetypes
from pathlib import Path
import requests

# 读取JSON提示词与负向提示词
json_prompt = json.load(open("assets/example_i2v_prompt.json"))
negative_prompt = json.load(open("assets/negative_prompt.json"))

# 构建API请求
url = "http://localhost:8000/v1/videos/sync"
image_path = Path("assets/example_i2v_input.jpg")
mime_type = mimetypes.guess_type(image_path)[0] or "image/png"
data = {
    "prompt": json.dumps(json_prompt),
    "negative_prompt": json.dumps(negative_prompt),
    "size": "1280x720",
    "num_frames": "189",
    "fps": "24",
    "num_inference_steps": "35",
    "guidance_scale": "6.0",
    "max_sequence_length": "4096",
    "flow_shift": "10.0",
    "extra_params": json.dumps({
        "use_resolution_template": False,
        "use_duration_template": False,
        "guardrails": True,
    }),
    "seed": "1111",
}

# 发送请求并保存结果
with image_path.open("rb") as image_file:
    files = {"input_reference": (image_path.name, image_file, mime_type)}
    response = requests.post(url, data=data, files=files, headers={"Accept": "video/mp4"})
    response.raise_for_status()

output_path = Path("/tmp/cosmos3_nano_i2v.mp4")
output_path.write_bytes(response.content)
print(f"视频已保存至 {output_path}")