字节跳动Seed团队开发的开源大语言模型系列,具备强大的长上下文、推理、智能体和通用能力,以及开发者友好特性,基于12T tokens训练,在多个开源基准测试中表现优异,采用Unsloth的GGUF转换。
Seed-OSS(Unsloth的GGUF版本)
镜像概述
Seed-OSS是字节跳动Seed团队开发的开源大语言模型系列,旨在提供强大的长上下文、推理、智能体和通用能力,以及多样化的开发者友好特性。尽管仅使用12T tokens进行训练,Seed-OSS在多个流行的开源基准测试中仍取得了优异性能。本镜像基于Unsloth的GGUF转换技术构建。
使用场景
- 对话式AI:与用户进行对话,提供信息丰富且上下文相关的响应。
- 推理任务:在逻辑推理和问题解决场景中表现出色。
- 多智能体框架:促进多个AI智能体之间的交互,以完成复杂任务。
核心特性
| 属性 | 详情 |
|---|---|
| 提供者 | 字节跳动 |
| 架构 | seed_oss |
| 训练截止日期 | 2024年7月 |
| 工具调用 | ✅ |
| 许可证 | Apache 2.0 |
可用模型变体
| 模型变体 | 参数 | 量化方式 | 上下文窗口 | 显存¹ | 大小 |
|---|---|---|---|---|---|
ai/seed-oss:36B-UD-Q4_K_XLai/seed-oss:latest | 36B | MOSTLY_Q4_K_M | 524K tokens | 22.38 GiB | 20.51 GB |
ai/seed-oss:36B-UD-IQ1_M | 36B | MOSTLY_IQ1_M | 524K tokens | 10.42 GiB | 8.45 GB |
ai/seed-oss:36B-UD-Q6_K_XL | 36B | MOSTLY_Q6_K | 524K tokens | 31.15 GiB | 29.66 GB |
¹:显存基于模型特性估算。
latest→36B-UD-Q4_K_XL
使用方法
通过Docker Model Runner使用此AI模型:
bashdocker model run ai/seed-oss
相关链接
- https://seed.bytedance.com/en/
- https://huggingface.co/unsloth/Seed-OSS-36B-Instruct-GGUF
- https://docs.unsloth.ai/basics/unsloth-dynamic-2.0-ggufs
ai 命名空间的其他可用镜像:
ai/qwen3
Qwen3 大语言模型,适合 AI 应用开发
ai/deepseek-r1-distill-llama
DeepSeek R1 Distill Llama,大语言模型
ai/qwen3-embedding
Docker 官方模型镜像,Qwen3 文本嵌入与重排序,适合 RAG、语义检索与向量化流水线
ai/qwen3-vl
Docker 官方 Qwen3 多模态(VL)模型镜像,适合图文理解、视觉问答与多模态应用
ai/qwen3-vllm
Docker 官方 Qwen3 与 vLLM 推理组合镜像,适合高吞吐文本生成与 OpenAI 兼容 API 服务
ai/qwen3-embedding-vllm
Docker 官方 Qwen3 Embedding + vLLM 推理镜像,适合高吞吐语义检索与 RAG 向量化服务
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 seed-oss 镜像标签
docker model pull docker.xuanyuan.run/ai/seed-oss:<标签>
DockerHub 原生拉取命令
docker model pull ai/seed-oss:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务