seed-oss

ai/seed-oss Docker Image

字节跳动Seed团队开发的开源大语言模型系列,具备强大的长上下文、推理、智能体和通用能力,以及开发者友好特性,基于12T tokens训练,在多个开源基准测试中表现优异,采用Unsloth的GGUF转换。

2 次收藏下载次数: 0状态:社区镜像维护者:Docker AI 官方镜像仓库类型:镜像最近更新:

Seed-OSS(Unsloth的GGUF版本)

镜像概述

Seed-OSS是字节跳动Seed团队开发的开源大语言模型系列,旨在提供强大的长上下文、推理、智能体和通用能力,以及多样化的开发者友好特性。尽管仅使用12T tokens进行训练,Seed-OSS在多个流行的开源基准测试中仍取得了优异性能。本镜像基于Unsloth的GGUF转换技术构建。

使用场景

  • 对话式AI:与用户进行对话,提供信息丰富且上下文相关的响应。
  • 推理任务:在逻辑推理和问题解决场景中表现出色。
  • 多智能体框架:促进多个AI智能体之间的交互,以完成复杂任务。

核心特性

属性详情
提供者字节跳动
架构seed_oss
训练截止日期2024年7月
工具调用✅
许可证Apache 2.0

可用模型变体

模型变体参数量化方式上下文窗口显存¹大小
ai/seed-oss:36B-UD-Q4_K_XL

ai/seed-oss:latest
36BMOSTLY_Q4_K_M524K tokens22.38 GiB20.51 GB
ai/seed-oss:36B-UD-IQ1_M36BMOSTLY_IQ1_M524K tokens10.42 GiB8.45 GB
ai/seed-oss:36B-UD-Q6_K_XL36BMOSTLY_Q6_K524K tokens31.15 GiB29.66 GB

¹:显存基于模型特性估算。

latest → 36B-UD-Q4_K_XL

使用方法

通过Docker Model Runner使用此AI模型:

bash
docker model run ai/seed-oss

相关链接

  • https://seed.bytedance.com/en/
  • https://huggingface.co/unsloth/Seed-OSS-36B-Instruct-GGUF
  • https://docs.unsloth.ai/basics/unsloth-dynamic-2.0-ggufs

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 seed-oss 镜像标签

docker model pull docker.xuanyuan.run/ai/seed-oss:<标签>

DockerHub 原生拉取命令

docker model pull ai/seed-oss:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告