
ai/smollm2!logo
SmolLM2-360M 是一款拥有 3.6 亿参数的紧凑型语言模型,设计用于在设备端高效运行,同时执行广泛的语言任务。它在 4 万亿 tokens 的多样化数据集(包括 FineWeb-Edu、DCLM、The Stack 以及新整理的过滤数据源)上训练而成,在指令遵循、知识掌握和推理能力方面表现出色。指令版本通过在公共和专有数据集混合集上进行监督微调(SFT)开发,随后使用 UltraFeedback 进行直接偏好优化(DPO)。
SmolLM2 设计用于:
| 属性 | 详情 |
|---|---|
| 提供商 | Hugging Face |
| 架构 | Llama2 |
| 数据截止日期 | 2024年6月 |
| 支持语言 | 英语 |
| 工具调用 | ✅ |
| 输入模态 | 文本 |
| 输出模态 | 文本 |
| 许可证 | Apache 2.0 |
| 模型变体 | 参数 | 量化方式 | 上下文窗口 | 显存¹ | 大小 |
|---|---|---|---|---|---|
ai/smollm2:latestai/smollm2:360M-Q4_K_M | 3.6亿 | IQ2_XXS/Q4_K_M | 8K tokens | 0.63 GiB | 256.35 MB |
ai/smollm2:135M-Q4_0 | 1.35亿 | Q4_0 | 8K tokens | 0.35 GiB | 85.77 MB |
ai/smollm2:135M-Q4_K_M | 1.35亿 | IQ2_XXS/Q4_K_M | 8K tokens | 0.36 GiB | 98.87 MB |
ai/smollm2:135M-F16 | 1.35亿 | F16 | 8K tokens | 0.51 GiB | 256.63 MB |
ai/smollm2:135M-Q2_K | 1.35亿 | Q2_K | 8K tokens | 0.34 GiB | 82.41 MB |
ai/smollm2:360M-Q4_0 | 3.6亿 | Q4_0 | 8K tokens | 0.59 GiB | 216.80 MB |
ai/smollm2:360M-Q4_K_M | 3.6亿 | IQ2_XXS/Q4_K_M | 8K tokens | 0.63 GiB | 256.35 MB |
ai/smollm2:360M-F16 | 3.6亿 | F16 | 8K tokens | 1.06 GiB | 690.24 MB |
¹: 显存基于模型特性估算。
latest→360M-Q4_K_M
首先,拉取模型:
bashdocker model pull ai/smollm2
然后运行模型:
bashdocker model run ai/smollm2
有关Docker Model Runner的更多信息,请查阅文档。
| 类别 | 基准测试 | 得分 |
|---|---|---|
| 推理 | HellaSwag | 54.5 |
| 科学 | OpenBookQA | 37.4 |
| ARC | 53.0 | |
| 推理 | PIQA | 71.7 |
| CommonsenseQA | 38.0 | |
| Winogrande | 52.5 | |
| 热门综合基准测试 | MMLU (完形填空) | 35.8 |
| TriviaQA (保留集) | 16.9 | |
| 数学 | GSM8K (5次示例) | 3.2 |






manifest unknown 错误
TLS 证书验证失败
DNS 解析超时
410 错误:版本过低
402 错误:流量耗尽
身份认证失败错误
429 限流错误
凭证保存错误
来自真实用户的反馈,见证轩辕镜像的优质服务