ai/devstral-small-2 Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

Devstral Small 2

Unsloth提供的GGUF版本

!logo

镜像概述和主要用途

Devstral是一款用于软件工程任务的代理式大型语言模型（LLM）。Devstral Small 2擅长使用工具探索代码库、编辑多个文件，支持软件工程代理的构建，在SWE-bench上实现了卓越性能。该模型为FP8精度的指令模型，经过微调以遵循指令，非常适合聊天、代理及基于指令的软件工程任务。

核心功能和特性

Devstral Small 2指令模型具备以下能力：

• 代理式编码：专为代理式编码任务设计，是软件工程代理的理想选择。
• 轻量级部署：仅240亿参数，可在单块RTX 4090或32GB RAM的Mac上运行，适合本地部署和设备端使用。
• Apache 2.0许可证：开源许可，允许商业和非商业用途的使用与修改。
• 256k上下文窗口：支持处理超长文本输入。

与Devstral Small 1.1相比的更新：

• 视觉能力：新增图像分析功能，可基于视觉内容提供见解（除文本外）。
• 性能提升：相比前代产品性能显著增强。
• 注意力Softmax温度：采用与Ministral 3相同的架构，使用Llama 4引入的rope-scaling技术及Scalable-Softmax注意力机制。
• 泛化能力增强：对多样化提示和编码环境的泛化能力提升。

使用场景和适用范围

适用于AI代码助手、代理式编码及各类软件工程任务，可在编码环境中利用高级AI能力实现复杂工具集成和深度代码库理解。

使用方法和配置说明

通过Docker Model Runner使用该AI模型

bash
docker model run devstral-small-2

相关链接

• Mistral AI公告
• Hugging Face GGUF