ai/mistral-small4

Mistral Small 4

Mistral Small 4是一款功能强大的混合模型，既能作为通用指令模型，也能作为推理模型。它将三大模型家族——Instruct、Reasoning（前称Magistral）和Devstral的能力统一到单一模型中。

该模型拥有1190亿参数，采用稀疏混合专家架构，每token仅激活65亿参数，在提供卓越性能的同时保持了出色的效率。模型具备多模态能力，可接受文本和图像输入并生成文本输出，支持高达100万token的上下文窗口。

在延迟优化配置下，Mistral Small 4实现了40%的端到端完成时间 reduction；在吞吐量优化配置下，与Mistral Small 3相比，每秒可处理3倍以上请求。模型提供灵活的推理模式——用户可在快速即时回复模式和深度推理模式之间切换，以便在需要时通过测试时计算提升性能。

特性

使用Docker Model Runner运行模型

bash
docker model run mistral-small4

更多信息，请查看Docker Model Runner文档。

基准测试

Mistral Small 4支持每个请求的reasoning_effort参数，允许用户在快速响应（reasoning_effort="none"）和深度逐步推理（reasoning_effort="high"）之间选择。

内部模型比较

!内部基准测试比较

推理模式性能

!推理基准测试比较

外部模型比较

启用推理功能的Mistral Small 4取得了具有竞争力的分数，在多个基准测试中匹配或超越GPT-OSS 120B，同时生成的输出显著更短。在AA LCR上，Mistral Small 4仅用1.6K字符就获得0.72分，而Qwen模型需要3.5-4倍的输出量（5.8-6.1K字符）才能达到相当性能。这种效率降低了延迟、推理成本，并改善了用户体验。

AA LCR（LiveCodeBench推理）

!LCR基准测试

LiveCodeBench

!LiveCodeBench结果

AIME 2025

!AIME25基准测试

关键特性

• 双模式操作：根据任务复杂度在快速即时回复模式和推理模式之间切换，以获得最佳性能
• 视觉能力：除文本外，还能分析图像并基于视觉内容提供见解
• 多语言支持：支持多种语言，包括英语、法语、西班牙语、德语、意大利语、葡萄牙语、荷兰语、中文、日语、韩语和阿拉伯语
• 强系统提示遵循：出色支持遵循系统提示和指令
• 智能体能力：具备一流的智能体能力，支持原生函数调用和JSON输出
• 大上下文窗口：支持高达100万token的上下文
• 开放许可证：Apache 2.0许可证，适用于商业和非商业用途

使用场景

Mistral Small 4适用于广泛的应用场景：

• 通用聊天助手：具有强指令遵循能力的对话AI
• 文档解析与提取：用于数据提取和分析的多模态理解
• 编码与SWE自动化：开发辅助和代码库探索
• 研究任务：利用数学和研究能力进行复杂分析
• 智能体工作流：构建具有工具调用能力的自主智能体
• 自定义应用：适合微调与专业化

注意事项

• 由于模型具有1190亿参数，高效推理需要适当的硬件支持
• 为在生产环境中获得最佳性能，建议使用Mistral AI API或针对大型MoE模型优化的平台
• 推理模式（reasoning_effort="high"）会生成包含明确思考步骤的较长输出，可能会影响需要即时响应的应用的延迟
• 模型的知识截止日期为2024年11月1日，因此可能不包含该日期之后事件的信息

链接

• [***]
• [***]

生成工具

此模型卡片由https://github.com/docker/cagent-action%E8%87%AA%E5%8A%A8%E7%94%9F%E6%88%90%E3%80%82 想了解更多关于Docker Model Runner的信息？查看项目仓库：https://github.com/docker/model-runner%E3%80%82