ai/mistral Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

Mistral 7B Instruct v0.2

!logo

一款快速强大的73亿参数模型，在推理、代码和数学任务中表现卓越。Mistral 7B是一个拥有73亿参数的强大语言模型，在包括推理、阅读理解和代码生成在内的广泛基准测试中优于Llama 2 13B。尽管体积更小，但它的性能可与更大规模的模型媲美，兼具高效性和多功能性。

主要用途

Mistral 7B旨在在广泛的通用自然语言处理任务中提供高质量响应，同时保持资源使用效率。此外，该模型经过微调以遵循指令，能够自然地执行任务和回答问题（基础模型不具备此能力）。

• 自动化代码生成：自动创建代码片段，减少手动编码工作，加速开发流程。
• 调试支持：识别代码错误并提供可操作的建议，简化调试过程。
• 文本摘要与分类：支持文本摘要、分类及文本/代码补全任务。
• 对话应用：使用多样化数据集微调，适用于对话交互场景。
• 知识检索：提供准确、详细的答案，增强信息检索能力。
• 数学准确性：可靠处理和解决复杂数学问题。
• 角色扮演与文本生成：为角色扮演和创意场景生成丰富的叙事文本。

模型特性

ⁱ: 估算值

可用模型变体

¹: 显存基于模型特性估算

latest → 7B-Q4_K_M

使用Docker Model Runner运行AI模型

首先，拉取模型：

bash
docker model pull ai/mistral

然后运行模型：

bash
docker model run ai/mistral

有关Docker Model Runner的更多信息，请查阅文档。

注意事项

• 最适合处理英文内容。
• 开箱即用表现良好，但可进一步微调优化。
• 使用适当的系统提示以获得更安全、更可控的输出。
• 如需使用指令微调功能，请用[INST]和[/INST]标签包裹提示词。首个指令必须以句首标记开始，后续指令则无需；助手的响应将自动以句尾标记结束。

基准性能

相关链接

• Mistral 7B
• Mistral 7B论文