ai/nimble

镜像概述

本镜像封装了Bespoke-Nimble-9B-v3决策大模型的GGUF格式运行环境，基于llama.cpp框架实现轻量化本地部署，可通过标准API接口调用模型的决策推理能力，模型权重遵循CC BY-NC 4.0协议，仅支持非商业用途。

核心功能

• 提供轻量化的9B参数决策模型运行环境，无需复杂的硬件适配配置
• 兼容/v1/systemone标准API接口，可直接对接各类业务推理调用场景
• 基于GGUF量化格式优化，降低部署资源占用，支持普通消费级硬件运行

使用场景

• 本地轻量AI决策任务部署
• 离线环境下的推理服务搭建
• 非商用场景下的大模型决策能力验证与开发测试

配置说明

• 模型权重源自Bespoke-Nimble-9B-v3与Qwen3.5-9B开源项目，自动转换为GGUF格式
• 运行依赖llama.app服务组件，可直接通过命令行启动推理服务

Docker部署示例

docker run 方式

bash
docker run -p 8080:8080 docker.xuanyuan.run/ai/nimble llama serve -hf ggml-org/Bespoke-Nimble-9B-v3-GGUF

docker-compose 示例

yaml
version: '3'
services:
  nimble-ai:
    image: ai/nimble
    ports:
      - "8080:8080"
    command: llama serve -hf ggml-org/Bespoke-Nimble-9B-v3-GGUF
    restart: unless-stopped