mxxm/llama-cpp-gfx906

llama.cpp-gfx906

镜像概述和主要用途

为AMD gfx906架构GPU设计的最小化llama.cpp运行时镜像，提供轻量级部署环境，适用于本地大语言模型(LLM)部署、性能测试及命令行交互等场景。

核心功能和特性

• 最小化Ubuntu运行时环境（不含SDK）
• 针对目标GPU架构的ROCm运行时库
• 适用于目标GPU的rocBLAS Tensile内核
• 包含核心二进制工具：llama-server、llama-bench、llama-cli
• 采用多阶段构建并剥离冗余组件，实现最小化镜像体积

标签信息

使用方法

直接运行容器

通过以下命令启动容器，默认进入bash环境：

bash
docker run -it --device=/dev/kfd --device=/dev/dri --group-add docker.xuanyuan.run/video \
  -v /models:/models mxxm/llama.cpp-gfx906:rocm-633

在容器内可直接执行以下命令：

bash
# 启动llama-server服务（模型路径需替换为实际GGUF模型路径）
llama-server -m /models/model.gguf -ngl 99 --host 0.0.0.0 --port 8080

# 运行性能测试
llama-bench -m /models/model.gguf -ngl 99

# 启动命令行交互
llama-cli -m /models/model.gguf -ngl 99

Docker Compose配置

以下是使用docker-compose部署的示例配置：

yaml
services:
  llama:
    image: mxxm/llama.cpp-gfx906:rocm-633
    devices:
      - /dev/kfd
      - /dev/dri
    group_add:
      - video
    volumes:
      - /models:/models  # 本地模型目录挂载
    ports:
      - "8080:8080"  # 映射llama-server端口
    entrypoint: ["llama-server"]
    command: ["-m", "/models/model.gguf", "-ngl", "99", "--host", "0.0.0.0"]  # 启动参数
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:8080/health"]
      interval: 30s
      timeout: 5s
      retries: 3