llama-cpp-gfx906

mxxm/llama-cpp-gfx906 Docker 镜像

为AMD gfx906 GPU设计的最新原生llama.cpp最小化运行时镜像,提供轻量级部署环境及核心二进制工具。

3 次收藏下载次数: 0状态:社区镜像维护者:mxxm仓库类型:镜像最近更新:19 小时前
下载命令
点击查看

llama.cpp-gfx906

镜像概述和主要用途

为AMD gfx906架构GPU设计的最小化llama.cpp运行时镜像,提供轻量级部署环境,适用于本地大语言模型(LLM)部署、性能测试及命令行交互等场景。

核心功能和特性

  • 最小化Ubuntu运行时环境(不含SDK)
  • 针对目标GPU架构的ROCm运行时库
  • 适用于目标GPU的rocBLAS Tensile内核
  • 包含核心二进制工具:llama-server、llama-bench、llama-cli
  • 采用多阶段构建并剥离冗余组件,实现最小化镜像体积

标签信息

标签ROCm版本基础操作系统支持GPU
rocm-6336.3.3Ubuntu 20.04Radeon Instinct MI50、Radeon Instinct MI60、Radeon VII、Radeon Pro VII
rocm-7277.2.7Ubuntu 24.04Radeon Instinct MI50、Radeon Instinct MI60、Radeon VII、Radeon Pro VII

使用方法

直接运行容器

通过以下命令启动容器,默认进入bash环境:

bash
docker run -it --device=/dev/kfd --device=/dev/dri --group-add docker.xuanyuan.run/video \
  -v /models:/models mxxm/llama.cpp-gfx906:rocm-633

在容器内可直接执行以下命令:

bash
# 启动llama-server服务(模型路径需替换为实际GGUF模型路径)
llama-server -m /models/model.gguf -ngl 99 --host 0.0.0.0 --port 8080

# 运行性能测试
llama-bench -m /models/model.gguf -ngl 99

# 启动命令行交互
llama-cli -m /models/model.gguf -ngl 99

Docker Compose配置

以下是使用docker-compose部署的示例配置:

yaml
services:
  llama:
    image: mxxm/llama.cpp-gfx906:rocm-633
    devices:
      - /dev/kfd
      - /dev/dri
    group_add:
      - video
    volumes:
      - /models:/models  # 本地模型目录挂载
    ports:
      - "8080:8080"  # 映射llama-server端口
    entrypoint: ["llama-server"]
    command: ["-m", "/models/model.gguf", "-ngl", "99", "--host", "0.0.0.0"]  # 启动参数
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:8080/health"]
      interval: 30s
      timeout: 5s
      retries: 3

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表。

轩辕镜像加速拉取命令点我查看更多 llama-cpp-gfx906 镜像标签

docker pull docker.xuanyuan.run/mxxm/llama-cpp-gfx906:<标签>

DockerHub 原生拉取命令

docker pull mxxm/llama-cpp-gfx906:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持99.95% SLA 保障付费会员免广告