mxxm/llama-cpp-gfx906 Docker 镜像
为AMD gfx906 GPU设计的最新原生llama.cpp最小化运行时镜像,提供轻量级部署环境及核心二进制工具。
3 次收藏下载次数: 0状态:社区镜像维护者:mxxm仓库类型:镜像最近更新:19 小时前
llama.cpp-gfx906
镜像概述和主要用途
为AMD gfx906架构GPU设计的最小化llama.cpp运行时镜像,提供轻量级部署环境,适用于本地大语言模型(LLM)部署、性能测试及命令行交互等场景。
核心功能和特性
- 最小化Ubuntu运行时环境(不含SDK)
- 针对目标GPU架构的ROCm运行时库
- 适用于目标GPU的rocBLAS Tensile内核
- 包含核心二进制工具:
llama-server、llama-bench、llama-cli - 采用多阶段构建并剥离冗余组件,实现最小化镜像体积
标签信息
| 标签 | ROCm版本 | 基础操作系统 | 支持GPU |
|---|---|---|---|
rocm-633 | 6.3.3 | Ubuntu 20.04 | Radeon Instinct MI50、Radeon Instinct MI60、Radeon VII、Radeon Pro VII |
rocm-727 | 7.2.7 | Ubuntu 24.04 | Radeon Instinct MI50、Radeon Instinct MI60、Radeon VII、Radeon Pro VII |
使用方法
直接运行容器
通过以下命令启动容器,默认进入bash环境:
bashdocker run -it --device=/dev/kfd --device=/dev/dri --group-add docker.xuanyuan.run/video \ -v /models:/models mxxm/llama.cpp-gfx906:rocm-633
在容器内可直接执行以下命令:
bash# 启动llama-server服务(模型路径需替换为实际GGUF模型路径) llama-server -m /models/model.gguf -ngl 99 --host 0.0.0.0 --port 8080 # 运行性能测试 llama-bench -m /models/model.gguf -ngl 99 # 启动命令行交互 llama-cli -m /models/model.gguf -ngl 99
Docker Compose配置
以下是使用docker-compose部署的示例配置:
yamlservices: llama: image: mxxm/llama.cpp-gfx906:rocm-633 devices: - /dev/kfd - /dev/dri group_add: - video volumes: - /models:/models # 本地模型目录挂载 ports: - "8080:8080" # 映射llama-server端口 entrypoint: ["llama-server"] command: ["-m", "/models/model.gguf", "-ngl", "99", "--host", "0.0.0.0"] # 启动参数 healthcheck: test: ["CMD", "curl", "-f", "http://localhost:8080/health"] interval: 30s timeout: 5s retries: 3
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表。
轩辕镜像加速拉取命令点我查看更多 llama-cpp-gfx906 镜像标签
docker pull docker.xuanyuan.run/mxxm/llama-cpp-gfx906:<标签>
DockerHub 原生拉取命令
docker pull mxxm/llama-cpp-gfx906:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务