dynafire/llama.cpp Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

llama.cpp (环境变量配置版) 镜像文档

镜像概述

本镜像基于llama.cpp构建，核心特点是将关键配置通过环境变量暴露，便于在RunPod等容器化平台上快速部署和灵活配置。llama.cpp是一个轻量级C/C++实现的LLaMA系列模型推理框架，支持CPU和GPU加速，本镜像进一步优化了配置方式，适合需要快速集成到容器化工作流的场景。

核心功能与特性

• 环境变量配置：关键参数（如模型路径、推理参数、端口设置等）通过环境变量暴露，无需修改代码即可调整配置
• RunPod兼容：针对RunPod平台的容器运行环境优化，支持平台特有的资源调度和网络配置
• 轻量级部署：基于llama.cpp的高效实现，资源占用低，支持多种硬件加速（CPU、CUDA、Metal等）
• 灵活模型支持：兼容LLaMA、LLaMA 2、GPTQ等多种模型格式，支持模型量化以降低资源消耗

使用场景与适用范围

• RunPod平台上的LLM推理服务部署
• 需要快速调整配置的模型测试与验证
• 资源受限环境下的轻量级模型部署
• 容器化环境中的LLM集成工作流

使用方法与配置说明

环境变量参数说明

Docker Run 部署示例

bash
docker run -d \
  -p 8080:8080 \
  -e MODEL_PATH="/models/llama-2-7b-chat.Q4_K_M.gguf" \
  -e CONTEXT_SIZE=4096 \
  -e N_THREADS=8 \
  -v /host/path/to/models:/models \
  --name llama-cpp-runpod \
  [镜像名称]

Docker Compose 配置示例

yaml
version: '3.8'
services:
  llama-cpp:
    image: [镜像名称]
    ports:
      - "8080:8080"
    environment:
      - MODEL_PATH=/models/llama-2-7b-chat.Q4_K_M.gguf
      - CONTEXT_SIZE=4096
      - N_THREADS=8
      - PORT=8080
    volumes:
      - /host/path/to/models:/models
    restart: unless-stopped

RunPod 部署说明

1. 在RunPod控制台创建新实例，选择本镜像
2. 配置资源规格（CPU/GPU内存、GPU型号等）
3. 在环境变量设置中填入所需参数（如MODEL_PATH、CONTEXT_SIZE等）
4. 挂载模型存储卷（可使用RunPod Volume或外部存储）
5. 启动实例，通过RunPod提供的端点访问推理服务

注意事项

• 模型文件需提前准备并挂载到容器内指定路径（通过MODEL_PATH环境变量指定）
• 推理性能受硬件配置（尤其是GPU显存）和模型量化级别影响，建议根据实际资源调整参数
• 首次启动时会加载模型，耗时取决于模型大小和硬件性能，请耐心等待服务就绪