evilfreelancer/llama.cpp-rpc

llama.cpp RPC-server Docker镜像

https://github.com/EvilFreelancer/docker-llama.cpp-rpc%E6%89%98%E7%AE%A1%E4%BA%8EGitHub%E3%80%82

本项目基于https://github.com/ggerganov/llama.cpp%E6%9E%84%E5%BB%BA%EF%BC%8C%E4%BB%85%E7%BC%96%E8%AF%91%E4%BA%86https://github.com/ggerganov/llama.cpp/tree/master/examples/rpc%E6%9C%8D%E5%8A%A1%E5%99%A8%E5%8F%8A%E8%BF%90%E8%A1%8C%E5%9C%A8RPC%E5%AE%A2%E6%88%B7%E7%AB%AF%E6%A8%A1%E5%BC%8F%E7%9A%84%E8%BE%85%E5%8A%A9%E5%B7%A5%E5%85%B7%EF%BC%8C%E8%BF%99%E4%BA%9B%E5%B7%A5%E5%85%B7%E6%98%AF%E5%AE%9E%E7%8E%B0%E5%88%86%E5%B8%83%E5%BC%8F%E6%8E%A8%E7%90%86GGUF%E6%A0%BC%E5%BC%8F%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B(LLMs)%E5%92%8C%E5%B5%8C%E5%85%A5%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%BF%85%E8%A6%81%E7%BB%84%E4%BB%B6%E3%80%82

镜像概述

使用RPC服务器的应用架构如下：

!https://github.com/EvilFreelancer/docker-llama.cpp-rpc/blob/main/assets/schema.png?raw=true

除llama-server外，还可使用标准容器包中包含的llama-cli或llama-embedding。

Docker镜像支持以下架构：

• 仅CPU - amd64、arm64、arm/v7
• CUDA - amd64

目前arm64架构的CUDA构建因错误失败，暂被禁用。

核心功能与特性

• 分布式推理支持：通过RPC协议实现大语言模型和嵌入模型的分布式推理
• 多运行模式：支持server（服务端）、backend（后端节点）和none三种运行模式
• 多架构兼容：覆盖主流CPU架构（amd64/arm64/arm/v7）及amd64架构的CUDA加速
• 灵活资源配置：可通过环境变量配置内存/显存分配、模型路径、重复惩罚等参数
• 完整工具链：包含llama-server、llama-cli、llama-embedding等客户端工具

使用场景与适用范围

• 需构建分布式LLM推理系统，利用多节点CPU/GPU资源
• 需要部署GGUF格式大语言模型（如Llama系列、TinyLlama等）的场景
• 开发基于RPC协议的LLM推理应用，需服务端与客户端分离架构
• 资源受限环境下，通过多节点协同提升推理性能

环境变量配置

使用方法与部署示例

docker-compose部署示例

以下示例启动llama-server（容器main），并初始化模型https://huggingface.co/TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF/tree/main%EF%BC%88%E9%9C%80%E9%A2%84%E5%85%88%E4%B8%8B%E8%BD%BD%E8%87%B3%E4%B8%8E%60docker-compose.yml%60%E5%90%8C%E7%BA%A7%E7%9A%84%60./models%60%E7%9B%AE%E5%BD%95%EF%BC%89%E3%80%82%60./models%60%E7%9B%AE%E5%BD%95%E5%B0%86%E6%8C%82%E8%BD%BD%E5%88%B0%E5%AE%B9%E5%99%A8%E5%86%85%60/app/models%60%E8%B7%AF%E5%BE%84%E3%80%82

yaml
version: "3.9"

services:

  main:
    image: docker.xuanyuan.run/evilfreelancer/llama.cpp-rpc:latest
    restart: unless-stopped
    volumes:
      - ./models:/app/models
    environment:
      # 运行模式（API服务器格式的RPC客户端）
      APP_MODE: server
      # 容器内预加载的模型权重路径
      APP_MODEL: /app/models/TinyLlama-1.1B-q4_0.gguf
      # 客户端将交互的RPC服务器地址
      APP_RPC_BACKENDS: backend-cuda:50052,backend-cpu:50052
    ports:
      - "127.0.0.1:8080:8080"

  backend-cpu:
    image: docker.xuanyuan.run/evilfreelancer/llama.cpp-rpc:latest
    restart: unless-stopped
    environment:
      # 运行模式（RPC服务器）
      APP_MODE: backend
      # RPC服务器可用的系统内存量（兆字节）
      APP_MEM: 2048

  backend-cuda:
    image: docker.xuanyuan.run/evilfreelancer/llama.cpp-rpc:latest-cuda
    restart: "unless-stopped"
    environment:
      # 运行模式（RPC服务器）
      APP_MODE: backend
      # RPC服务器可用的GPU内存量（兆字节）
      APP_MEM: 1024
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [ gpu ]

推理请求示例

启动后可通过以下HTTP请求进行推理：

shell
curl \
    --request POST \
    --url http://localhost:8080/completion \
    --header "Content-Type: application/json" \
    --data '{"prompt": "构建网站可以通过10个简单步骤完成："}'