ghcr.io/luce-org/lucebox-hub:sha-8ac9fe4-rocm

面向异构机器和消费级GPU的推测式推理。自定义内核、推测式预填充和解码，针对每个模型和硬件目标进行优化。

---

推理引擎优化

---

支持的模型和草稿模型

模型链接指向测试配置使用的确切权重。草稿模型链接指向已发布的量化版本，或需要转换时的源检查点。

已测试机器（GPU/APU）

该引擎不绑定于特定参考显卡。NVIDIA架构通过CMake选择；HIP构建应针对设备的确切gfx架构。

单设备结果

异构和并行结果

这些运行使用不同的提示词、量化方式和推理策略。它们展示了哪些配置有效，而非跨硬件性能排名。

推荐配置

有关模型和硬件矩阵（包括单GPU和混合GPU配置文件），请参见推荐服务器配置。

客户端测试工具

harness/ 通过主流编码客户端运行 Lucebox 并检查服务器兼容性。

设置服务器二进制文件和模型路径，然后运行启动器：

DFLASH_SERVER_BIN=server/build/dflash_server \
DFLASH_TARGET=server/models/Qwen3.8-27B-UD-IQ4_XS.gguf \
DFLASH_DRAFT=server/models/draft/qwen38-dflash2-q8_0.gguf \
MAX_CTX=32768 \
harness/clients/run_codex.sh

有关设置、无草稿目标和基准测试，请参见测试工具指南。

使用 Docker 快速启动

GHCR 上的预构建镜像跟踪 main 分支。挂载权重并在 :8000 上提供 OpenAI 兼容 API。

将目标模型放入 server/models/，并将匹配的草稿模型放入 server/models/draft/。

运行适用于您 GPU 的镜像：

# NVIDIA
docker run --rm --gpus all -p 8000:8080 \
-v "$PWD/server/models:/opt/lucebox-hub/server/models" \
ghcr.io/luce-org/lucebox-hub:cuda12

# AMD
docker run --rm --device /dev/kfd --device /dev/dri \
--group-add video --group-add render --security-opt seccomp=unconfined \
-p 8000:8080 -v "$PWD/server/models:/opt/lucebox-hub/server/models" \
ghcr.io/luce-org/lucebox-hub:rocm

运行服务器

本快速启动运行上述 R9700 配置文件。完整的参数参考见服务器指南。

# 构建（ROCm 7.2+，RDNA4）
git clone --recurse-submodules https://github.com/Luce-Org/lucebox.git
cd lucebox
cmake -S server -B server/build-hip -G Ninja \
-DCMAKE_BUILD_TYPE=Release \
-DCMAKE_HIP_COMPILER=/opt/rocm/lib/llvm/bin/clang++ \
-DDFLASH27B_GPU_BACKEND=hip \
-DDFLASH27B_HIP_ARCHITECTURES=gfx1201 \
-DGGML_HIP_MMQ_MFMA=ON \
-DGGML_HIP_NO_VMM=ON
cmake --build server/build-hip --target dflash_server -j"$(nproc)"

# 目标模型和 DFlash2 草稿模型
mkdir -p models
huggingface-cli download unsloth/Qwen3.8-27B-GGUF \
Qwen3.8-27B-UD-IQ4_XS.gguf --local-dir models
huggingface-cli download incoai/Qwen3.8-27B-DFlash2 --local-dir models/dflash2
python server/scripts/convert_dflash_to_gguf.py \
models/dflash2/model.safetensors models/qwen38-dflash2-f16.gguf
python server/scripts/quantize_dflash_draft.py \
models/qwen38-dflash2-f16.gguf models/qwen38-dflash2-q8_0.gguf --scheme q8_0

# 启动实测配置文件
./server/build-hip/dflash_server models/Qwen3.8-27B-UD-IQ4_XS.gguf \
--draft models/qwen38-dflash2-q8_0.gguf \
--draft-block-size 16 --max-ctx 131072 \
--cache-type-k q8_0 --cache-type-v q8_0 \
--port 8216

curl -s http://127.0.0.1:8216/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"messages":[{"role":"user","content":"Write a Python LRU cache."}],
"max_tokens":256,"temperature":0}'

文档

基准测试随各实现一同发布：DFlash、PFlash、Spark、KVFlash 和 Megakernel。

---

教程

各优化和测试工具设置的视频教程。

---

Lucebox 机器

本地 AI 应该是默认选择，而非特权。私有数据、无按 token 计费、无供应商锁定。Lucebox 将 R9700 与 Strix Halo 配对，提供这款开箱即用的开源引擎。

有关硬件和当前基准测试，请访问 lucebo***。

---

贡献请求

我们欢迎针对 CUDA 和 HIP 内核、推测性推理、更多消费级 GPU 和 APU 支持、性能基准测试以及客户端测试工具的重点贡献。

---

引用

@software{lucebox_2026,
title = {Lucebox: Speculative inference for heterogeneous consumer hardware},
author = {Lucebox},
url = {https://github.com/Luce-Org/lucebox},
year = {2026}
}

---

社区

• *****：*.gg/yHfswqZmJQ
• 网站：lucebo***
• 问题反馈：https://github.com/Luce-Org/lucebox/issues
• 博客：lucebo***/blog

---

Apache 2.0 · Lucebo***