ghcr.io/luce-org/lucebox-hub:sha-e873deb-cuda12

为速度而生的本地LLM推理服务器。具备自定义内核、推测式预填充与解码功能。我们引擎中的每项优化均针对特定模型家族和硬件目标。

---

推理引擎优化

每项优化均包含独立的设置说明和基准测试备注。

  

  

---

支持的模型与草稿模型

所有加速比均为与官方llama.cpp（-fa 1，匹配KV量化）相比的测量结果。组合加速比=√(TTFT × 解码)的几何平均值（当两个阶段均进行基准测试时）；否则为单阶段加速比。草稿模型发布于https://huggingface.co/Lucebox%E3%80%82

已测试设备（GPU/APU）

参考目标：RTX 3090（Ampere sm_86）——所有标题数据的基准设备。其他NVIDIA架构由CMake / setup.py自动检测；AMD HIP后端单独提供（Strix Halo部分）。

server/（DFlash）使用CMake 3.18+和--recurse-submodules构建，需拉取Luce-Org/llama.cpp@luce-dflash——无需PyTorch。optimizations/megakernel/是唯一需要PyTorch 2.0+的组件（CUDAExtension链接torch C++库）。功耗调优：sudo nvidia-smi -pl 220（3090最佳值，其他显卡需重新测试）。

测试工具快速开始

harness/包含RTX 3090客户端启动器和Lucebox服务器兼容性回归测试。可在Claude Code、Codex、OpenCode、Hermes、Pi、OpenClaw或Open WebUI中运行Lucebox，或检查服务器变更是否仍与这些客户端兼容。

所有启动器都会启动原生C++ HTTP服务器（dflash_server）。可通过环境变量覆盖默认值：

DFLASH_SERVER_BIN=server/build/dflash_server \
DFLASH_TARGET=server/models/Qwen3.6-27B-Q4_K_M.gguf \
DFLASH_DRAFT=server/models/draft/dflash-draft-3.6-q4_k_m.gguf \
MAX_CTX=32768 BUDGET=22 VERIFY_MODE=ddtree \
harness/clients/run_codex.sh

对于无草稿模型目标（如***），只需设置DFLASH_TARGET或传递DRAFT=none；测试工具不会将默认Qwen草稿模型附加到自定义目标。

启动器脚本会在.harness-work/下自动安装缺失的真实客户端CLI。如需手动预安装：

python3 harness/client_test_runner.py install --clients codex,hermes,openwebui

如需针对运行中的服务器获取直接的TPS/TTFT数值：

python3 harness/client_test_runner.py bench \
--url http://127.0.0.1:8000 \
--suite he,agent \
--n-sample 3

Docker快速开始

GHCR上的预构建镜像跟踪main分支。无需CUDA工具包或构建过程。拉取镜像、挂载权重并启动服务。OpenAI兼容API位于:8000端口。

首先将***模型目标放入server/models/，然后访问:8000/v1/chat/completions。完整教程见Docker博客。

安装与运行：

# 1. 拉取对应GPU的镜像
docker pull ghcr.io/luce-org/lucebox-hub:cuda12 # NVIDIA
docker pull ghcr.io/luce-org/lucebox-hub:rocm # AMD

# 2. 下载目标模型到server/models/，并将DFlash草稿模型下载到server/models/draft/
# （入口点仅自动发现该路径下的草稿模型；若无草稿模型，服务器将仅运行目标模型，速度较慢）
hf download unsloth/Qwen3.6-27B-GGUF Qwen3.6-27B-Q4_K_M.gguf \
--local-dir server/models/
hf download Lucebox/Qwen3.6-27B-DFlash-GGUF dflash-draft-3.6-q4_k_m.gguf \
--local-dir server/models/draft/

# 3a. NVIDIA（CUDA 12+）
docker run --rm --gpus all -p 8000:8080 \
-v "$PWD/server/models:/opt/lucebox-hub/server/models" \
ghcr.io/luce-org/lucebox-hub:cuda12

# 3b. AMD（ROCm 6+，Strix Halo / RX 7900）
docker run --rm --device /dev/kfd --device /dev/dri \
--group-add video --group-add render --security-opt seccomp=unconfined \
-p 8000:8080 -v "$PWD/server/models:/opt/lucebox-hub/server/models" \
ghcr.io/luce-org/lucebox-hub:rocm

然后访问:8000/v1/chat/completions（OpenAI兼容接口）。

运行服务器

默认配置：RTX 3090上运行Qwen 3.6-27B ***目标模型 + Lucebox *** DFlash草稿模型。DDTree预算=22，TQ3_0 KV缓存，全注意力机制。OpenAI兼容HTTP服务位于:8000端口。

# 构建（需CUDA 12+，CMake 3.18+）
git clone --recurse-submodules https://github.com/Luce-Org/lucebox-hub && cd lucebox-hub
cmake -B server/build -S server -DCMAKE_BUILD_TYPE=Release
cmake --build server/build --target dflash_server -j

运行（TQ3_0 KV 自动启用；设为=0以禁用）

DFLASH27B_KV_TQ3=1 \
./server/build/dflash_server server/models/Qwen3.6-27B-Q4_K_M.gguf \
--draft server/models/draft/dflash-draft-3.6-q4_k_m.gguf \
--ddtree --ddtree-budget 22 --port 8000

多GPU / IPC

MoE专家卸载（Spark）

针对专家无法装入VRAM的MoE目标（laguna、qwen35/qwen36）。--spark会自调整热/冷专家拆分、有界GPU缓存以及基于实时流量的放置配置文件；通过默认的单图融合路径，解码速度接近全GPU上限。详见 Luce Spark →。

▮▮▮▮▮▮▮▮▮▮ HIP/CUDA 内核优化
▮▮▮▮▮▮▮▮▮▯ 推测性推理优化
▮▮▮▮▮▮▮▯▯▯ 支持新型消费级 GPU/APU 显卡
▮▮▮▮▮▮▮▯▯▯ 推理引擎调试
▮▮▮▮▮▮▯▯▯▯ 添加新的性能基准测试
▮▮▮▮▮▯▯▯▯▯ 集成测试工具的改进

---

引用

@software{lucebox_2026,
title = {面向特定消费级硬件的快速 LLM 推测性推理服务器。},
author = {Lucebox},
url = {https://github.com/Luce-Org/lucebox-hub},
year = {2026}
}

---

社区

• *****：*.gg/yHfswqZmJQ
• 网站：lucebo***
• 问题反馈：https://github.com/Luce-Org/lucebox-hub/issues
• 博客：lucebo***/blog

---

Apache 2.0 · Lucebo***