KoboldCpp - 官方Docker镜像

这是KoboldCpp的官方Docker镜像，可在几分钟内搭建您自己的个人文本生成AI服务器！

!故事模式 !聊天模式

默认情况下，此模板包含Tiefighter 13B模型，您可以在加载容器前通过替换模板参数设置中的链接轻松自定义GGUF链接。请注意，Web UI和API在模型完全（下载）完成前无法使用，您可以在Runpod日志中监控进度，这里也是您查找所需API链接的地方。

核心功能与特性

• KoboldAI Lite界面：灵活的界面，专注于小说创作，无论用于指令、聊天还是协作写作均可胜任，支持KoboldAI保存和角色卡片，配备强大工具管理故事或聊天。
• 完整文档化API：在浏览器中访问KoboldAI API链接（/api）即可使用。
• OpenAI/Ollama模拟：兼容您喜爱的前端。
• 多比特率加载模型：根据下载的GGUF文件，以多种比特率加载模型，节省GPU成本。
• 高速性能：默认模型在单张3090上速度可达50t/s。
• 自动扩展GPU支持：自动检测并使用额外GPU，也可自定义部分卸载以节省资金。
• 增强的采样与上下文处理：相比其他基于llamacpp的引擎，提供额外采样选项和更好的上下文处理。
• 持续更新：始终与KoboldCpp的最新版本保持同步。

参数与使用方法

核心参数

• KCPP_MODEL：处理GGUF模型下载链接（用逗号分隔可支持分割模型）。使用本地模型时，需手动添加--model及路径到参数中。
• KCPP_IMGMODEL：与KCPP_MODEL类似，用于图像模型（支持Stable Diffusion和GGUF）。
• KCPP_MMPROJ：与KCPP_MODEL类似，用于Llava Projectors。
• KCPP_ARGS：Koboldcpp的启动参数。

Docker Compose示例

如需Docker Compose示例，运行：

docker run --rm -it koboldai/koboldcpp compose-example

如需将docker-compose.yml提取到当前目录：

docker run --rm -v .:/workspace -it koboldai/koboldcpp compose-example

支持与反馈

有问题？请通过KoboldAI ***获取一对一支持。