lmstudio/llmster-preview

text

| | | | | / / | | | _
| || |__| |/| _ \ | | | || / |||| ||/ || |||_
headless lmstudio • docker image

# llmster

[技术预览版] llmster是[LM Studio](https://lmstudio.ai)的无头版本。此镜像提供了无需专用GPU硬件即可运行LM Studio守护进程(llmster)的方式。适用于CI作业、自动化流程和普通CPU上的测试。

目前，**此镜像处于预览阶段，仅在x86系统上支持CPU**

## 快速开始

拉取镜像：

```bash
docker pull lmstudio/llmster-preview:cpu

运行容器：

bash
docker run -d -p 1234:1234 lmstudio/llmster-preview:cpu

守护进程API服务器将可通过 http://<container-host>:1234 访问。在文档中了解更多详情

<container-host> 取决于您的使用场景：

• 从同一台机器访问：使用 localhost
• 从另一台机器访问：使用运行Docker的机器的IP地址或主机名
• 从同一Docker网络中的另一个容器访问：使用容器名称或服务名称（在Docker Compose中）

使用方法

lms 命令行工具

使用此Docker容器的推荐方式是通过预安装的 lms 命令行工具。您可以通过两种方式与守护进程交互：

1. 从主机机器：使用 lms <命令> --host <container-host> --port 1234 下载、加载和运行各种模型。
2. 从容器内部：使用 docker exec -it <容器ID> bash 进入容器，然后直接使用 lms。

命令行示例

以下是使用命令行的几个示例。如果从主机机器使用，请记住在每个命令中包含 --host <container-host> --port 1234。在我们的命令行文档中了解更多信息。

下载模型

bash
lms get google/gemma-3-1b

加载模型

bash
lms load google/gemma-3-1b

与模型聊天

bash
lms chat --prompt "你好，Docker是如何工作的？请用3句话或更少的内容解释"

RESTful API

此镜像包含内部REST API服务器，可通过暴露的 1234 端口进行交互。 有关更多信息，包括API文档和高级用法，请访问LM Studio API文档。