anyscale/ray-llm Docker 镜像 - 轩辕镜像
anyscale/ray-llmRayLLM是一个使用Ray部署和管理开源LLM的LLM服务解决方案。
6 收藏0 次下载activeanyscale镜像
概述
这是Anyscale/Ray的RayLLM（前身为Aviary）项目的公开Docker镜像集。
RayLLM是一个LLM服务解决方案，可轻松部署和管理各种开源LLM。其特点包括：
- 提供广泛的预配置开源LLM套件，默认配置开箱即用
- 支持托管在Hugging Face Hub或本地磁盘上的Transformer模型
- 在单一统一框架内简化多个LLM的部署
- 大多数情况下可在几分钟内简化新LLM的添加
- 提供独特的自动扩展支持，包括缩容至零
- 全面支持多GPU和多节点模型部署
- 提供高性能特性，如持续批处理、量化和流式传输
- 提供类似于OpenAI的REST API，便于迁移和交叉测试
了解更多
标签
| 名称 | 说明 |
|---|---|
:0.3.1 | 版本v0.3.1 |
:0.3.0 | 版本v0.3.0 |
:latest | 最近推送的版本发布镜像 |
使用方法
参见：ray-project/ray-llm "部署RayLLM" 获取完整说明
示例
运行Amazon LightGPT模型需要配备兼容的NVIDIA A10 GPU的机器和有效的HUGGING_FACE_HUB_TOKEN：
shdocker run \ --gpus all \ -e HUGGING_FACE_HUB_TOKEN=<你的令牌> \ --shm-size 1g \ -p 8000:8000 \ --entrypoint aviary \ anyscale/aviary:latest run --model models/continuous_batching/amazon--LightGPT.yaml
源代码
源代码可在 [***] 获取
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
登录仓库拉取
通过 Docker 登录认证访问私有仓库
Linux
在 Linux 系统配置镜像服务
Windows/Mac
在 Docker Desktop 配置镜像
Docker Compose
Docker Compose 项目配置
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
MacOS OrbStack
MacOS OrbStack 容器配置
宝塔面板
在宝塔面板一键配置镜像
群晖
Synology 群晖 NAS 配置
飞牛
飞牛 fnOS 系统配置镜像
极空间
极空间 NAS 系统配置服务
爱快路由
爱快 iKuai 路由系统配置
绿联
绿联 NAS 系统配置镜像
威联通
QNAP 威联通 NAS 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
专属域名拉取
无需登录使用专属域名
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
轩辕镜像免费版与专业版有什么区别？
免费版仅支持 Docker Hub 访问，不承诺可用性和速度；专业版支持更多镜像源，保证可用性和稳定速度，提供优先客服响应。
轩辕镜像支持哪些镜像仓库？
专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等；免费版仅支持 docker.io。
流量耗尽错误提示
当返回 402 Payment Required 错误时，表示流量已耗尽，需要充值流量包以恢复服务。
410 错误问题
通常由 Docker 版本过低导致，需要升级到 20.x 或更高版本以支持 V2 协议。
manifest unknown 错误
先检查 Docker 版本，版本过低则升级；版本正常则验证镜像信息是否正确。
镜像拉取成功后，如何去掉轩辕镜像域名前缀？
使用 docker tag 命令为镜像打上新标签，去掉域名前缀，使镜像名称更简洁。
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"