ghcr.io/huggingface/text-generation-inference:latest-trtllm
ghcr.io
ghcr.iolinux/amd64latest-trtllm大小: 未知更新于 2025年11月10日
用于部署和服务大型语言模型（LLMs）的高性能推理工具包，解决生产环境下高并发文本生成需求。核心特性：支持Llama、Falcon、StarCoder等主流开源LLM；Tensor Parallelism实现多GPU加速推理；连续批处理提升吞吐量；Token流式传输（Server-Sent Events, SSE）；OpenAI Chat Completion API兼容的Messages API。技术架构：基于Rust、Python和gRPC构建，集成transformers优化代码（Flash Attention、Paged Attention），支持OpenTelemetry分布式追踪与Prometheus metrics。适用场景：生产环境下的LLM部署与服务，如聊天机器人、推理API、定制化文本生成及特定任务的微调模型应用。
拉取命令
轩辕镜像通过轩辕镜像拉取
专属域名未获取到
请登录使用轩辕镜像享受快速拉取体验，支持国内访问优化，速度提升
🚀 国内优化⚡ 访问优化🔒 安全可靠
原始仓库从原始仓库拉取镜像
docker pull ghcr.io/huggingface/text-generation-inference:latest-trtllm更多版本
ghcr.io/huggingface/text-generation-inference:sha-efb94e0
sha-efb94e0ghcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:2.3.0
2.3.0ghcr.iolinux/amd6413.75GB
ghcr.io/huggingface/text-generation-inference:2.2
2.2ghcr.iolinux/amd6411.37GB
ghcr.io/huggingface/text-generation-inference:3.2.1
3.2.1ghcr.iolinux/amd6416.22GB
ghcr.io/huggingface/text-generation-inference:sha-efb94e0-intel-cpu
sha-efb94e0-intel-cpughcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:2.4.0
2.4.0ghcr.iolinux/amd6414.11GB
ghcr.io/huggingface/text-generation-inference:latest
latestghcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:3.1.0
3.1.0ghcr.iolinux/amd6412.24GB
ghcr.io/huggingface/text-generation-inference:latest-intel-cpu
latest-intel-cpughcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:2.1.1
2.1.1ghcr.iolinux/amd6410.66GB
ghcr.io/huggingface/text-generation-inference:3.3.6-trtllm
3.3.6-trtllmghcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:sha-f08b44a-intel-cpu
sha-f08b44a-intel-cpughcr.iolinux/amd646.78GB
ghcr.io/huggingface/text-generation-inference:sha-5e747f4
sha-5e747f4ghcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:sha-5e747f4
sha-5e747f4ghcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:3.1.1
3.1.1ghcr.iolinux/amd6416.21GB
ghcr.io/huggingface/text-generation-inference:latest-rocm
latest-rocmghcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:sha-5e747f4-intel-cpu
sha-5e747f4-intel-cpughcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:sha-efb94e0-rocm
sha-efb94e0-rocmghcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:latest-neuron
latest-neuronghcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:sha-efb94e0-neuron
sha-efb94e0-neuronghcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:sha-efb94e0-gaudi
sha-efb94e0-gaudighcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:latest-gaudi
latest-gaudighcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:latest-intel-xpu
latest-intel-xpughcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:sha-5e747f4-intel-xpu
sha-5e747f4-intel-xpughcr.iolinux/amd64
ghcr.io/huggingface/text-generation-inference:latest
latestghcr.iolinux/amd64未知
镜像拉取常见问题
使用与功能问题
错误码与失败问题
manifest unknown 错误：镜像不存在或标签错误
manifest unknown 错误
TLS/SSL 证书验证失败：Docker pull 时 HTTPS 证书错误
TLS 证书验证失败
DNS 解析超时：无法解析镜像仓库地址或连接超时
DNS 解析超时
410 Gone 错误：Docker 版本过低导致协议不兼容
410 错误：版本过低
402 Payment Required 错误：流量耗尽错误提示
402 错误：流量耗尽
401 UNAUTHORIZED 错误：身份认证失败或登录信息错误
身份认证失败错误
429 Too Many Requests 错误：请求频率超出专业版限制
429 限流错误
Docker login 凭证保存错误：Cannot autolaunch D-Bus（不影响登录）
凭证保存错误
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"
镜像拉取问题咨询请 提交工单，官方技术交流群：1072982923
轩辕镜像面向开发者与科研用户，提供开源镜像的搜索和访问支持。所有镜像均来源于原始仓库，本站不存储、不修改、不传播任何镜像内容。