openmmlab/lmdeploy
openmmlab
LMDeploy是一款面向大语言模型（LLM）的全流程工具包，集成了模型压缩（如量化、剪枝等轻量化优化技术）、高效部署（涵盖推理加速、服务化部署流程）及稳定服务（支持低延迟推理、高并发请求处理）等核心功能，旨在帮助开发者与企业快速实现大语言模型的工程化落地，有效降低模型部署门槛，提升推理性能与服务稳定性，广泛适用于智能客服、内容生成、智能问答等各类基于大语言模型的应用开发场景。
8 次收藏50万+ 次下载18 天前更新
openmmlab/lmdeploy-builder
openmmlab
暂无描述
5万+ 次下载5 个月前更新
perch7/lmdeploy-anomaly-fix
perch7
暂无描述
1万+ 次下载1 年前更新
nosana/llm_benchmark-lmdeploy
nosana
暂无描述
1万+ 次下载1 年前更新
第 1 页