官方QQ群: 1072982923
NANO_LLM是一个轻量级、优化的大型语言模型(LLM)推理和多模态智能体库,专为边缘设备和高性能计算环境设计。该库提供了对多种深度学习框架的支持,包括PyTorch、TensorRT和ONNX Runtime,能够高效运行各类语言模型和多模态应用。