lmdeploy

高效的大语言模型（LLM）和视觉语言模型（VLM）部署与推理工具，支持多种模型、量化、服务及多模态推理。