Agent 基础设施
标签
同类项目
lmdeploy8.1k面向 LLM 的 压缩部署 推理 工具包， 提供 高吞吐 推理 引擎、 量化 与 多机 服务 能力， 支持众 多 开源 模型。 
LLM-Hub627端侧多 模态 AI 平台， 集成 聊 天智 能 体生图 生视 频生 音乐 与 模型 管理， 全部 本 地私 有 运行。 
LocalAI49.9k开源本 地 AI 推理 引擎， 统一 调度 多 模态 模型 与 后端， 以 兼容 API 对 外 提供 服务。 
airllm40.6k让70B乃 至 671B 大模型 在 单张 小显 存显卡上 推理 与 微调 的 Python 推理 加速库。 
sglang37.6k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
OpenLLM12.6k简化大模型 自托管 与 推理 服务 的 开源 项目， 提供 命 令行 与 API部署 及 云端 推理 能力 的 服务 框架。