Agent 基础设施
标签
同类项目
Chinese-LLaMA-Alpaca18.9k面向 中文场 景 的 LLaMA 与 Alpaca系列 开源 大模型， 发布 LoRA权 重并 提供 词 表 扩充、 预训 练微调 与 本 地量化 部 署 教程。 
ms-swift15.9k支持六百余 大模型 微调 对 齐 与 推理 部署 的 全流 程 框架， 覆盖 训练评 估量化 与 WebUI。 
LocalAI49.9k开源本 地 AI 推理 引擎， 统一 调度 多 模态 模型 与 后端， 以 兼容 API 对 外 提供 服务。 
sglang37.6k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
OpenLLM12.6k简化大模型 自托管 与 推理 服务 的 开源 项目， 提供 命 令行 与 API部署 及 云端 推理 能力 的 服务 框架。 
lmdeploy8.1k面向 LLM 的 压缩部署 推理 工具包， 提供 高吞吐 推理 引擎、 量化 与 多机 服务 能力， 支持众 多 开源 模型。