Agent 基础设施
标签
同类项目
lemonade5.9k在自有 电脑 上 运行 与 服务 优化 大 模型 的 本地 AI 服务器， 支持 聊天、 代码、 语音 与 图像 模型， 对 外 提供 标准 推理 接口。 
LLM-Hub627端侧多 模态 AI 平台， 集成 聊 天智 能 体生图 生视 频生 音乐 与 模型 管理， 全部 本 地私 有 运行。 
LocalAI49.9k开源本 地 AI 推理 引擎， 统一 调度 多 模态 模型 与 后端， 以 兼容 API 对 外 提供 服务。 
airllm40.6k让70B乃 至 671B 大模型 在 单张 小显 存显卡上 推理 与 微调 的 Python 推理 加速库。 
sglang37.6k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
OpenLLM12.6k简化大模型 自托管 与 推理 服务 的 开源 项目， 提供 命 令行 与 API部署 及 云端 推理 能力 的 服务 框架。