Agent 基础设施
标签
同类项目
llm-action25.2k大模型工程化 实战 知识库， 系统 整理 训练、 微调、 推理 优化 与 应用 落地 的 教程 与 代码。 
second-brain-ai-assistant-course3.1k手把 手搭建 第二 大脑AI助理 的 开源 课程， 覆盖RAG微调部署 与 LLMOps 六 个 模 块 教学。 
LocalAI49.9k开源本 地 AI 推理 引擎， 统一 调度 多 模态 模型 与 后端， 以 兼容 API 对 外 提供 服务。 
airllm40.6k让70B乃 至 671B 大模型 在 单张 小显 存显卡上 推理 与 微调 的 Python 推理 加速库。 
sglang37.6k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
promptfoo26.4k面向提示 词、 智 能 体 与 RAG 的 评估 与 红队 测试 工具， 支持 多 模型 对比 和 CI 集成。