Agent 基础设施
标签
同类项目
sglang38.3k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
nano-vllm16.2k从零实现 的 轻量 vLLM 推理 引擎， 代码 精简 可读， 推理 速度 可 比肩 原版vLLM。 
freetoken14.8k面向 个 人 硬件 的 边缘 MoE 推理 引擎， 可 在 消费 级 GPU 上 运行 超大 开源 模型， 并 提供 桌面 应用、 CLI 与 OpenAI/Anthropic 兼容 API。 
LMCache12.2k面向 大模型 推理 的 KV 缓存 管理层， 实现 跨 引擎持久化 复用 与 可 观测， 显著降低 首字 延迟 提升 吞吐。 
inference9.6k统一 的 大模型 推理 服务库， 一 条 命令部署 开源 模型， 兼容OpenAI 接口 并 支持 分 布式 运行。 
turbo-fieldfare6.9k为苹果 芯片 Mac 打造 的 Gemma 4 高效 推理 运行 时， 低 内存流式 加载 专家 并 提供 应用 与 评测。