Agent 基础设施
标签
同类项目
LMCache12.2k面向 大模型 推理 的 KV 缓存 管理层， 实现 跨 引擎持久化 复用 与 可 观测， 显著降低 首字 延迟 提升 吞吐。 
qwen38-27b-rtx30902.3k让Qwen 大模型 在 单张 消费 级 显卡上 高速 推理 的 vLLM 补丁 与量化 部 署 方案。 
bigmoeonedge600让超大 MoE模型 在 手机 上 无损 运行 的 推理 引擎， 按需 从 闪存加载 专家， 基于 llama.cpp。 
llm-action25.2k大模型工程化 实战 知识库， 系统 整理 训练、 微调、 推理 优化 与 应用 落地 的 教程 与 代码。 
sglang38.3k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
nano-vllm16.2k从零实现 的 轻量 vLLM 推理 引擎， 代码 精简 可读， 推理 速度 可 比肩 原版vLLM。