Agent 基础设施
标签
同类项目
web-llm19.3k浏览器端 高性 能 大模型 推理 引擎， 基于 图形 加速且 兼容 开放 接口， 开发者 可用 软件 包集 成构 建本 地化 AI 应用。 
nano-vllm15.8k从零实现 的 轻量 vLLM 推理 引擎， 代码 精简 可读， 推理 速度 可 比肩 原版vLLM。 
LMCache12.1k面向 大模型 推理 的 KV 缓存 管理层， 实现 跨 引擎持久化 复用 与 可 观测， 显著降低 首字 延迟 提升 吞吐。 
inference9.6k统一 的 大模型 推理 服务库， 一 条 命令部署 开源 模型， 兼容OpenAI 接口 并 支持 分 布式 运行。 
rapid-mlx4k面向 苹果 芯片 的 本 地 大模型 推理 服务 与 Mac 应用， 兼容 主流 API 并 为 编程 智 能 体 优化 工具 调用 与 并发。 
qwen38-27b-rtx30902k单张RTX3090高速 运行 Qwen3. 8-27B 的 vLLM serving方案， 含补丁、 量化 脚本 与 基准 测试。