Agent 基础设施
标签
同类项目
sglang37.6k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
nano-vllm16.2k从零实现 的 轻量 vLLM 推理 引擎， 代码 精简 可读， 推理 速度 可 比肩 原版vLLM。 
inference9.6k统一 的 大模型 推理 服务库， 一 条 命令部署 开源 模型， 兼容OpenAI 接口 并 支持 分 布式 运行。 
TensorRT-LLM15k英伟达 开源 的 大模型 推理 优化 库， 提供 高效 内核 与 运行 时， 支撑 高性 能 部署。 
semantic-router6.2k面向 混合模型 系统 的 可编程语义路 由 决策层， 为 智 能 体 网关 按 质量、 延迟 与 成本 在 本 地 云 边模型 间 选择 组合。 
lemonade5.9k在自有 电脑 上 运行 与 服务 优化 大 模型 的 本地 AI 服务器， 支持 聊天、 代码、 语音 与 图像 模型， 对 外 提供 标准 推理 接口。