Agent 基础设施
标签
同类项目
kimi-k3-in-c9.2k用纯C 实现 的 超大 MoE模型 CPU 推理 引擎， 无 依赖 流式 加载权重， 在 单机 低 内存下生成 文本 
mlx-dspark728苹果芯片 上 原生 的 推测 解码 加速 推理 引擎， 兼容 多 模型 并 提供 本 地 API 服务。 
litgpt13.7k提供20 多 种 大模型 实现 与 预训练、 微调、 量化、 部署 全 流程 配方 的 高性 能 LLM 开发 框架。 
lmdeploy8.1k面向 LLM 的 压缩部署 推理 工具包， 提供 高吞吐 推理 引擎、 量化 与 多机 服务 能力， 支持众 多 开源 模型。 
plano7.1k面向 智 能 体 应用 的 代理 数 据面， 集中 处理 模型 路由、 智 能 体 编排、 护 栏 过滤 与 全链 路 可 观测 追踪 能力。 
helicone6.2k开源AI 网关 与 LLM 可 观测 平台， 提供 多 模型 统 一 路由、 追踪、 成本 与 提示 词 管理。