Agent 基础设施
标签
同类项目
sglang37.6k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
tokenspeed2.8k为智 能 体 负载 打造 的 极速 LLM 推理 引擎， 兼顾 高性 能 与 易用性， 提供 调度器 与 高性 能 内核 的 完整 服务。 
xybrid502跨平台端侧 AI 推理 工具包， 通过 Flutter、 Swift、 Kotlin、 Rust 等 SDK 在 应用 和 游戏 中本 地 运行 LLM、 语 音识别 与 合成 模型。 
parlant18.3k面向 开发者 的 客服 对 话 治理 框架， 用代 码定 义 规则 与 工具， 让 大模型 交互 可 控 合规。 
needle14.3k面向 微型 设备 的 自动化 基础 模型， 擅长 工具 调用 结构 化 抽取 与 嵌入， 需SDK 编码 集成。 
AngelSlim1.8k面向 大模型量化 和 推测 解码 等 压缩 全 流程 的 一 站 式 开发者 工具包， 覆盖 LLM多 模态 与 扩散 模型 的 压缩 框架。