Agent 基础设施
标签
同类项目
sglang37.6k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
LMCache12.2k面向 大模型 推理 的 KV 缓存 管理层， 实现 跨 引擎持久化 复用 与 可 观测， 显著降低 首字 延迟 提升 吞吐。 
inference9.6k统一 的 大模型 推理 服务库， 一 条 命令部署 开源 模型， 兼容OpenAI 接口 并 支持 分 布式 运行。 
faster-whisper26.1k基于CTranslate2 的 Whisper语 音 转写 推理 库， 更 快 更 省 内存， 支持量化 与 词级 时间 戳。 
deeplake9.3k面向 AI 的 数据 湖 与 向量 存储 运行 时， 统 一多 模态 数 据 版本 管理， 深度 集成 LangChain 等 做 检索 训练。 
latexsnipper1.1k数学公式 OCR 桌面 应用， 把 截图、 图片、 PDF 和 手写 内 容识别为 可 编辑 LaTeX/Markdown， 并 支持 Office 插件 与 多 种 导出。