Agent 基础设施
标签
同类项目
faster-whisper25.9k基于CTranslate2 的 Whisper语 音 转写 推理 库， 更 快 更 省 内存， 支持量化 与 词级 时间 戳。 
whisper-ctranslate21.4k基于CTranslate2 的 Whisper 兼容命令 行 客户端， 转录 更快， 支持 说话 人区 分、 VAD 过滤 与 实时 转录。 
nano-vllm15.8k从零实现 的 轻量 vLLM 推理 引擎， 代码 精简 可读， 推理 速度 可 比肩 原版vLLM。 
freetoken14.5k面向 消费 级 硬件 的 边缘 MoE 推理 引擎， 可 在 游戏 电脑 本地 高速 运行 290B级 开源 MoE 大模型 并 提供 兼容API 服务。 
inference9.6k统一 的 大模型 推理 服务库， 一 条 命令部署 开源 模型， 兼容OpenAI 接口 并 支持 分 布式 运行。 
willow-inference-server511自托管的 高性 能 语音 与 语言 推理 服务器， 提供 语 音识别、 语音 合成 与 大模型 推理 服务。