Agent 基础设施
vllm-2080ti-definitive
weicj/vllm-2080ti-definitive
面
同类项目
cc-switch149.7k管理多 家 编 码 助手 的 桌面 工具， 一键 切换 API 供 应商 并 集中 管理 MCP、 技能 与 提示 词 等 多 项 配置。 
OmniRoute82.5k聚合数百家 模型 供 应商 的 免费 AI 网关， 单端点路 由 fallback 并 压 缩节 省 Token。 
free-claude-code62.4k多编码 代理 的 免费 模型 网关， 统 一 61家 供应商 目录、 故障 转移 与 token 优化 的 管理 面板。 
privateGPT57.6k将本 地 模型 变为 生产 级 AI 应用 API层 的 开源 后端， 提供 检索、 工具、 MCP 与 数据 库 能力 支撑 上 层 应 用 构建。 
whisper.cpp54.5kWhisper模型 的 纯C /C++ 高性 能 推理 实现， 无 依赖 跨 平台， 支持量化 与 多 硬件 加速 及 多 语言 绑定。 
LocalAI49.9k开源本 地 AI 推理 引擎， 统一 调度 多 模态 模型 与 后端， 以 兼容 API 对 外 提供 服务。