Agent 基础设施
标签
同类项目
beellama.cpp1.1k面向 本 地 大模型 推理 的 量化 引擎 分支， 通过 缓存 精度 优化 在 同显存下 实现 更长 上 下文 推理。 
atomic-agent3.5k本地 优先 的 通用 智 能 体， 可 浏览 网页、 读写 文件、 执行 命令 并 跨会 话 记忆， 通过 终端 直接 使用。 
OGAM3.3kThe Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac - GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling, and local-network servers. Runs on your CPU, GPU, or NPU. No account, no API key, zero data leaves your device.
sglang38.3k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
llamafile26.5k将大模型 打包 为 单文件 可 执行 程序， 无 需 安装即 可 在 多 系统本 地 运行 LLM 与 语音识别。 
nano-vllm16.2k从零实现 的 轻量 vLLM 推理 引擎， 代码 精简 可读， 推理 速度 可 比肩 原版vLLM。