Agent 基础设施
标签
同类项目
omlx22.8k面向 Mac 的 本地 大模型 推理 服务器， 支持 连续 批 处理 与 菜单栏 管理 供智 能 体 调用。 
qwen38-27b-rtx30902k单张RTX3090高速 运行 Qwen3. 8-27B 的 vLLM serving方案， 含补丁、 量化 脚本 与 基准 测试。 
Web664macOS原生浏 览器， 支持 侧边 标签、 Glance速查 与 可选 的 本地 MLX AI 页面 问答。 
llamafile26.2k将大模型 打包 为 单文件 可 执行 程序， 无 需 安装即 可 在 多 系统本 地 运行 LLM 与 语音识别。 
freetoken14.5k面向 消费 级 硬件 的 边缘 MoE 推理 引擎， 可 在 游戏 电脑 本地 高速 运行 290B级 开源 MoE 大模型 并 提供 兼容API 服务。 
shimmy6k纯Rust单二进制本 地 推理 服务器， GGUF 原生、 OpenAI 兼容， 替代 Ollama。