Agent 基础设施
qwen38-27b-rtx3090
syv-ai/qwen38-27b-rtx3090
单张RTX3090
标签
同类项目
mtplx2.6k苹果芯片 本 地 大模型 推理 引擎， 基于 MTP精确 投机解码 加速， 提供 兼容OpenAI 的 本地 服务 接口。 
mlx-dspark715苹果芯片 原生 的 投机 解码 推理 加速 方案， 移植DSpark 与 DFlash草稿器， 提供 命令行、 Python库 与 兼容 API 服务。 
pooled588浏览器端点 对点分 布式 大模型 推理 引擎， 多 设备 分担模型 层并 对 外 提供 兼容 接口 服务。 
AngelSlim1.8k面向 大模型量化 和 推测 解码 等 压缩 全 流程 的 一 站 式 开发者 工具包， 覆盖 LLM多 模态 与 扩散 模型 的 压缩 框架。 
llamafile26.2k将大模型 打包 为 单文件 可 执行 程序， 无 需 安装即 可 在 多 系统本 地 运行 LLM 与 语音识别。 
freetoken14.5k面向 消费 级 硬件 的 边缘 MoE 推理 引擎， 可 在 游戏 电脑 本地 高速 运行 290B级 开源 MoE 大模型 并 提供 兼容API 服务。