English
Agent 基础设施

lucebox

luce-org/lucebox

面向消费级显卡的快速大模型推理服务器,采用推测解码与定制内核提升吞吐降低显存。

标签