exllamav3

面向消费级显卡的本地大模型推理库，提供灵活量化并行推理与卸载能力，兼容开放接口与主流模型。