English
库 / 框架

ktransformers

kvcache-ai/ktransformers

面向大模型异构推理与超大MoE微调的优化框架,可在消费级硬件上运行巨模型。