库 / 框架
标签
同类项目
ms-swift15.9k支持六百余 大模型 微调 对 齐 与 推理 部署 的 全流 程 框架， 覆盖 训练评 估量化 与 WebUI。 
peft21.8k实现LoRA 等 参数 高效微 调 方法 的 Python库， 只训 少量 参数 即 可 适配 大模型 到 下游 任务。 
soup9.6k单配置单命令微调LLM 的 CLI 框架， 支持 QLoRA 与 层流式 低显存训练 及 评 估 导出。 
AngelSlim1.8k面向 大模型量化 和 推测 解码 等 压缩 全 流程 的 一 站 式 开发者 工具包， 覆盖 LLM多 模态 与 扩散 模型 的 压缩 框架。 
airllm40.6k让70B乃 至 671B 大模型 在 单张 小显 存显卡上 推理 与 微调 的 Python 推理 加速库。 
sglang37.6k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。