English
库 / 框架

llm-compressor

vllm-project/llm-compressor

面向vLLM部署的大模型量化压缩库,提供多种精度算法与HuggingFace集成。

标签