model-optimizer

NVIDIA 的模型优化库，提供量化、剪枝、蒸馏、NAS 与投机解码等 API，将模型压缩后导出到 TensorRT-LLM、vLLM 等推理框架。