TensorRT-LLM

NVIDIA的TensorRT-LLM是一个用于优化大语言模型和视觉生成模型推理的高性能框架，提供专用内核、高效运行时和可扩展的Python接口。