mistral.rs

Rust编写的高性能大模型推理引擎，支持多模型自动加载、量化与多模态推理，提供OpenAI兼容服务接口。