sglang

面向大模型与多模态模型的高性能推理服务框架，优化智能体负载、大规模 serving 与强化学习 rollout。