English
Agent 基础设施

inference

xorbitsai/inference

统一的大模型推理服务库,一条命令部署开源模型,兼容OpenAI接口并支持分布式运行。

标签