serve

一个用于构建和部署AI服务的框架，支持gRPC、HTTP和WebSockets，具备高性能、动态批处理、LLM流式输出、Docker集成和云原生部署能力。