BentoML

为任意AI模型构建高性能推理API服务，提供容器化部署与批量推理优化的模型服务框架。