Agent 基础设施
标签
同类项目
skypilot10.8k统一调度 多云 与 自 有 算力 的 AI 任务 系统， 一 套 YAML即 可 启动 训练 推理 作业， 自动 选型 容错 并 提升 GPU 利用率。 
onnxruntime22.2k跨平台高性 能 机器 学习 推理 训练 加速 引擎， 兼容 多 框架 模型 并 利用 硬件 加速 优化 执行。 
nano-vllm16.2k从零实现 的 轻量 vLLM 推理 引擎， 代码 精简 可读， 推理 速度 可 比肩 原版vLLM。 
freetoken14.8k面向 个 人 硬件 的 边缘 MoE 推理 引擎， 可 在 消费 级 GPU 上 运行 超大 开源 模型， 并 提供 桌面 应用、 CLI 与 OpenAI/Anthropic 兼容 API。 
wandb11.3k面向 机器 学习 实验 的 追踪 与 可视化 平台， 记录 指标、 数据 集 与 模型 版本。 
inference9.6k统一 的 大模型 推理 服务库， 一 条 命令部署 开源 模型， 兼容OpenAI 接口 并 支持 分 布式 运行。