库 / 框架
标签
同类项目
faster-whisper26.1k基于CTranslate2 的 Whisper语 音 转写 推理 库， 更 快 更 省 内存， 支持量化 与 词级 时间 戳。 
ncnn24k面向 手机 与 边缘 设备 的 高性 能 神经 网络 推理 框架， 支持 CPU 与 Vulkan 后 端部署。 
tfjs19.2k面向 浏览器 与 Node. js 的 硬件 加速JS机器 学 习库， 提供 底 层 张量 算子 与 高层 Layers 接口， 支持 训练 推理 与 模型 转换。 
openvino11.1k优化与 部署 深度 学习 推理 的 开源 工具包， 支持 多 框 架 模型 转换， 在 CPU GPU 及 加速器 上 高效 运行 视觉 与 生成 任务。 
cutlass10.7k面向 CUDA 的 高性 能线性 代数 模 板库 与 Python 领域 语言， 提供 分块 数 据 搬运 与 Tensor Core 抽象， 用 于 定制 高性 能 内核。 
nano-vllm16.2k从零实现 的 轻量 vLLM 推理 引擎， 代码 精简 可读， 推理 速度 可 比肩 原版vLLM。