WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
inference
xorbitsai/inference
统
一
的
大模型
推理
服务库,
一
条
命令部署
开源
模型,
兼容OpenAI
接口
并
支持
分
布式
运行。
去 GitHub 看仓库
复制链接
标签
pytorch
deployment
llm
artificial-intelligence
machine-learning
whisper
inference
openai-api
同类项目
nano-vllm
16.2k
从
零实现
的
轻量
vLLM
推理
引擎,
代码
精简
可读,
推理
速度
可
比肩
原版vLLM。
LMCache
12.2k
面
向
大模型
推理
的
KV
缓存
管理层,
实现
跨
引擎持久化
复用
与
可
观测,
显著降低
首字
延迟
提升
吞吐。
ml-engineering
19.6k
面
向
大模型
训练
工程师
的
开放
电子
书,
系统
整理
算力
存储
网络、
训练
与
推理
排障
的
实战
方法
与
脚本。
kornia
11.4k
基于
PyTorch
的
可微
分
计算
机视
觉库,
提供
图像
处理、
几何
变换
与
数据
增
强
算子。
AI_Tutorial
3.7k
聚焦
一
线
实战
经验
的
高质量
AI
技术
资料
导航,
每日
更
新
大厂实践论
文速览
与
精选
AI
产品。
awesome-ai-agents-2026
2k
收录
340
余款AI智
能体、
框架
与
工具
的
年度
精选
清单,
按编码、
语音、
研究
等
二十余
类
整理月
更。
9629
pytorch,deployment,llm
统一的大模型推理服务库,一条命令部署开源模型,兼容OpenAI接口并支持分布式运行。
←
上一个
tpotce
下一个
→
crawlee-python