WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
project-maya
mw00/project-maya
Project Maya
是
本
地
大模型
推理
引擎,
可
在
自有
GPU
上
运行
GLM、
DeepSeek、
MiniMax
并
提供
兼容 API
与
面板。
去 GitHub 看仓库
复制链接
标签
cuda
glm
glm-5
llm
llm-inference
local-llm
mixture-of-experts
moe
同类项目
sglang
38.7k
面
向
大模型
与
多
模态
模型
的
高性
能
推理
服务
框架,
优化
智
能
体
负载、
大规模
serving
与
强化
学习 rollout。
freetoken
16.8k
面
向
个
人
硬件
的
边缘
MoE
推理
引擎,
可
在
消费
级
GPU
上
运行
超大
开源
模型,
并
提供
桌面
应用、
CLI
与
OpenAI/Anthropic
兼容 API。
TensorRT-LLM
15k
英伟
达
开源
的
大模型
推理
优化
库,
提供
高效
内核
与
运行
时,
支撑
高性
能
部署。
LMCache
12.3k
面
向
大模型
推理
的
KV
缓存
管理层,
实现
跨
引擎持久化
复用
与
可
观测,
显著降低
首字
延迟
提升
吞吐。
lmdeploy
8.1k
面
向
LLM
的
压缩部署
推理
工具包,
提供
高吞吐
推理
引擎、
量化
与
多机
服务
能力,
支持众
多
开源
模型。
lemonade
6.2k
在
自有
电脑
上
运行
与
服务
优化
大
模型
的
本地
AI
服务器,
支持
聊天、
代码、
语音
与
图像
模型,
对
外
提供
标准
推理
接口。
2586
cuda,glm,glm-5
Project Maya 是本地大模型推理引擎,可在自有 GPU 上运行 GLM、DeepSeek、MiniMax 并提供兼容 API 与面板。
←
上一个
landscapist
下一个
→
zennotes