WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
inferssd
wici-ai/inferssd
基于
llama.cpp
的
本地
大模型
推理
引擎,
从 SSD
流式
加载
MoE
专家,
让
超出
内存
或
显存
的
大模型
也
能
运行。
去 GitHub 看仓库
复制链接
标签
cuda
gguf
llama-cpp
llm
metal
mixture-of-experts
ssd
linux
同类项目
bigmoeonedge
861
基于
llama.cpp
的
本地
MoE
推理
引擎,
按需
从
闪存流式
读取
专家
权重,
让
超出
显存
的
大模型
在
手机、
笔记本
和
服务器
上
运行。
project-maya
3k
Project Maya
是
本
地
大模型
推理
引擎,
可
在
自有
GPU
上
运行
GLM、
DeepSeek、
MiniMax
并
提供
兼容 API
与
面板。
atomic-agent
3.7k
本
地
优先
的
通用
智
能
体,
可
浏览
网页、
读写
文件、
执行
命令
并
跨会
话
记忆,
通过
终端
直接
使用。
sglang
38.9k
面
向
大模型
与
多
模态
模型
的
高性
能
推理
服务
框架,
优化
智
能
体
负载、
大规模
serving
与
强化
学习 rollout。
llamafile
26.6k
将
大模型
打包
为
单文件
可
执行
程序,
无
需
安装即
可
在
多
系统本
地
运行
LLM
与
语音识别。
LMCache
12.4k
面
向
大模型
推理
的
KV
缓存
管理层,
实现
跨
引擎持久化
复用
与
可
观测,
显著降低
首字
延迟
提升
吞吐。
1226
cuda,gguf,llama-cpp
基于 llama.cpp 的本地大模型推理引擎,从 SSD 流式加载 MoE 专家,让超出内存或显存的大模型也能运行。
←
上一个
autocve
下一个
→
persona-quickshell