WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
tilert
tile-ai/tilert
面
向
超大
模型
的
超低
延
迟
大模型
推理
运行
时,
采用
分片
编译
调度
与
MTP
加速,
支持
与
vLLM
解耦
部署。
去 GitHub 看仓库
复制链接
同类项目
cc-switch
144.2k
管理
多
家
编
码
助手
的
桌面
工具,
一键
切换
API
供
应商
并
集中
管理
MCP、
技能
与
提示
词
等
多
项
配置。
rtk
83.4k
常
驻
CLI
输出
过
滤压
缩
代理,
拦截百
余
种
开发
命令
输出
以
节省
智
能
体
上
下文,
低
开销
服务
AI
编码
会话。
OmniRoute
76.5k
免费
开源
AI
网关,
统
一
接入
352家
供
应商
1200余
模型,
提供
配额
感知
自动
fallback
与
Token
压缩,
供编程智
能
体
调用。
free-claude-code
60.5k
为
多
个
编码
智
能
体
提供
多
供
应商
故障
转移
与
统一
模型
管理
的
网关
配套
工具。
privateGPT
57.6k
将
本
地
模型
变为
生产
级
AI
应用
API层
的
开源
后端,
提供
检索、
工具、
MCP
与
数据
库
能力
支撑
上
层
应
用
构建。
whisper.cpp
54.4k
Whisper
模型
的
纯C
/C++
高性
能
推理
实现,
无
依赖
跨
平台,
支持量化
与
多
硬件
加速
及
多
语言
绑定。
1861
面向超大模型的超低延迟大模型推理运行时,采用分片编译调度与MTP加速,支持与vLLM解耦部署。
←
上一个
trpc-agent-go
下一个
→
wireguard-manager