AI工具

llama.cpp

prismml-eng/llama.cpp

大模型本地推理引擎分支,支持低比特格式与多后端推理的底层服务设施。