English
库 / 框架

gigatoken

marcelroed/gigatoken

超高速语言模型分词库,兼容主流分词器,号称达GB每秒吞吐。

标签