minbpe

实现BPE（字节对编码）分词算法的轻量级Python库，用于LLM tokenizer的训练、编码和解码，包含BasicTokenizer、RegexTokenizer和GPT4Tokenizer等实现。