A from-scratch Byte-Pair Encoding (BPE) tokeniser in pure Python. Train on any text, encode/decode interactively, zero dependencies.

  • 情报分类：项目价值、技术价值
  • 命中依据：bpe分词器开源项目
  • 来源：GitHub · AI 新项目
  • 原作者：paknikarvyom
  • 发布时间：2026/9/12 01:53:45