Gigatoken：一个斯坦福博士生把 BPE 分词器写到了 24.53 GB/s

2026 年 7 月 22 日，Hacker News 首页挂了一个 Rust 分词器，615 points，119 条评论。标题数字让人怀疑浏览器渲染错了：比 HuggingFace tokenizers 快 989 倍。 评论区没怎么撕数字真假，撕的是”这数字有用吗”。 一个典型的反对声音来自 Amdahl 定律：标准 GPU 推理里，tokenization 占不到 0.1% 的 wall time。把字车加速 1000 倍，整趟高铁不会快一秒。这个逻辑没错。但当你把视野从”