Hugging Face Blog·· 9 天前精选AI 评分62
Hugging Face 发布 tokenizers v1 候选版，编码速度提升 3 至 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1 候选版，在 Apple M4 Max 单线程下编码速度比 v0.23 快 3 到 30 倍，八线程扩展效率为 76%。v1 保持输出 token ID 与 API 不变，通过位流分割、词缓存和无分配合并循环等优化实现加速，现已在 crates.io 提供预发布版本。
推荐理由
原文给出了 tokenizers v1 相对 v0.23 的实测加速倍数和关键优化手段，读者可据此判断升级到新版本对自身工作流的收益。
来源：Hugging Face Blog · huggingface.co