Tokenization in Transformers v5: Simpler, Clearer, and More Modular

L’article détaille la refonte des tokenizers dans Transformers v5 : séparation de l’architecture du tokenizer et du vocabulaire entraîné, pipeline de tokenisation modulaire (normalizer, pre-tokenizer, modèle, post-processor), et utilisation simplifiée via AutoTokenizer. Cela permet d’inspecter, personnaliser et entraîner des tokenizers avec beaucoup moins de friction, en s’appuyant sur un backend rapide en Rust.

Source

HuggingFace Blog

Ingested

DEC 18, 2025 · 19:10

Editorial score

4.0 / 5