581DEC 1800:00
articleHuggingFace Blog6 mo. ago
Tokenization in Transformers v5: Simpler, Clearer, and More Modular
L’article détaille la refonte des tokenizers dans Transformers v5 : séparation de l’architecture du tokenizer et du vocabulaire entraîné, pipeline de tokenisation modulaire (normalizer, pre-tokenizer, modèle, post-processor), et utilisation simplifiée via AutoTokenizer. Cela permet d’inspecter, personnaliser et entraîner des tokenizers avec beaucoup moins de friction, en s’appuyant sur un backend rapide en Rust.