articleHuggingFace Blogmodularity · pretraining
EMO: Pretraining mixture of experts for emergent modularity
Présente EMO, un MoE qui fait émerger la modularité des données via un routage par documents, autorisant l'usage sélectif d'experts tout en conservant les performances.
par Kyle Wiggers, Ryan Wangpublié 08 MAI 2026★★★★★
Lire la sourcehuggingface.co/blog/allenai/emo
[*] Ouvre dans un nouvel onglet · pas de tracking côté Lantern
Extrait · ingestion Lantern
Présente EMO, un MoE qui fait émerger la modularité des données via un routage par documents, autorisant l'usage sélectif d'experts tout en conservant les performances.
Extrait automatique · ~168 caractèresvoir la source complète →
- Source
- HuggingFace Blog
- Ingéré
- 08 MAI 2026 · 08:30
- Score édito
- 3.7 / 5