articleHuggingFace Blogmodularity · pretraining
EMO: Pretraining mixture of experts for emergent modularity
Présente EMO, un MoE qui fait émerger la modularité des données via un routage par documents, autorisant l'usage sélectif d'experts tout en conservant les performances.
by Kyle Wiggers, Ryan Wangpublished MAY 08, 2026★★★★★
Read the sourcehuggingface.co/blog/allenai/emo
[*] Opens in a new tab · no tracking on Lantern's side
Excerpt · Lantern ingestion
Présente EMO, un MoE qui fait émerger la modularité des données via un routage par documents, autorisant l'usage sélectif d'experts tout en conservant les performances.
Auto-generated excerpt · ~168 charactersview full source →
- Source
- HuggingFace Blog
- Ingested
- MAY 08, 2026 · 08:30
- Editorial score
- 3.7 / 5