Apriel-H1: The Surprising Key to Distilling Efficient Reasoning Models

L’article montre que distiller un modèle de raisonnement 15B vers un hybride Mamba peut doubler le throughput avec peu de perte de qualité. La clé non intuitive : utiliser des traces de raisonnement de haute qualité (ex. proofs multi-étapes) plutôt que du pretraining général, et appliquer une KL inverse. Idéal pour qui doit optimiser inference sans réentraînement depuis zéro.

Source

HuggingFace Blog

Ingéré

19 NOV. 2025 · 19:10

Score édito

5.0 / 5