Granite 4.1 LLMs: How They’re Built

Granite 4.1 est une famille de LLMs dense, décodeur uniquement (3B/8B/30B) entraînés sur ~15T tokens avec une fenêtre allant jusqu’à 512K, via un pipeline de pré-entraînement en cinq phases et un apprentissage par RL (GRPO/DAPO). L’article détaille l’architecture (GQA, RoPE, SwiGLU, RMSNorm, embeddings partagés) et une stratégie de données axée sur la qualité, incluant un supervisé finetuning (~4.1M échantillons) et une longue formation au contexte.

Source

HuggingFace Blog

Ingéré

29 AVR. 2026 · 04:08

Score édito

4.0 / 5