Tricks from OpenAI gpt-oss YOU can use with transformers

L'article détaille les optimisations techniques livrées avec GPT-OSS dans Hugging Face Transformers : kernels téléchargeables sur le Hub (dont RMSNorm et MoE), MXFP4 quantization, tensor/p expert parallelism, sliding window et continuous batching / Paged Attention. Ces features améliorent le chargement, l'inférence et le fine‑tuning des modèles tout en restant applicables aux autres modèles de la librairie.

Source

HuggingFace Blog

Ingéré

11 SEPT. 2025 · 19:10

Score édito

5.0 / 5