articleHuggingFace Blog
Creating custom kernels for the AMD MI300
Hugging Face and AMD optimize custom kernels for MI300X to boost Llama 3.1 405B inference in FP8 on 8 GPUs. They combine fused residual/RMS norm/FP8 conversion, SwiGLU, and a Skinny GEMM kernel, with benchmarks and open-source tooling in hf-rocm-kernels.
publié 09 JUIL. 2025★★★★★
Lire la sourcehuggingface.co/blog/mi300kernels
[*] Ouvre dans un nouvel onglet · pas de tracking côté Lantern
- Source
- HuggingFace Blog
- Ingéré
- 09 JUIL. 2025 · 19:10
- Score édito
- 4.0 / 5