articleLatent Spaceinference-engineering · model-quantization+ NEW
The Inference Engineering Masterclass — Philip Kiely & Ali Taha, Baseten
Analyse les techniques d'inférence en production: routing mémoire, préfill/décode, quantisation, KV-cache, et leur impact sur performance et fiabilité des API LLM.
by Latent.Spacepublished AUG 03, 2026★★★★★
Read the sourcewww.latent.space/p/inference-eng
[*] Opens in a new tab · no tracking on Lantern's side
- Source
- Latent Space
- Ingested
- AUG 03, 2026 · 18:39
- Editorial score
- 4.0 / 5