Accelerating Qwen3-8B Agent on Intel® Core™ Ultra with Depth-Pruned Draft Models

L’article présente l’accélération du Qwen3-8B (modèle agentique) sur Intel Core Ultra via la speculative decoding avec un modèle Qwen3-0.6B comme brouillon, puis un affinage par pruning de profondeur (6/28 couches) et finetuning, atteignant jusqu’à ~1,4× de speedup. Ces optimisent sont intégrables via OpenVINO.GenAI et compatibles avec smolagents pour déployer un agent local performant.

Source

HuggingFace Blog

Ingéré

29 SEPT. 2025 · 19:10

Score édito

4.0 / 5