A New Framework for Evaluating Voice Agents (EVA)

L'article présente EVA, un nouveau cadre d'évaluation conçu pour juger les agents vocaux conversationnels en intégrant simultanément l'exactitude de la tâche (EVA-A) et l'expérience utilisateur (EVA-X) sur des dialogues multi-tours réalistes. Il fournit un benchmark initial avec un dataset aéroportier de 50 scénarios et analyse vingt systèmes, révélant un compromis systématique entre précision et expérience. EVA est accompagné de données, de code et d'outils publiés.

Source

HuggingFace Blog

Ingested

MAR 24, 2026 · 19:10

Editorial score

5.0 / 5