Le décodage guidé et son rôle crucial dans la génération augmentée par récupération
Guided Decoding and Its Critical Role in Retrieval-Augmented Generation
September 8, 2025
papers.authors: Özgür Uğur, Musa Yılmaz, Esra Şavirdi, Özay Ezerceli, Mahmut El Huseyni, Selva Taş, Reyhan Bayraktar
cs.AI
papers.abstract
L'intégration des modèles de langage de grande taille (LLMs) dans diverses applications a accru le besoin de réponses structurées et fiables. Un défi majeur dans les systèmes de génération augmentée par récupération (RAG) consiste à garantir que les sorties respectent les formats attendus tout en minimisant les hallucinations. Cette étude examine le rôle du décodage guidé dans les systèmes RAG, en comparant trois méthodes : Outlines, XGrammar et LM Format Enforcer, dans différents contextes d'invites multi-tours (0 tour, 1 tour et 2 tours). En évaluant les taux de réussite, les taux d'hallucination et la qualité des sorties, nous fournissons des insights sur leurs performances et leur applicabilité. Nos résultats révèlent comment les interactions multi-tours influencent le décodage guidé, mettant en lumière des variations de performances inattendues qui peuvent orienter le choix des méthodes pour des cas d'usage spécifiques. Ce travail approfondit la compréhension de la génération de sorties structurées dans les systèmes RAG, offrant à la fois des perspectives théoriques et des conseils pratiques pour le déploiement des LLMs.
English
The integration of Large Language Models (LLMs) into various applications has
driven the need for structured and reliable responses. A key challenge in
Retrieval-Augmented Generation (RAG) systems is ensuring that outputs align
with expected formats while minimizing hallucinations. This study examines the
role of guided decoding in RAG systems, comparing three methods, Outlines,
XGrammar, and LM Format Enforcer, across different multi-turn prompting setups
(0-turn, 1-turn, and 2-turn). By evaluating success rates, hallucination rates,
and output quality, we provide insights into their performance and
applicability. Our findings reveal how multi-turn interactions influence guided
decoding, uncovering unexpected performance variations that can inform method
selection for specific use cases. This work advances the understanding of
structured output generation in RAG systems, offering both theoretical insights
and practical guidance for LLM deployment.