Geführtes Decodieren und seine entscheidende Rolle bei der retrieval-augmentierten Generierung

Guided Decoding and Its Critical Role in Retrieval-Augmented Generation

September 8, 2025

papers.authors: Özgür Uğur, Musa Yılmaz, Esra Şavirdi, Özay Ezerceli, Mahmut El Huseyni, Selva Taş, Reyhan Bayraktar

cs.AI

papers.abstract

Die Integration von Large Language Models (LLMs) in verschiedene Anwendungen hat den Bedarf an strukturierten und zuverlässigen Antworten verstärkt. Eine zentrale Herausforderung in Retrieval-Augmented Generation (RAG)-Systemen besteht darin, sicherzustellen, dass die Ausgaben den erwarteten Formaten entsprechen und gleichzeitig Halluzinationen minimiert werden. Diese Studie untersucht die Rolle von geführtem Decodieren in RAG-Systemen und vergleicht drei Methoden – Outlines, XGrammar und LM Format Enforcer – in verschiedenen mehrstufigen Prompting-Setups (0-turn, 1-turn und 2-turn). Durch die Bewertung von Erfolgsraten, Halluzinationsraten und Ausgabequalität liefern wir Einblicke in deren Leistung und Anwendbarkeit. Unsere Ergebnisse zeigen, wie mehrstufige Interaktionen das geführte Decodieren beeinflussen, und decken unerwartete Leistungsvariationen auf, die die Methodenauswahl für spezifische Anwendungsfälle informieren können. Diese Arbeit trägt zum Verständnis der strukturierten Ausgabegenerierung in RAG-Systemen bei und bietet sowohl theoretische Erkenntnisse als auch praktische Leitlinien für den Einsatz von LLMs.

English

The integration of Large Language Models (LLMs) into various applications has driven the need for structured and reliable responses. A key challenge in Retrieval-Augmented Generation (RAG) systems is ensuring that outputs align with expected formats while minimizing hallucinations. This study examines the role of guided decoding in RAG systems, comparing three methods, Outlines, XGrammar, and LM Format Enforcer, across different multi-turn prompting setups (0-turn, 1-turn, and 2-turn). By evaluating success rates, hallucination rates, and output quality, we provide insights into their performance and applicability. Our findings reveal how multi-turn interactions influence guided decoding, uncovering unexpected performance variations that can inform method selection for specific use cases. This work advances the understanding of structured output generation in RAG systems, offering both theoretical insights and practical guidance for LLM deployment.