Decodifica Guidata e il Suo Ruolo Cruciale nella Generazione Aumentata dal Recupero

Guided Decoding and Its Critical Role in Retrieval-Augmented Generation

September 8, 2025

Autori: Özgür Uğur, Musa Yılmaz, Esra Şavirdi, Özay Ezerceli, Mahmut El Huseyni, Selva Taş, Reyhan Bayraktar

cs.AI

Abstract

L'integrazione dei Large Language Models (LLM) in varie applicazioni ha aumentato la necessità di risposte strutturate e affidabili. Una delle principali sfide nei sistemi di Retrieval-Augmented Generation (RAG) è garantire che gli output siano allineati ai formati attesi, riducendo al minimo le allucinazioni. Questo studio esamina il ruolo del decoding guidato nei sistemi RAG, confrontando tre metodi: Outlines, XGrammar e LM Format Enforcer, in diverse configurazioni di prompt multi-turn (0-turn, 1-turn e 2-turn). Valutando i tassi di successo, i tassi di allucinazione e la qualità degli output, forniamo approfondimenti sulle loro prestazioni e applicabilità. I nostri risultati rivelano come le interazioni multi-turn influenzino il decoding guidato, evidenziando variazioni inaspettate nelle prestazioni che possono orientare la scelta del metodo per casi d'uso specifici. Questo lavoro contribuisce alla comprensione della generazione di output strutturati nei sistemi RAG, offrendo sia intuizioni teoriche che indicazioni pratiche per il deployment dei LLM.

English

The integration of Large Language Models (LLMs) into various applications has driven the need for structured and reliable responses. A key challenge in Retrieval-Augmented Generation (RAG) systems is ensuring that outputs align with expected formats while minimizing hallucinations. This study examines the role of guided decoding in RAG systems, comparing three methods, Outlines, XGrammar, and LM Format Enforcer, across different multi-turn prompting setups (0-turn, 1-turn, and 2-turn). By evaluating success rates, hallucination rates, and output quality, we provide insights into their performance and applicability. Our findings reveal how multi-turn interactions influence guided decoding, uncovering unexpected performance variations that can inform method selection for specific use cases. This work advances the understanding of structured output generation in RAG systems, offering both theoretical insights and practical guidance for LLM deployment.