Направленное декодирование и его ключевая роль в генерации с усилением поиском
Guided Decoding and Its Critical Role in Retrieval-Augmented Generation
September 8, 2025
Авторы: Özgür Uğur, Musa Yılmaz, Esra Şavirdi, Özay Ezerceli, Mahmut El Huseyni, Selva Taş, Reyhan Bayraktar
cs.AI
Аннотация
Интеграция крупных языковых моделей (LLM) в различные приложения обусловила необходимость получения структурированных и надежных ответов. Одной из ключевых проблем в системах генерации с использованием извлечения информации (RAG) является обеспечение соответствия выходных данных ожидаемым форматам при минимизации галлюцинаций. В данном исследовании рассматривается роль управляемого декодирования в системах RAG, сравниваются три метода — Outlines, XGrammar и LM Format Enforcer — в различных конфигурациях многошаговых запросов (0-шаговые, 1-шаговые и 2-шаговые). Оценивая показатели успешности, частоту галлюцинаций и качество выходных данных, мы предоставляем инсайты об их производительности и применимости. Наши результаты показывают, как многошаговые взаимодействия влияют на управляемое декодирование, выявляя неожиданные вариации в производительности, которые могут помочь в выборе метода для конкретных задач. Эта работа углубляет понимание генерации структурированных выходных данных в системах RAG, предлагая как теоретические инсайты, так и практические рекомендации для внедрения LLM.
English
The integration of Large Language Models (LLMs) into various applications has
driven the need for structured and reliable responses. A key challenge in
Retrieval-Augmented Generation (RAG) systems is ensuring that outputs align
with expected formats while minimizing hallucinations. This study examines the
role of guided decoding in RAG systems, comparing three methods, Outlines,
XGrammar, and LM Format Enforcer, across different multi-turn prompting setups
(0-turn, 1-turn, and 2-turn). By evaluating success rates, hallucination rates,
and output quality, we provide insights into their performance and
applicability. Our findings reveal how multi-turn interactions influence guided
decoding, uncovering unexpected performance variations that can inform method
selection for specific use cases. This work advances the understanding of
structured output generation in RAG systems, offering both theoretical insights
and practical guidance for LLM deployment.