RetroLLM: Potenciando Modelos de Lenguaje Grandes para Recuperar Evidencia Detallada dentro de la Generación

RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation

December 16, 2024

Autores: Xiaoxi Li, Jiajie Jin, Yujia Zhou, Yongkang Wu, Zhonghua Li, Qi Ye, Zhicheng Dou

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) exhiben notables capacidades generativas pero a menudo sufren de alucinaciones. La generación aumentada por recuperación (RAG) ofrece una solución efectiva al incorporar conocimiento externo, pero los métodos existentes aún enfrentan varias limitaciones: costos adicionales de implementación de recuperadores separados, tokens de entrada redundantes de fragmentos de texto recuperados y la falta de optimización conjunta de recuperación y generación. Para abordar estos problemas, proponemos RetroLLM, un marco unificado que integra la recuperación y generación en un solo proceso cohesivo, permitiendo a los LLMs generar directamente evidencia detallada del corpus con decodificación restringida. Además, para mitigar la poda falsa en el proceso de generación de evidencia restringida, introducimos (1) restricciones jerárquicas de índice FM, que generan pistas restringidas por el corpus para identificar un subconjunto de documentos relevantes antes de la generación de evidencia, reduciendo el espacio de decodificación irrelevante; y (2) una estrategia de decodificación restringida prospectiva, que considera la relevancia de secuencias futuras para mejorar la precisión de la evidencia. Experimentos extensos en cinco conjuntos de datos de preguntas y respuestas de dominio abierto demuestran el rendimiento superior de RetroLLM en tareas tanto dentro como fuera del dominio. El código está disponible en https://github.com/sunnynexus/RetroLLM.

English

Large language models (LLMs) exhibit remarkable generative capabilities but often suffer from hallucinations. Retrieval-augmented generation (RAG) offers an effective solution by incorporating external knowledge, but existing methods still face several limitations: additional deployment costs of separate retrievers, redundant input tokens from retrieved text chunks, and the lack of joint optimization of retrieval and generation. To address these issues, we propose RetroLLM, a unified framework that integrates retrieval and generation into a single, cohesive process, enabling LLMs to directly generate fine-grained evidence from the corpus with constrained decoding. Moreover, to mitigate false pruning in the process of constrained evidence generation, we introduce (1) hierarchical FM-Index constraints, which generate corpus-constrained clues to identify a subset of relevant documents before evidence generation, reducing irrelevant decoding space; and (2) a forward-looking constrained decoding strategy, which considers the relevance of future sequences to improve evidence accuracy. Extensive experiments on five open-domain QA datasets demonstrate RetroLLM's superior performance across both in-domain and out-of-domain tasks. The code is available at https://github.com/sunnynexus/RetroLLM.