RetroLLM: Capacitando Modelos de Linguagem de Grande Escala para Recuperar Evidências Detalhadas durante a Geração

RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation

December 16, 2024

Autores: Xiaoxi Li, Jiajie Jin, Yujia Zhou, Yongkang Wu, Zhonghua Li, Qi Ye, Zhicheng Dou

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) exibem notáveis capacidades generativas, mas frequentemente sofrem de alucinações. A geração aumentada por recuperação (RAG) oferece uma solução eficaz ao incorporar conhecimento externo, porém os métodos existentes ainda enfrentam várias limitações: custos adicionais de implantação de recuperadores separados, tokens de entrada redundantes de trechos de texto recuperados e a falta de otimização conjunta de recuperação e geração. Para lidar com essas questões, propomos o RetroLLM, um framework unificado que integra recuperação e geração em um único processo coeso, permitindo que LLMs gerem diretamente evidências detalhadas do corpus com decodificação restrita. Além disso, para mitigar a poda falsa no processo de geração de evidências restritas, introduzimos (1) restrições hierárquicas do índice FM, que geram pistas restritas ao corpus para identificar um subconjunto de documentos relevantes antes da geração de evidências, reduzindo o espaço de decodificação irrelevante; e (2) uma estratégia de decodificação restrita prospectiva, que considera a relevância de sequências futuras para melhorar a precisão das evidências. Experimentos extensivos em cinco conjuntos de dados de perguntas e respostas de domínio aberto demonstram o desempenho superior do RetroLLM em tarefas tanto dentro quanto fora do domínio. O código está disponível em https://github.com/sunnynexus/RetroLLM.

English

Large language models (LLMs) exhibit remarkable generative capabilities but often suffer from hallucinations. Retrieval-augmented generation (RAG) offers an effective solution by incorporating external knowledge, but existing methods still face several limitations: additional deployment costs of separate retrievers, redundant input tokens from retrieved text chunks, and the lack of joint optimization of retrieval and generation. To address these issues, we propose RetroLLM, a unified framework that integrates retrieval and generation into a single, cohesive process, enabling LLMs to directly generate fine-grained evidence from the corpus with constrained decoding. Moreover, to mitigate false pruning in the process of constrained evidence generation, we introduce (1) hierarchical FM-Index constraints, which generate corpus-constrained clues to identify a subset of relevant documents before evidence generation, reducing irrelevant decoding space; and (2) a forward-looking constrained decoding strategy, which considers the relevance of future sequences to improve evidence accuracy. Extensive experiments on five open-domain QA datasets demonstrate RetroLLM's superior performance across both in-domain and out-of-domain tasks. The code is available at https://github.com/sunnynexus/RetroLLM.