RetroLLM : Donner aux grands modèles de langage la capacité de récupérer des preuves détaillées lors de la génération

RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation

December 16, 2024

Auteurs: Xiaoxi Li, Jiajie Jin, Yujia Zhou, Yongkang Wu, Zhonghua Li, Qi Ye, Zhicheng Dou

cs.AI

Résumé

Les grands modèles de langage (LLM) présentent des capacités génératives remarquables mais souffrent souvent d'hallucinations. La génération augmentée par récupération (RAG) offre une solution efficace en incorporant des connaissances externes, mais les méthodes existantes rencontrent encore plusieurs limitations : coûts supplémentaires de déploiement de récupérateurs séparés, jetons d'entrée redondants issus de fragments de texte récupérés, et le manque d'optimisation conjointe de la récupération et de la génération. Pour résoudre ces problèmes, nous proposons RetroLLM, un cadre unifié qui intègre la récupération et la génération dans un processus unique et cohérent, permettant aux LLM de générer directement des preuves détaillées à partir du corpus avec un décodage contraint. De plus, pour atténuer les faux élagages dans le processus de génération de preuves contraintes, nous introduisons (1) des contraintes hiérarchiques de l'index FM, qui génèrent des indices contraints par le corpus pour identifier un sous-ensemble de documents pertinents avant la génération de preuves, réduisant ainsi l'espace de décodage non pertinent ; et (2) une stratégie de décodage contrainte tournée vers l'avenir, qui prend en compte la pertinence des séquences futures pour améliorer la précision des preuves. Des expériences approfondies sur cinq ensembles de données de questions-réponses en domaine ouvert démontrent les performances supérieures de RetroLLM tant pour les tâches en domaine que hors domaine. Le code est disponible sur https://github.com/sunnynexus/RetroLLM.

English

Large language models (LLMs) exhibit remarkable generative capabilities but often suffer from hallucinations. Retrieval-augmented generation (RAG) offers an effective solution by incorporating external knowledge, but existing methods still face several limitations: additional deployment costs of separate retrievers, redundant input tokens from retrieved text chunks, and the lack of joint optimization of retrieval and generation. To address these issues, we propose RetroLLM, a unified framework that integrates retrieval and generation into a single, cohesive process, enabling LLMs to directly generate fine-grained evidence from the corpus with constrained decoding. Moreover, to mitigate false pruning in the process of constrained evidence generation, we introduce (1) hierarchical FM-Index constraints, which generate corpus-constrained clues to identify a subset of relevant documents before evidence generation, reducing irrelevant decoding space; and (2) a forward-looking constrained decoding strategy, which considers the relevance of future sequences to improve evidence accuracy. Extensive experiments on five open-domain QA datasets demonstrate RetroLLM's superior performance across both in-domain and out-of-domain tasks. The code is available at https://github.com/sunnynexus/RetroLLM.