Amélioration du raisonnement des LLM grâce à la prise de notes dynamique pour les questions complexes

Augmenting LLM Reasoning with Dynamic Notes Writing for Complex QA

May 22, 2025

Auteurs: Rishabh Maheshwary, Masoud Hashemi, Khyati Mahajan, Shiva Krishna Reddy Malay, Sai Rajeswar, Sathwik Tejaswi Madhusudhan, Spandana Gella, Vikas Yadav

cs.AI

Résumé

Le RAG itératif pour le question-réponse multi-sauts rencontre des défis avec des contextes longs et l'accumulation d'informations non pertinentes. Cela entrave la capacité d'un modèle à traiter et à raisonner sur le contenu récupéré, limitant ainsi ses performances. Bien que les méthodes récentes se concentrent sur la compression des informations récupérées, elles sont soit limitées au RAG en une seule étape, nécessitent un ajustement fin ou manquent de scalabilité dans le RAG itératif. Pour relever ces défis, nous proposons Notes Writing, une méthode qui génère des notes concises et pertinentes à partir des documents récupérés à chaque étape, réduisant ainsi le bruit et ne conservant que les informations essentielles. Cela augmente indirectement la longueur effective du contexte des modèles de langage de grande taille (LLMs), leur permettant de raisonner et de planifier plus efficacement tout en traitant des volumes de texte d'entrée plus importants. Notes Writing est indépendant du cadre et peut être intégré à différentes méthodes de RAG itératif. Nous démontrons son efficacité avec trois méthodes de RAG itératif, sur deux modèles et quatre ensembles de données d'évaluation. Notes Writing entraîne une amélioration moyenne de 15,6 points de pourcentage au total, avec une augmentation minimale des tokens de sortie.

English

Iterative RAG for multi-hop question answering faces challenges with lengthy contexts and the buildup of irrelevant information. This hinders a model's capacity to process and reason over retrieved content and limits performance. While recent methods focus on compressing retrieved information, they are either restricted to single-round RAG, require finetuning or lack scalability in iterative RAG. To address these challenges, we propose Notes Writing, a method that generates concise and relevant notes from retrieved documents at each step, thereby reducing noise and retaining only essential information. This indirectly increases the effective context length of Large Language Models (LLMs), enabling them to reason and plan more effectively while processing larger volumes of input text. Notes Writing is framework agnostic and can be integrated with different iterative RAG methods. We demonstrate its effectiveness with three iterative RAG methods, across two models and four evaluation datasets. Notes writing yields an average improvement of 15.6 percentage points overall, with minimal increase in output tokens.