Aprimorando o Raciocínio de LLMs com Escrita Dinâmica de Notas para QA Complexa

Augmenting LLM Reasoning with Dynamic Notes Writing for Complex QA

May 22, 2025

Autores: Rishabh Maheshwary, Masoud Hashemi, Khyati Mahajan, Shiva Krishna Reddy Malay, Sai Rajeswar, Sathwik Tejaswi Madhusudhan, Spandana Gella, Vikas Yadav

cs.AI

Resumo

O RAG iterativo para respostas a perguntas de múltiplos saltos enfrenta desafios com contextos extensos e o acúmulo de informações irrelevantes. Isso prejudica a capacidade de um modelo de processar e raciocinar sobre o conteúdo recuperado e limita o desempenho. Embora métodos recentes se concentrem na compressão das informações recuperadas, eles são restritos ao RAG de rodada única, exigem ajuste fino ou carecem de escalabilidade no RAG iterativo. Para abordar esses desafios, propomos o método Notes Writing, que gera notas concisas e relevantes a partir de documentos recuperados em cada etapa, reduzindo assim o ruído e mantendo apenas as informações essenciais. Isso aumenta indiretamente o comprimento efetivo do contexto dos Modelos de Linguagem de Grande Escala (LLMs), permitindo que eles raciocinem e planejem de forma mais eficaz ao processar volumes maiores de texto de entrada. O Notes Writing é independente de framework e pode ser integrado a diferentes métodos de RAG iterativo. Demonstramos sua eficácia com três métodos de RAG iterativo, em dois modelos e quatro conjuntos de dados de avaliação. O Notes Writing resulta em uma melhoria média de 15,6 pontos percentuais no geral, com um aumento mínimo no número de tokens de saída.

English

Iterative RAG for multi-hop question answering faces challenges with lengthy contexts and the buildup of irrelevant information. This hinders a model's capacity to process and reason over retrieved content and limits performance. While recent methods focus on compressing retrieved information, they are either restricted to single-round RAG, require finetuning or lack scalability in iterative RAG. To address these challenges, we propose Notes Writing, a method that generates concise and relevant notes from retrieved documents at each step, thereby reducing noise and retaining only essential information. This indirectly increases the effective context length of Large Language Models (LLMs), enabling them to reason and plan more effectively while processing larger volumes of input text. Notes Writing is framework agnostic and can be integrated with different iterative RAG methods. We demonstrate its effectiveness with three iterative RAG methods, across two models and four evaluation datasets. Notes writing yields an average improvement of 15.6 percentage points overall, with minimal increase in output tokens.