Mejorando el razonamiento de los LLM mediante la escritura dinámica de notas para preguntas complejas de respuesta

Augmenting LLM Reasoning with Dynamic Notes Writing for Complex QA

May 22, 2025

Autores: Rishabh Maheshwary, Masoud Hashemi, Khyati Mahajan, Shiva Krishna Reddy Malay, Sai Rajeswar, Sathwik Tejaswi Madhusudhan, Spandana Gella, Vikas Yadav

cs.AI

Resumen

El RAG iterativo para la respuesta a preguntas de múltiples saltos enfrenta desafíos con contextos extensos y la acumulación de información irrelevante. Esto dificulta la capacidad de un modelo para procesar y razonar sobre el contenido recuperado, limitando su rendimiento. Si bien los métodos recientes se centran en comprimir la información recuperada, están restringidos al RAG de una sola ronda, requieren ajuste fino o carecen de escalabilidad en el RAG iterativo. Para abordar estos desafíos, proponemos la Escritura de Notas, un método que genera notas concisas y relevantes a partir de documentos recuperados en cada paso, reduciendo así el ruido y reteniendo solo la información esencial. Esto aumenta indirectamente la longitud efectiva del contexto de los Modelos de Lenguaje de Gran Escala (LLMs), permitiéndoles razonar y planificar de manera más efectiva mientras procesan volúmenes mayores de texto de entrada. La Escritura de Notas es independiente del marco de trabajo y puede integrarse con diferentes métodos de RAG iterativo. Demostramos su efectividad con tres métodos de RAG iterativo, en dos modelos y cuatro conjuntos de datos de evaluación. La Escritura de Notas produce una mejora promedio de 15.6 puntos porcentuales en general, con un aumento mínimo en los tokens de salida.

English

Iterative RAG for multi-hop question answering faces challenges with lengthy contexts and the buildup of irrelevant information. This hinders a model's capacity to process and reason over retrieved content and limits performance. While recent methods focus on compressing retrieved information, they are either restricted to single-round RAG, require finetuning or lack scalability in iterative RAG. To address these challenges, we propose Notes Writing, a method that generates concise and relevant notes from retrieved documents at each step, thereby reducing noise and retaining only essential information. This indirectly increases the effective context length of Large Language Models (LLMs), enabling them to reason and plan more effectively while processing larger volumes of input text. Notes Writing is framework agnostic and can be integrated with different iterative RAG methods. We demonstrate its effectiveness with three iterative RAG methods, across two models and four evaluation datasets. Notes writing yields an average improvement of 15.6 percentage points overall, with minimal increase in output tokens.