Potenziare il ragionamento dei LLM con la scrittura dinamica di note per QA complessi

Augmenting LLM Reasoning with Dynamic Notes Writing for Complex QA

May 22, 2025

Autori: Rishabh Maheshwary, Masoud Hashemi, Khyati Mahajan, Shiva Krishna Reddy Malay, Sai Rajeswar, Sathwik Tejaswi Madhusudhan, Spandana Gella, Vikas Yadav

cs.AI

Abstract

Il RAG iterativo per il rispondere a domande multi-hop affronta sfide legate a contesti estesi e all'accumulo di informazioni irrilevanti. Ciò ostacola la capacità di un modello di elaborare e ragionare sui contenuti recuperati, limitandone le prestazioni. Sebbene i metodi recenti si concentrino sulla compressione delle informazioni recuperate, sono limitati al RAG a singolo round, richiedono un fine-tuning o mancano di scalabilità nel RAG iterativo. Per affrontare queste sfide, proponiamo Notes Writing, un metodo che genera note concise e pertinenti dai documenti recuperati a ogni passaggio, riducendo così il rumore e mantenendo solo le informazioni essenziali. Ciò aumenta indirettamente la lunghezza effettiva del contesto dei Large Language Models (LLM), consentendo loro di ragionare e pianificare in modo più efficace durante l'elaborazione di volumi maggiori di testo in input. Notes Writing è indipendente dal framework e può essere integrato con diversi metodi di RAG iterativo. Ne dimostriamo l'efficacia con tre metodi di RAG iterativo, su due modelli e quattro dataset di valutazione. Notes Writing produce un miglioramento medio complessivo di 15,6 punti percentuali, con un aumento minimo dei token in output.

English

Iterative RAG for multi-hop question answering faces challenges with lengthy contexts and the buildup of irrelevant information. This hinders a model's capacity to process and reason over retrieved content and limits performance. While recent methods focus on compressing retrieved information, they are either restricted to single-round RAG, require finetuning or lack scalability in iterative RAG. To address these challenges, we propose Notes Writing, a method that generates concise and relevant notes from retrieved documents at each step, thereby reducing noise and retaining only essential information. This indirectly increases the effective context length of Large Language Models (LLMs), enabling them to reason and plan more effectively while processing larger volumes of input text. Notes Writing is framework agnostic and can be integrated with different iterative RAG methods. We demonstrate its effectiveness with three iterative RAG methods, across two models and four evaluation datasets. Notes writing yields an average improvement of 15.6 percentage points overall, with minimal increase in output tokens.