Het verbeteren van LLM-redenering met dynamisch notities schrijven voor complexe QA

Augmenting LLM Reasoning with Dynamic Notes Writing for Complex QA

May 22, 2025

Auteurs: Rishabh Maheshwary, Masoud Hashemi, Khyati Mahajan, Shiva Krishna Reddy Malay, Sai Rajeswar, Sathwik Tejaswi Madhusudhan, Spandana Gella, Vikas Yadav

cs.AI

Samenvatting

Iteratieve RAG voor meerstaps vraag-antwoordtaken wordt geconfronteerd met uitdagingen bij lange contexten en de ophoping van irrelevante informatie. Dit belemmert het vermogen van een model om opgehaalde inhoud te verwerken en erover te redeneren, en beperkt de prestaties. Hoewel recente methoden zich richten op het comprimeren van opgehaalde informatie, zijn ze ofwel beperkt tot eenmalige RAG, vereisen ze finetuning of missen ze schaalbaarheid in iteratieve RAG. Om deze uitdagingen aan te pakken, stellen we Notes Writing voor, een methode die op elk stap beknopte en relevante notities genereert uit opgehaalde documenten, waardoor ruis wordt verminderd en alleen essentiële informatie behouden blijft. Dit vergroot indirect de effectieve contextlengte van Large Language Models (LLMs), waardoor ze beter kunnen redeneren en plannen bij het verwerken van grotere hoeveelheden invoertekst. Notes Writing is framework-agnostisch en kan worden geïntegreerd met verschillende iteratieve RAG-methoden. We demonstreren de effectiviteit ervan met drie iteratieve RAG-methoden, over twee modellen en vier evaluatiedatasets. Notes Writing resulteert in een gemiddelde verbetering van 15,6 procentpunten in totaal, met een minimale toename van uitvoertokens.

English

Iterative RAG for multi-hop question answering faces challenges with lengthy contexts and the buildup of irrelevant information. This hinders a model's capacity to process and reason over retrieved content and limits performance. While recent methods focus on compressing retrieved information, they are either restricted to single-round RAG, require finetuning or lack scalability in iterative RAG. To address these challenges, we propose Notes Writing, a method that generates concise and relevant notes from retrieved documents at each step, thereby reducing noise and retaining only essential information. This indirectly increases the effective context length of Large Language Models (LLMs), enabling them to reason and plan more effectively while processing larger volumes of input text. Notes Writing is framework agnostic and can be integrated with different iterative RAG methods. We demonstrate its effectiveness with three iterative RAG methods, across two models and four evaluation datasets. Notes writing yields an average improvement of 15.6 percentage points overall, with minimal increase in output tokens.