Verbesserung des LLM-Denkens durch dynamisches Notizenschreiben für komplexe Frage-Antwort-Systeme

Augmenting LLM Reasoning with Dynamic Notes Writing for Complex QA

May 22, 2025

Autoren: Rishabh Maheshwary, Masoud Hashemi, Khyati Mahajan, Shiva Krishna Reddy Malay, Sai Rajeswar, Sathwik Tejaswi Madhusudhan, Spandana Gella, Vikas Yadav

cs.AI

Zusammenfassung

Iterative RAG für Multi-Hop-Fragebeantwortung steht vor Herausforderungen bei langen Kontexten und der Anhäufung irrelevanter Informationen. Dies beeinträchtigt die Fähigkeit eines Modells, abgerufene Inhalte zu verarbeiten und darüber zu schlussfolgern, und begrenzt die Leistung. Während sich aktuelle Methoden auf die Komprimierung abgerufener Informationen konzentrieren, sind diese entweder auf Single-Round-RAG beschränkt, erfordern Feinabstimmung oder fehlt es ihnen an Skalierbarkeit in iterativem RAG. Um diese Herausforderungen zu bewältigen, schlagen wir Notes Writing vor, eine Methode, die in jedem Schritt prägnante und relevante Notizen aus abgerufenen Dokumenten generiert und dadurch Rauschen reduziert und nur wesentliche Informationen beibehält. Dies erhöht indirekt die effektive Kontextlänge von Large Language Models (LLMs), wodurch sie in der Lage sind, effektiver zu schlussfolgern und zu planen, während sie größere Mengen an Eingabetext verarbeiten. Notes Writing ist framework-agnostisch und kann in verschiedene iterative RAG-Methoden integriert werden. Wir demonstrieren seine Wirksamkeit mit drei iterativen RAG-Methoden, über zwei Modelle und vier Evaluierungsdatensätze hinweg. Notes Writing führt zu einer durchschnittlichen Verbesserung von 15,6 Prozentpunkten insgesamt, bei minimaler Erhöhung der Ausgabe-Tokens.

English

Iterative RAG for multi-hop question answering faces challenges with lengthy contexts and the buildup of irrelevant information. This hinders a model's capacity to process and reason over retrieved content and limits performance. While recent methods focus on compressing retrieved information, they are either restricted to single-round RAG, require finetuning or lack scalability in iterative RAG. To address these challenges, we propose Notes Writing, a method that generates concise and relevant notes from retrieved documents at each step, thereby reducing noise and retaining only essential information. This indirectly increases the effective context length of Large Language Models (LLMs), enabling them to reason and plan more effectively while processing larger volumes of input text. Notes Writing is framework agnostic and can be integrated with different iterative RAG methods. We demonstrate its effectiveness with three iterative RAG methods, across two models and four evaluation datasets. Notes writing yields an average improvement of 15.6 percentage points overall, with minimal increase in output tokens.