MemReread: Verbetering van agentisch redeneren over lange context via geheugengeleid herlezen

Samenvatting

Om lang-context redeneertaken aan te pakken zonder de kwadratische complexiteit van standaard aandachtsmechanismen, zijn er benaderingen op basis van agentgeheugen ontstaan, die doorgaans een dynamisch bijgewerkt geheugen onderhouden bij het lineair verwerken van documentonderdelen. Om het potentiële verlies van latente bewijzen in dit memoriseer-tijdens-het-lezen-paradigma te beperken, hebben recente werken retrievalmodules geïntegreerd waarmee agenten informatie kunnen oproepen die eerder tijdens het overschrijven van het geheugen is weggegooid. Echter, retrieval-gebaseerd oproepen lijdt zowel onder bewijsverlies tijdens geheugenvorming als onder interferentie veroorzaakt door ongeldige queries. Om deze beperkingen te overwinnen, stellen we MemReread voor. Gebouwd op streaming lezen, omzeilt MemReread tussentijdse retrieval. Het activeert decompositie van vragen en herlezen wanneer het uiteindelijke geheugen ontoereikend is, waardoor het mogelijk wordt om indirecte feiten te herstellen die voortijdig zijn weggegooid. Dit ontwerp ondersteunt niet-lineair redeneren terwijl de inherente logische stroom van documentbegrip behouden blijft. Om de bruikbaarheid verder te vergroten, introduceren we een raamwerk voor versterkend leren dat de lengte-extrapolatiecapaciteit verbetert, terwijl dynamisch het aantal herleesbeurten wordt bepaald op basis van taakcomplexiteit, waardoor de rekenkosten flexibel worden beheerst. Uitgebreide experimenten tonen aan dat MemReread consequent beter presteert dan basisraamwerken op lang-context redeneertaken, terwijl lineaire tijdscomplexiteit ten opzichte van contextlengte behouden blijft.

English

To tackle long-context reasoning tasks without the quadratic complexity of standard attention mechanisms, approaches based on agent memory have emerged, which typically maintain a dynamically updated memory when linearly processing document chunks. To mitigate the potential loss of latent evidence in this memorize-while-reading paradigm, recent works have integrated retrieval modules that allow agents to recall information previously discarded during memory overwriting. However, retrieval-based recall suffers from both evidence loss during memory formation and interference induced by invalid queries. To overcome these limitations, we propose MemReread. Built upon streaming reading, MemReread circumvents intermediate retrieval. It triggers question decomposition and rereading when the final memory is insufficient, enabling the recovery of indirect facts that were prematurely discarded. This design supports non-linear reasoning while preserving the inherent logical flow of document comprehension. To further enhance practicality, we introduce a reinforcement learning framework that enhances length extrapolation capability while dynamically determining the number of rereading passes based on task complexity, thereby flexibly controlling computational overhead. Extensive experiments demonstrate that MemReread consistently outperforms baseline frameworks on long-context reasoning tasks, while maintaining linear time complexity with respect to context length.