MemReread: Aprimorando o Raciocínio Agentivo em Contexto Longo via Releitura Guiada por Memória

Resumo

Para lidar com tarefas de raciocínio em contextos longos sem a complexidade quadrática dos mecanismos de atenção padrão, surgiram abordagens baseadas em memória do agente, que tipicamente mantêm uma memória atualizada dinamicamente ao processar linearmente segmentos de documentos. Para mitigar a potencial perda de evidências latentes nesse paradigma de ler-enquanto-memoriza, trabalhos recentes integraram módulos de recuperação que permitem que agentes relembrem informações previamente descartadas durante a sobrescrita da memória. No entanto, a recuperação baseada em busca sofre tanto da perda de evidências durante a formação da memória quanto da interferência induzida por consultas inválidas. Para superar essas limitações, propomos o MemReread. Baseado na leitura em fluxo contínuo, o MemReread evita recuperações intermediárias. Ele aciona a decomposição de perguntas e a releitura quando a memória final é insuficiente, permitindo a recuperação de fatos indiretos que foram prematuramente descartados. Esse design suporta raciocínio não linear, preservando ao mesmo tempo o fluxo lógico inerente à compreensão do documento. Para aumentar ainda mais a praticidade, introduzimos uma estrutura de aprendizado por reforço que aprimora a capacidade de extrapolação de comprimento, enquanto determina dinamicamente o número de passagens de releitura com base na complexidade da tarefa, controlando assim de forma flexível o custo computacional. Experimentos extensivos demonstram que o MemReread supera consistentemente as estruturas de referência em tarefas de raciocínio em contextos longos, mantendo complexidade temporal linear em relação ao comprimento do contexto.

English

To tackle long-context reasoning tasks without the quadratic complexity of standard attention mechanisms, approaches based on agent memory have emerged, which typically maintain a dynamically updated memory when linearly processing document chunks. To mitigate the potential loss of latent evidence in this memorize-while-reading paradigm, recent works have integrated retrieval modules that allow agents to recall information previously discarded during memory overwriting. However, retrieval-based recall suffers from both evidence loss during memory formation and interference induced by invalid queries. To overcome these limitations, we propose MemReread. Built upon streaming reading, MemReread circumvents intermediate retrieval. It triggers question decomposition and rereading when the final memory is insufficient, enabling the recovery of indirect facts that were prematurely discarded. This design supports non-linear reasoning while preserving the inherent logical flow of document comprehension. To further enhance practicality, we introduce a reinforcement learning framework that enhances length extrapolation capability while dynamically determining the number of rereading passes based on task complexity, thereby flexibly controlling computational overhead. Extensive experiments demonstrate that MemReread consistently outperforms baseline frameworks on long-context reasoning tasks, while maintaining linear time complexity with respect to context length.