Memórias úteis tornam-se defeituosas quando continuamente atualizadas por LLMs.

Resumo

Aprender com a experiência passada beneficia-se de duas formas complementares de memória: traços episódicos — trajetórias brutas do que aconteceu — e abstrações consolidadas, destiladas em múltiplos episódios em lições reutilizáveis, semelhantes a esquemas. Sistemas recentes de memória agentiva buscam a forma consolidada: um LLM reescreve trajetórias passadas em um banco de memória textual que atualiza continuamente com novas interações, prometendo agentes de autoaperfeiçoamento sem atualizações de parâmetros. No entanto, descobrimos que essas memórias consolidadas produzidas pelos LLMs atuais são frequentemente defeituosas, mesmo quando derivadas de experiências úteis. Conforme a consolidação avança, a utilidade da memória primeiro aumenta, depois se degrada e pode cair abaixo da linha de base sem memória. Mais surpreendentemente, mesmo ao consolidar a partir de soluções verdadeiras, o GPT-5.4 falha em 54% de um conjunto de problemas ARC-AGI que havia resolvido anteriormente sem memória. Atribuímos a regressão à etapa de consolidação, e não à experiência subjacente: as mesmas trajetórias produzem memórias qualitativamente diferentes sob diferentes cronogramas de atualização, e um controle apenas episódico que simplesmente retém essas trajetórias permanece competitivo com os consolidadores que testamos. Em um ambiente controlado ARC-AGI Stream que expõe ações de Reter, Excluir e Consolidar, os agentes preservam episódios brutos por padrão e dobram a precisão de suas contrapartes de consolidação forçada; desabilitar a consolidação completamente (apenas gerenciamento episódico) iguala esse regime automático. Na prática, uma memória robusta de agente deve tratar episódios brutos como evidência de primeira classe e controlar a consolidação explicitamente, em vez de acioná-la após cada interação. Olhando para o futuro, uma memória agentiva confiável exigirá LLMs que possam consolidar sem sobrescrever as evidências das quais dependem.

English

Learning from past experience benefits from two complementary forms of memory: episodic traces -- raw trajectories of what happened -- and consolidated abstractions distilled across many episodes into reusable, schema-like lessons. Recent agentic-memory systems pursue the consolidated form: an LLM rewrites past trajectories into a textual memory bank that it continuously updates with new interactions, promising self-improving agents without parameter updates. Yet we find that such consolidated memories produced by today's LLMs are often faulty even when derived from useful experiences. As consolidation proceeds, memory utility first rises, then degrades, and can fall below the no-memory baseline. More surprisingly, even when consolidating from ground-truth solutions, GPT-5.4 fails on 54% of a set of ARC-AGI problems it had previously solved without memory. We trace the regression to the consolidation step rather than the underlying experience: the same trajectories yield qualitatively different memories under different update schedules, and an episodic-only control that simply retains those trajectories remains competitive with the consolidators we test. In a controlled ARC-AGI Stream environment that exposes Retain, Delete, and Consolidate actions, agents preserve raw episodes by default and double the accuracy of their forced-consolidation counterparts; disabling consolidation entirely (episodic management only) matches this auto regime. Practically, robust agent memory should treat raw episodes as first-class evidence and gate consolidation explicitly rather than firing it after every interaction. Looking forward, reliable agentic memory will require LLMs that can consolidate without overwriting the evidence they depend on.