Recordar Quando Importa: Agente de Memória Proativo para Agentes de Longo Horizonte

Resumo

Em tarefas de longo horizonte, o estado relevante para a decisão frequentemente está disperso ao longo de uma trajetória em expansão, enquanto o agente de ação precisa trazê-lo à tona e agir. À medida que as trajetórias crescem, requisitos da tarefa, fatos do ambiente, tentativas anteriores, diagnósticos e subobjetivos em aberto podem ficar soterrados na janela de contexto ou empurrados para além dela, deixando de influenciar as decisões quando necessário. Chamamos esse modo de falha de "decaimento do estado comportamental". Estudamos a memória como um mecanismo de intervenção ativa, em vez de recuperação passiva. Um agente de memória separado opera em paralelo com um agente de ação inalterado, atualizando um banco de memória estruturado a partir da trajetória recente e decidindo se deve injetar um lembrete fundamentado na memória ou permanecer em silêncio. O módulo é plug-and-play com agentes de ação de fronteira e arneses de agentes existentes. No Terminal-Bench 2.0 e no τ^2-Bench, ele melhora o pass@1 tanto para agentes de ação mais fracos quanto para os mais fortes, com ganhos de +8,3 p.p. no Terminal-Bench e +6,8 p.p. no τ^2-Bench. Ablações mostram que a intervenção seletiva supera a exposição passiva ao banco, a injeção sempre ativa, a orientação apenas de consultor e a recuperação geral. Como um passo inicial em direção a políticas de memória de pesos abertos, treinamos o Qwen3.5-27B no SETA usando SFT e GRPO, melhorando a recompensa de validação e alcançando transferência parcial para o Terminal-Bench.

English

In long-horizon tasks, decision-relevant state is often scattered across an expanding trajectory, while the action agent must surface it and act. As trajectories grow, task requirements, environment facts, prior attempts, diagnoses, and open subgoals can be buried in the context window or pushed beyond it, failing to influence decisions when needed. We call this failure mode "behavioral state decay". We study memory as an active intervention mechanism rather than passive retrieval. A separate memory agent runs alongside an unmodified action agent, updating a structured memory bank from the recent trajectory and deciding whether to inject a memory-grounded reminder or remain silent. The module is plug-and-play with frontier action agents and existing agent harnesses. Across Terminal-Bench 2.0 and τ^2-Bench, it improves pass@1 for both weaker and stronger action agents, with gains of +8.3 pp on Terminal-Bench and +6.8 pp on τ^2-Bench. Ablations show that selective intervention outperforms passive bank exposure, always-on injection, advisor-only guidance, and general retrieval. As an early step toward open-weight memory policies, we train Qwen3.5-27B on SETA using SFT and GRPO, improving validation reward and achieving partial transfer to Terminal-Bench.