Erinnern, wenn es darauf ankommt: Proaktiver Gedächtnisagent für Langzeithorizont-Agenten

Zusammenfassung

Bei Aufgaben mit langem Zeithorizont ist der entscheidungsrelevante Zustand oft über eine wachsende Trajektorie verstreut, während der Handlungsagent diesen an die Oberfläche bringen und handeln muss. Mit zunehmender Trajektorienlänge können Aufgabenanforderungen, Umgebungsfakten, vorherige Versuche, Diagnosen und offene Teilziele im Kontextfenster vergraben oder darüber hinausgedrängt werden, sodass sie Entscheidungen im entscheidenden Moment nicht mehr beeinflussen können. Wir bezeichnen diesen Fehlermodus als „Verhaltenszustandszerfall“. Wir untersuchen Gedächtnis als aktiven Interventionsmechanismus statt als passiven Abruf. Ein separater Gedächtnisagent läuft parallel zu einem unveränderten Handlungsagenten, aktualisiert eine strukturierte Gedächtnisbank aus der jüngsten Trajektorie und entscheidet, ob er eine gedächtnisgestützte Erinnerung einspielen oder stumm bleiben soll. Das Modul ist Plug-and-Play mit modernen Handlungsagenten und bestehenden Agenten-Frameworks kompatibel. Über Terminal-Bench 2.0 und τ^2-Bench hinweg verbessert es die Pass@1-Rate sowohl für schwächere als auch für stärkere Handlungsagenten, mit Zuwächsen von +8,3 Prozentpunkten auf Terminal-Bench und +6,8 Prozentpunkten auf τ^2-Bench. Ablationen zeigen, dass selektive Intervention besser abschneidet als passive Bankexposition, dauerhafte Einspielung, reine Beratungshilfe und allgemeiner Abruf. Als ersten Schritt in Richtung Open-Weight-Gedächtnispolicys trainieren wir Qwen3.5-27B auf SETA mittels SFT und GRPO, verbessern die Validierungsbelohnung und erzielen eine teilweise Übertragung auf Terminal-Bench.

English

In long-horizon tasks, decision-relevant state is often scattered across an expanding trajectory, while the action agent must surface it and act. As trajectories grow, task requirements, environment facts, prior attempts, diagnoses, and open subgoals can be buried in the context window or pushed beyond it, failing to influence decisions when needed. We call this failure mode "behavioral state decay". We study memory as an active intervention mechanism rather than passive retrieval. A separate memory agent runs alongside an unmodified action agent, updating a structured memory bank from the recent trajectory and deciding whether to inject a memory-grounded reminder or remain silent. The module is plug-and-play with frontier action agents and existing agent harnesses. Across Terminal-Bench 2.0 and τ^2-Bench, it improves pass@1 for both weaker and stronger action agents, with gains of +8.3 pp on Terminal-Bench and +6.8 pp on τ^2-Bench. Ablations show that selective intervention outperforms passive bank exposure, always-on injection, advisor-only guidance, and general retrieval. As an early step toward open-weight memory policies, we train Qwen3.5-27B on SETA using SFT and GRPO, improving validation reward and achieving partial transfer to Terminal-Bench.