중요한 순간을 기억하라: 장기 지평 에이전트를 위한 능동적 기억 에이전트

초록

장기적 과제(long-horizon tasks)에서 의사결정 관련 상태는 종종 확장되는 궤적(trajectory) 전체에 흩어져 있는 반면, 행동 에이전트(action agent)는 이를 표면화하여 행동해야 한다. 궤적이 길어짐에 따라 과제 요구사항, 환경 사실, 이전 시도, 진단, 미해결 하위 목표가 컨텍스트 윈도우(context window)에 묻히거나 그 밖으로 밀려나 필요할 때 의사결정에 영향을 미치지 못할 수 있다. 우리는 이러한 실패 모드를 "행동 상태 붕괴(behavioral state decay)"라고 명명한다. 우리는 수동적 검색(passive retrieval)이 아닌 능동적 개입 메커니즘으로서의 기억(memory)을 연구한다. 별도의 메모리 에이전트(memory agent)가 수정되지 않은 행동 에이전트와 함께 실행되며, 최근 궤적으로부터 구조화된 메모리 뱅크(structured memory bank)를 업데이트하고, 메모리에 기반한 알림을 주입할지 아니면 침묵할지를 결정한다. 이 모듈은 최첨단 행동 에이전트와 기존 에이전트 하니스(harness)에 플러그 앤 플레이(plug-and-play) 방식으로 적용 가능하다. Terminal-Bench 2.0과 τ^2-Bench에서, 이 방법은 약한 에이전트와 강한 에이전트 모두의 pass@1을 개선하며, Terminal-Bench에서 +8.3 퍼센트포인트(pp), τ^2-Bench에서 +6.8 pp의 향상을 보였다. 절제 실험(ablation)은 선택적 개입이 수동적 뱅크 노출, 항상 켜진 주입(always-on injection), 조언자 전용 안내(advisor-only guidance), 및 일반 검색(general retrieval)보다 우수함을 보여준다. 오픈웨이트 메모리 정책(open-weight memory policies)을 향한 초기 단계로, 우리는 SETA에 대해 SFT와 GRPO를 사용하여 Qwen3.5-27B를 훈련시켰고, 검증 보상(validation reward)을 개선하고 Terminal-Bench로의 부분적 전이(partial transfer)를 달성했다.

English

In long-horizon tasks, decision-relevant state is often scattered across an expanding trajectory, while the action agent must surface it and act. As trajectories grow, task requirements, environment facts, prior attempts, diagnoses, and open subgoals can be buried in the context window or pushed beyond it, failing to influence decisions when needed. We call this failure mode "behavioral state decay". We study memory as an active intervention mechanism rather than passive retrieval. A separate memory agent runs alongside an unmodified action agent, updating a structured memory bank from the recent trajectory and deciding whether to inject a memory-grounded reminder or remain silent. The module is plug-and-play with frontier action agents and existing agent harnesses. Across Terminal-Bench 2.0 and τ^2-Bench, it improves pass@1 for both weaker and stronger action agents, with gains of +8.3 pp on Terminal-Bench and +6.8 pp on τ^2-Bench. Ablations show that selective intervention outperforms passive bank exposure, always-on injection, advisor-only guidance, and general retrieval. As an early step toward open-weight memory policies, we train Qwen3.5-27B on SETA using SFT and GRPO, improving validation reward and achieving partial transfer to Terminal-Bench.