AgenticSTS: 장기적 LLM 에이전트를 위한 제한된 메모리 테스트베드

초록

장기 지평 LLM 에이전트의 메모리는 각 미래 결정이 무엇을 볼 수 있는지에 대한 계약이다. 가장 단순한 계약은 과거 관찰, 도구 호출, 반성(reflections)을 모든 프롬프트에 추가하는 방식으로, 이는 이전 맥락에 쉽게 접근할 수 있게 하지만, 동시에 모든 것이 뒤섞인 혼합물이 되어 단일 메모리 구성 요소의 효과를 분리하기 어렵게 만든다. 우리는 대안적인 제한된 계약(bounded contract)을 도입하고 이를 구현한다: 모든 결정은 유형별 검색(typed retrieval)으로 조합된 새로운 사용자 메시지로부터 이루어지며, 원시적인 교차 결정 기록(cross-decision transcript)은 추가되지 않는다. 따라서 프롬프트는 어떤 길이의 실행에서도 제한된 상태를 유지하며, 개별 계층을 독립적으로 제거(ablate)할 수 있다. 우리는 이 계약을 폐쇄 규칙 기반 확률적 덱 빌딩 게임인 Slay the Spire 2에 적용했으며, 이 게임의 실행은 수백 번의 전술적 및 전략적 결정을 필요로 한다. 동일한 게임에 대한 최첨단 LLM들의 공개 온라인 벤치마크는 다섯 가지 구성에서 가장 낮은 난이도에서 승리가 0회임을 보고하며, 동일 난이도에서 개발자가 보고한 인간 승률은 16%로, 해당 과제는 어렵지만 포화 상태는 아니다. 우리의 테스트 환경에서는 고정 A0 제거(fixed-A0 ablation) 실험에서 전략적 스킬이 활성화되었을 때 가장 큰 차이가 관찰되었다: 저장 없는 기준선(no-store baseline)은 10게임 중 3승을 기록했고, 스킬 계층을 추가했을 때는 10게임 중 6승을 기록했다. 이 표본 크기에서 비교는 통계적으로 결정적이기보다 방향성을 제시하는 수준이다(피셔 정확검정 p≈0.37). 교차 백본 조사(cross-backbone probe) 및 공개 누적 맥락 기준선(public accumulating-context baselines)은 계약 변수 자체의 통제된 테스트가 아닌 운영상의 비교로 보고된다. 우리는 재현 가능한 테스트베드를 공개한다: 조건 태그가 부착된 298개의 완료된 궤적, 고정된 메모리/스킬 스냅샷, 프롬프트 기록 및 분석 스크립트 — 이는 명시적 메모리 계층이 장기 지평 LLM 에이전트의 결정을 어떻게 형성하는지 연구하기 위한 에이전트 설계이자 검증된 재사용 가능 방법론이다.

English

Memory for a long-horizon LLM agent is a contract about what each future decision is allowed to see. The simplest contract appends past observations, tool calls, and reflections to every prompt, which makes prior context easy to access but also turns it into a jumbled mixture in which the effect of any single memory component is hard to isolate. We introduce and instrument an alternative bounded contract: every decision is made from a fresh user message assembled by typed retrieval, with no raw cross-decision transcript appended. The prompt thus stays bounded across runs of any length, and any single layer can be ablated in isolation. We instantiate the contract in Slay the Spire 2, a closed-rule stochastic deck-building game whose runs require hundreds of tactical and strategic decisions. A public online benchmark of frontier LLMs on the same game reports zero wins at the lowest difficulty across five configurations, and the developer-reported human win rate at the same difficulty is 16%; the task is hard but not saturated. Within our harness, a fixed-A0 ablation shows the largest observed difference when triggered strategic skills are enabled: the no-store baseline wins 3/10 games and adding the skill layer 6/10. At this sample size the comparison is directional rather than statistically decisive (Fisher exact p\approx0.37); a cross-backbone probe and public accumulating-context baselines are reported as operational comparisons rather than controlled tests of the contract variable itself. We release a reproducible testbed: 298 completed trajectories with condition tags, frozen memory/skill snapshots, prompt records, and analysis scripts -- an agent design and a validated, reusable methodology for studying how explicit memory layers shape long-horizon LLM-agent decisions.