AgenticSTS: Eine speicherbegrenzte Testumgebung für LLM-Agenten mit langem Planungshorizont

Zusammenfassung

Das Gedächtnis eines LLM-Agenten mit langem Zeithorizont ist ein Vertrag darüber, was jede zukünftige Entscheidung sehen darf. Der einfachste Vertrag hängt vergangene Beobachtungen, Werkzeugaufrufe und Reflexionen an jeden Prompt an, was den Zugriff auf vorherigen Kontext erleichtert, ihn aber auch in ein undurchsichtiges Gemisch verwandelt, in dem die Wirkung einer einzelnen Gedächtniskomponente schwer zu isolieren ist. Wir führen eine alternative beschränkte Vertragsform ein und instrumentieren sie: Jede Entscheidung wird aus einer neuen, durch typisierten Abruf zusammengestellten Benutzernachricht getroffen, ohne dass ein rohes, entscheidungsübergreifendes Transkript angehängt wird. Der Prompt bleibt somit über Läufe beliebiger Länge beschränkt, und jede einzelne Schicht kann isoliert ablatiert werden. Wir setzen diesen Vertrag in *Slay the Spire 2* um, einem stochastischen Deckbauspiel mit geschlossenen Regeln, dessen Durchläufe hunderte taktischer und strategischer Entscheidungen erfordern. Ein öffentlicher Online-Benchmark mit modernsten LLMs zum selben Spiel meldet null Siege beim niedrigsten Schwierigkeitsgrad über fünf Konfigurationen hinweg; die von den Entwicklern angegebene menschliche Siegrate beim selben Schwierigkeitsgrad beträgt 16 % – die Aufgabe ist schwierig, aber nicht gesättigt. In unserer Testumgebung zeigt eine Fix-A0-Ablation den größten beobachteten Unterschied, wenn die ausgelösten strategischen Fähigkeiten aktiviert sind: Die Basislinie ohne Speicher gewinnt 3/10 Spielen, mit der zusätzlichen Fähigkeitenschicht 6/10. Bei dieser Stichprobengröße ist der Vergleich eher richtungsweisend als statistisch entscheidend (exakter Fisher-Test p ≈ 0,37); eine Backbone-übergreifende Untersuchung und öffentliche Basislinien mit akkumulierendem Kontext werden als operative Vergleiche und nicht als kontrollierte Tests der Vertragsvariablen selbst berichtet. Wir veröffentlichen einen reproduzierbaren Testaufbau: 298 abgeschlossene Trajektorien mit Bedingungs-Tags, eingefrorene Gedächtnis-/Fähigkeiten-Snapshots, Prompt-Aufzeichnungen und Analyseskripte – ein Agentendesign und eine validierte, wiederverwendbare Methodik zur Untersuchung, wie explizite Gedächtnisschichten langfristige Entscheidungen von LLM-Agenten prägen.

English

Memory for a long-horizon LLM agent is a contract about what each future decision is allowed to see. The simplest contract appends past observations, tool calls, and reflections to every prompt, which makes prior context easy to access but also turns it into a jumbled mixture in which the effect of any single memory component is hard to isolate. We introduce and instrument an alternative bounded contract: every decision is made from a fresh user message assembled by typed retrieval, with no raw cross-decision transcript appended. The prompt thus stays bounded across runs of any length, and any single layer can be ablated in isolation. We instantiate the contract in Slay the Spire 2, a closed-rule stochastic deck-building game whose runs require hundreds of tactical and strategic decisions. A public online benchmark of frontier LLMs on the same game reports zero wins at the lowest difficulty across five configurations, and the developer-reported human win rate at the same difficulty is 16%; the task is hard but not saturated. Within our harness, a fixed-A0 ablation shows the largest observed difference when triggered strategic skills are enabled: the no-store baseline wins 3/10 games and adding the skill layer 6/10. At this sample size the comparison is directional rather than statistically decisive (Fisher exact p\approx0.37); a cross-backbone probe and public accumulating-context baselines are reported as operational comparisons rather than controlled tests of the contract variable itself. We release a reproducible testbed: 298 completed trajectories with condition tags, frozen memory/skill snapshots, prompt records, and analysis scripts -- an agent design and a validated, reusable methodology for studying how explicit memory layers shape long-horizon LLM-agent decisions.