AgenticSTS: 長期行動LLMエージェントのための有限メモリテストベッド

要旨

長期ホライズンLLMエージェントにおけるメモリとは、各将来の決定が何を見ることを許されるかに関する契約である。最も単純な契約は、過去の観測、ツール呼び出し、リフレクションをすべてのプロンプトに追加するものである。これにより過去のコンテキストへのアクセスは容易になるが、同時にそれらが混在した塊となり、個々のメモリコンポーネントの効果を分離することが難しくなる。本稿では、代替となるバウンドされた契約を導入し、それを具現化する。すなわち、すべての決定は、型付き検索によって組み立てられた新しいユーザメッセージから行われ、生のクロスデシジョン転写は追加されない。これにより、プロンプトは任意の長さの実行にわたってバウンドされ続け、任意の単一層を単独でアブレーションすることができる。この契約を、閉じたルールを持つ確率的デッキ構築ゲーム『Slay the Spire 2』に実装する。このゲームの実行には、何百もの戦術的・戦略的決定が必要となる。同ゲームにおけるフロンティアLLMの公開オンラインベンチマークでは、5つの設定において最低難易度での勝利数が0であり、開発者が報告する同難易度での人間の勝率は16%である。このタスクは困難だが、飽和状態ではない。我々のハーネス内では、固定A0アブレーションにより、戦略スキルが有効化された場合に観測される最大の差が示された。すなわち、no-storeベースラインでは3/10ゲームで勝利し、スキル層を追加すると6/10となる。このサンプルサイズでは、比較は統計的に決定的というより方向性を示すものであり（フィッシャーの正確確率検定p≈0.37）、クロスバックボーンプローブと公開されているaccumulating-contextベースラインは、契約変数自体の制御されたテストではなく、運用上の比較として報告される。我々は再現可能なテストベッドを公開する。すなわち、条件タグ付きの298の完了した軌跡、凍結されたメモリ/スキルスナップショット、プロンプトレコード、解析スクリプトである。これは、明示的なメモリ層が長期ホライズンLLMエージェントの決定をどのように形成するかを研究するための、エージェント設計と検証済みで再利用可能な方法論である。

English

Memory for a long-horizon LLM agent is a contract about what each future decision is allowed to see. The simplest contract appends past observations, tool calls, and reflections to every prompt, which makes prior context easy to access but also turns it into a jumbled mixture in which the effect of any single memory component is hard to isolate. We introduce and instrument an alternative bounded contract: every decision is made from a fresh user message assembled by typed retrieval, with no raw cross-decision transcript appended. The prompt thus stays bounded across runs of any length, and any single layer can be ablated in isolation. We instantiate the contract in Slay the Spire 2, a closed-rule stochastic deck-building game whose runs require hundreds of tactical and strategic decisions. A public online benchmark of frontier LLMs on the same game reports zero wins at the lowest difficulty across five configurations, and the developer-reported human win rate at the same difficulty is 16%; the task is hard but not saturated. Within our harness, a fixed-A0 ablation shows the largest observed difference when triggered strategic skills are enabled: the no-store baseline wins 3/10 games and adding the skill layer 6/10. At this sample size the comparison is directional rather than statistically decisive (Fisher exact p\approx0.37); a cross-backbone probe and public accumulating-context baselines are reported as operational comparisons rather than controlled tests of the contract variable itself. We release a reproducible testbed: 298 completed trajectories with condition tags, frozen memory/skill snapshots, prompt records, and analysis scripts -- an agent design and a validated, reusable methodology for studying how explicit memory layers shape long-horizon LLM-agent decisions.