AgenticSTS: тестовый стенд с ограниченной памятью для долгосрочных LLM-агентов

Аннотация

Память для LLM-агента с длинным горизонтом планирования представляет собой контракт, определяющий, к какой информации может обращаться каждое будущее решение. Простейший контракт добавляет в каждый промпт прошлые наблюдения, вызовы инструментов и рефлексии, что делает предыдущий контекст легкодоступным, но также превращает его в перемешанную смесь, где эффект отдельного компонента памяти трудно изолировать. Мы представляем и внедряем альтернативный ограниченный контракт: каждое решение принимается на основе нового сообщения пользователя, собранного с помощью типизированного извлечения, без добавления необработанных межрешенийных транскриптов. Таким образом, промпт остается ограниченным при запусках любой длины, и любой отдельный слой может быть удален изолированно. Мы реализуем этот контракт в игре Slay the Spire 2 — стохастической игре по сборке колоды с закрытыми правилами, прохождение которой требует сотен тактических и стратегических решений. Публичный онлайн-бенчмарк передовых LLM на той же игре сообщает о нулевых победах на низшей сложности в пяти конфигурациях, а сообщаемый разработчиками процент побед человека на той же сложности составляет 16%; задача сложна, но не насыщена. В рамках нашего тестового стенда абляция с фиксированным A0 показывает наибольшее наблюдаемое различие при включении стратегических навыков: базовый уровень без запоминания выигрывает 3/10 игр, а добавление слоя навыков — 6/10. При таком размере выборки сравнение является скорее ориентировочным, чем статистически значимым (точный тест Фишера p ≈ 0,37); кросс-бэкбоновый зонд и публичные базовые показатели с накоплением контекста приводятся как эксплуатационные сравнения, а не как контролируемые проверки самой переменной контракта. Мы публикуем воспроизводимый тестовый стенд: 298 завершенных траекторий с тегами условий, замороженными снимками памяти/навыков, записями промптов и скриптами анализа — архитектура агента и валидированная, воспроизводимая методология для изучения того, как явные слои памяти формируют решения LLM-агентов с длинным горизонтом.

English

Memory for a long-horizon LLM agent is a contract about what each future decision is allowed to see. The simplest contract appends past observations, tool calls, and reflections to every prompt, which makes prior context easy to access but also turns it into a jumbled mixture in which the effect of any single memory component is hard to isolate. We introduce and instrument an alternative bounded contract: every decision is made from a fresh user message assembled by typed retrieval, with no raw cross-decision transcript appended. The prompt thus stays bounded across runs of any length, and any single layer can be ablated in isolation. We instantiate the contract in Slay the Spire 2, a closed-rule stochastic deck-building game whose runs require hundreds of tactical and strategic decisions. A public online benchmark of frontier LLMs on the same game reports zero wins at the lowest difficulty across five configurations, and the developer-reported human win rate at the same difficulty is 16%; the task is hard but not saturated. Within our harness, a fixed-A0 ablation shows the largest observed difference when triggered strategic skills are enabled: the no-store baseline wins 3/10 games and adding the skill layer 6/10. At this sample size the comparison is directional rather than statistically decisive (Fisher exact p\approx0.37); a cross-backbone probe and public accumulating-context baselines are reported as operational comparisons rather than controlled tests of the contract variable itself. We release a reproducible testbed: 298 completed trajectories with condition tags, frozen memory/skill snapshots, prompt records, and analysis scripts -- an agent design and a validated, reusable methodology for studying how explicit memory layers shape long-horizon LLM-agent decisions.