AgenticSTS: Un banco de pruebas de memoria acotada para agentes de LLM de largo horizonte

Resumen

La memoria de un agente LLM de horizonte largo es un contrato sobre qué información puede ver cada decisión futura. El contrato más simple añade observaciones pasadas, llamadas a herramientas y reflexiones a cada prompt, lo que facilita el acceso al contexto previo pero también lo convierte en una mezcla confusa en la que resulta difícil aislar el efecto de cualquier componente de memoria individual. Introducimos e instrumentamos un contrato acotado alternativo: cada decisión se toma a partir de un mensaje de usuario fresco ensamblado mediante recuperación tipificada, sin añadir ninguna transcripción bruta entre decisiones. De este modo, el prompt se mantiene acotado independientemente de la longitud de las ejecuciones, y cualquier capa individual puede ablacionarse de forma aislada. Concretamos el contrato en Slay the Spire 2, un juego estocástico de construcción de mazos con reglas cerradas cuyas partidas requieren cientos de decisiones tácticas y estratégicas. Un punto de referencia público en línea de LLMs de frontera en el mismo juego reporta cero victorias en la dificultad más baja en cinco configuraciones, mientras que la tasa de victorias humanas reportada por los desarrolladores en esa misma dificultad es del 16%; la tarea es difícil pero no está saturada. Dentro de nuestro entorno de ejecución, una ablación con A0 fijo muestra la mayor diferencia observada cuando se activan las habilidades estratégicas desencadenadas: la línea base sin almacenamiento gana 3 de 10 partidas y, al añadir la capa de habilidades, 6 de 10. Con este tamaño muestral, la comparación es direccional más que estadísticamente concluyente (prueba exacta de Fisher p≈0,37); se presentan una sonda entre modelos base y líneas base de contexto acumulativo público como comparaciones operativas, no como pruebas controladas de la variable contractual en sí misma. Publicamos un banco de pruebas reproducible: 298 trayectorias completadas con etiquetas de condición, instantáneas congeladas de memoria y habilidades, registros de prompts y scripts de análisis: un diseño de agente y una metodología validada y reutilizable para estudiar cómo las capas explícitas de memoria moldean las decisiones de agentes LLM de horizonte largo.

English

Memory for a long-horizon LLM agent is a contract about what each future decision is allowed to see. The simplest contract appends past observations, tool calls, and reflections to every prompt, which makes prior context easy to access but also turns it into a jumbled mixture in which the effect of any single memory component is hard to isolate. We introduce and instrument an alternative bounded contract: every decision is made from a fresh user message assembled by typed retrieval, with no raw cross-decision transcript appended. The prompt thus stays bounded across runs of any length, and any single layer can be ablated in isolation. We instantiate the contract in Slay the Spire 2, a closed-rule stochastic deck-building game whose runs require hundreds of tactical and strategic decisions. A public online benchmark of frontier LLMs on the same game reports zero wins at the lowest difficulty across five configurations, and the developer-reported human win rate at the same difficulty is 16%; the task is hard but not saturated. Within our harness, a fixed-A0 ablation shows the largest observed difference when triggered strategic skills are enabled: the no-store baseline wins 3/10 games and adding the skill layer 6/10. At this sample size the comparison is directional rather than statistically decisive (Fisher exact p\approx0.37); a cross-backbone probe and public accumulating-context baselines are reported as operational comparisons rather than controlled tests of the contract variable itself. We release a reproducible testbed: 298 completed trajectories with condition tags, frozen memory/skill snapshots, prompt records, and analysis scripts -- an agent design and a validated, reusable methodology for studying how explicit memory layers shape long-horizon LLM-agent decisions.