AgenticSTS : un banc d'essai à mémoire bornée pour agents LLM à long horizon

Résumé

La mémoire d'un agent LLM à long horizon est un contrat portant sur ce que chaque décision future est autorisée à voir. Le contrat le plus simple consiste à ajouter les observations passées, les appels d'outils et les réflexions à chaque prompt, ce qui rend le contexte antérieur facilement accessible mais le transforme également en un mélange confus dans lequel l'effet d'un composant mémoire isolé est difficile à cerner. Nous introduisons et instrumentons un contrat borné alternatif : chaque décision est prise à partir d'un message utilisateur frais assemblé par récupération typée, sans transcription brute inter-décisions ajoutée. Le prompt reste ainsi borné lors de séquences de n'importe quelle longueur, et chaque couche peut être ablatée isolément. Nous instancions ce contrat dans Slay the Spire 2, un jeu de construction de deck stochastique à règles fermées dont les parties nécessitent des centaines de décisions tactiques et stratégiques. Un benchmark public en ligne de LLMs de pointe sur le même jeu rapporte zéro victoire au niveau de difficulté le plus bas sur cinq configurations, tandis que le taux de victoire humain rapporté par les développeurs à la même difficulté est de 16 % ; la tâche est difficile mais non saturée. Dans notre harnais, une ablation fixe de A0 montre la plus grande différence observée lorsque les compétences stratégiques déclenchées sont activées : la ligne de base sans stockage remporte 3/10 parties, et l'ajout de la couche compétence en remporte 6/10. À cette taille d'échantillon, la comparaison est directionnelle plutôt que statistiquement décisive (test exact de Fisher, p≈0,37) ; une sonde inter-modèles et des références de contexte accumulé public sont rapportées comme des comparaisons opérationnelles, et non comme des tests contrôlés de la variable contrat elle-même. Nous publions un banc d'essai reproductible : 298 trajectoires complétées avec des balises de condition, des instantanés figés de mémoire/compétence, des enregistrements de prompts et des scripts d'analyse — une conception d'agent et une méthodologie validée et réutilisable pour étudier comment des couches de mémoire explicites façonnent les décisions des agents LLM à long horizon.

English

Memory for a long-horizon LLM agent is a contract about what each future decision is allowed to see. The simplest contract appends past observations, tool calls, and reflections to every prompt, which makes prior context easy to access but also turns it into a jumbled mixture in which the effect of any single memory component is hard to isolate. We introduce and instrument an alternative bounded contract: every decision is made from a fresh user message assembled by typed retrieval, with no raw cross-decision transcript appended. The prompt thus stays bounded across runs of any length, and any single layer can be ablated in isolation. We instantiate the contract in Slay the Spire 2, a closed-rule stochastic deck-building game whose runs require hundreds of tactical and strategic decisions. A public online benchmark of frontier LLMs on the same game reports zero wins at the lowest difficulty across five configurations, and the developer-reported human win rate at the same difficulty is 16%; the task is hard but not saturated. Within our harness, a fixed-A0 ablation shows the largest observed difference when triggered strategic skills are enabled: the no-store baseline wins 3/10 games and adding the skill layer 6/10. At this sample size the comparison is directional rather than statistically decisive (Fisher exact p\approx0.37); a cross-backbone probe and public accumulating-context baselines are reported as operational comparisons rather than controlled tests of the contract variable itself. We release a reproducible testbed: 298 completed trajectories with condition tags, frozen memory/skill snapshots, prompt records, and analysis scripts -- an agent design and a validated, reusable methodology for studying how explicit memory layers shape long-horizon LLM-agent decisions.