Vos agents vieillissent aussi : Ingénierie de la durée de vie des agents pour les systèmes déployés

Résumé

Les agents d'IA à longue durée de vie sont de plus en plus déployés comme des systèmes opérationnels persistants, mais ils sont encore évalués comme des modèles fraîchement initialisés. Les benchmarks du premier jour négligent une question fondamentale de système : combien de temps un agent reste-t-il fiable après le déploiement ? Même lorsque les poids du modèle sont gelés, l'état effectif d'un agent ne cesse de changer : il compresse l'historique des interactions, extrait d'une mémoire qui s'accroît, révise des faits après des mises à jour et subit une maintenance de routine. La fiabilité devient donc une propriété de durée de vie de l'ensemble complet de l'agent, et non une simple propriété instantanée du modèle de base. Nous présentons AgingBench, un benchmark longitudinal de fiabilité pour l'ingénierie de la durée de vie des agents : il mesure non seulement si les agents déployés se dégradent, mais aussi quelle forme prend la dégradation et où la réparation doit cibler. AgingBench organise le vieillissement des agents en quatre mécanismes : vieillissement par compression, vieillissement par interférence, vieillissement par révision et vieillissement par maintenance. Pour diagnostiquer ces défaillances, AgingBench utilise des graphes de dépendance temporelle et des sondes contrefactuelles appariées qui produisent des profils diagnostiques pour les étapes d'écriture, de récupération et d'utilisation du pipeline mémoire. Sur 7 scénarios, 14 modèles, plusieurs politiques de mémoire, et à la fois des agents contrôlés par exécuteur et autonomes, plus de ~400 exécutions s'étendant sur 8 à 200 sessions montrent que le vieillissement des agents n'est pas unidimensionnel : les tests comportementaux peuvent rester corrects tandis que la précision factuelle se dégrade ; le suivi des états dérivés peut s'effondrer brusquement au sein d'un même modèle ; et la même réponse erronée peut nécessiter des réparations différentes selon ce que le profil diagnostique indique. Ces résultats suggèrent qu'un déploiement fiable des agents nécessite une évaluation de la durée de vie, un diagnostic au niveau des mécanismes et une réparation ciblée par étape, et non seulement des modèles plus forts le premier jour.

English

Long-lived AI agents are increasingly deployed as persistent operational systems, yet they are still evaluated like freshly initialized models. Day-one benchmarks miss a basic systems question: how long does an agent remain reliable after deployment? Even when model weights are frozen, an agent's effective state keeps changing as it compresses interaction history, retrieves from a growing memory store, revises facts after updates, and undergoes routine maintenance. Reliability therefore becomes a lifespan property of the full agent harness, not only a snapshot property of the base model. We introduce AgingBench, a longitudinal reliability benchmark for agent lifespan engineering: measuring not only whether deployed agents degrade, but what form the degradation takes and where repair should target. AgingBench organizes agent aging into four mechanisms: compression aging, interference aging, revision aging, and maintenance aging. To diagnose these failures, AgingBench uses temporal dependency graphs and paired counterfactual probes that produce diagnostic profiles for the write, retrieval, and utilization stages of the memory pipeline. Across 7 scenarios, 14 models, multiple memory policies, and both runner-controlled and autonomous agents, over ~400 runs spanning 8 - 200 sessions show that agent aging is not one-dimensional: behavioral tests can remain clean while factual precision decays; derived-state tracking can collapse sharply within a single model; and the same wrong answer can require different repairs depending on what the diagnostic profile points to. These results suggest that reliable agent deployment requires lifespan evaluation, mechanism-level diagnosis, and stage-targeted repair, not only stronger day-one models.