Auch Ihre Agenten altern: Agenten-Lebensdauer-Engineering für eingesetzte Systeme

Zusammenfassung

langlebige KI-Agenten werden zunehmend als dauerhafte operative Systeme eingesetzt, dennoch werden sie weiterhin wie frisch initialisierte Modelle evaluiert. Benchmarks am ersten Tag übersehen eine grundlegende Systemfrage: Wie lange bleibt ein Agent nach dem Einsatz zuverlässig? Selbst wenn die Modellgewichte eingefroren sind, ändert sich der effektive Zustand eines Agenten ständig, da er Interaktionsverläufe komprimiert, aus einem wachsenden Speicher abruft, Fakten nach Aktualisierungen revidiert und routinemäßige Wartungsarbeiten durchführt. Zuverlässigkeit wird daher zu einer Lebenseigenschaft der gesamten Agenteninfrastruktur, nicht nur zu einer Momentaufnahme des Basismodells. Wir führen AgingBench ein, einen Längsschnitt-Zuverlässigkeitsbenchmark für das Lebensdauer-Engineering von Agenten, der nicht nur misst, ob eingesetzte Agenten degradieren, sondern auch, welche Form der Degradation vorliegt und wo Reparaturen ansetzen sollten. AgingBench organisiert das Altern von Agenten in vier Mechanismen: Kompressionsalterung, Interferenzalterung, Revisionsalterung und Wartungsalterung. Um diese Fehler zu diagnostizieren, verwendet AgingBench zeitliche Abhängigkeitsgraphen und gepaarte kontrafaktische Sonden, die diagnostische Profile für die Schreib-, Abruf- und Nutzungsphasen der Speicherpipeline erstellen. Über sieben Szenarien, 14 Modelle, mehrere Speicherrichtlinien sowie sowohl laufergesteuerte als auch autonome Agenten hinweg zeigen über 400 Durchläufe mit 8–200 Sitzungen, dass das Altern von Agenten nicht eindimensional ist: Verhaltenstests können sauber bleiben, während die faktische Präzision nachlässt; die Verfolgung abgeleiteter Zustände kann innerhalb eines einzigen Modells scharf abfallen; und dieselbe falsche Antwort kann je nach diagnostischem Profil unterschiedliche Reparaturen erfordern. Diese Ergebnisse legen nahe, dass zuverlässiger Agenteneinsatz eine Lebensdauerbewertung, eine diagnose auf Mechanismenebene und eine zielgerichtete Reparatur auf Pipeline-Stufenebene erfordert, nicht nur stärkere Modelle am ersten Tag.

English

Long-lived AI agents are increasingly deployed as persistent operational systems, yet they are still evaluated like freshly initialized models. Day-one benchmarks miss a basic systems question: how long does an agent remain reliable after deployment? Even when model weights are frozen, an agent's effective state keeps changing as it compresses interaction history, retrieves from a growing memory store, revises facts after updates, and undergoes routine maintenance. Reliability therefore becomes a lifespan property of the full agent harness, not only a snapshot property of the base model. We introduce AgingBench, a longitudinal reliability benchmark for agent lifespan engineering: measuring not only whether deployed agents degrade, but what form the degradation takes and where repair should target. AgingBench organizes agent aging into four mechanisms: compression aging, interference aging, revision aging, and maintenance aging. To diagnose these failures, AgingBench uses temporal dependency graphs and paired counterfactual probes that produce diagnostic profiles for the write, retrieval, and utilization stages of the memory pipeline. Across 7 scenarios, 14 models, multiple memory policies, and both runner-controlled and autonomous agents, over ~400 runs spanning 8 - 200 sessions show that agent aging is not one-dimensional: behavioral tests can remain clean while factual precision decays; derived-state tracking can collapse sharply within a single model; and the same wrong answer can require different repairs depending on what the diagnostic profile points to. These results suggest that reliable agent deployment requires lifespan evaluation, mechanism-level diagnosis, and stage-targeted repair, not only stronger day-one models.