Ваши агенты тоже стареют: Инженерия срока жизни агентов для развернутых систем

Аннотация

Долгоживущие ИИ-агенты всё чаще разворачиваются как постоянные операционные системы, но их по-прежнему оценивают так, словно они являются свежеинициализированными моделями. Однодневные бенчмарки упускают из виду фундаментальный системный вопрос: как долго агент остаётся надёжным после развёртывания? Даже при фиксированных весах модели эффективное состояние агента непрерывно меняется по мере сжатия истории взаимодействий, извлечения данных из растущего хранилища памяти, пересмотра фактов после обновлений и проведения планового обслуживания. Таким образом, надёжность становится свойством жизненного цикла всей обвязки агента, а не только моментальным снимком базовой модели. Мы представляем AgingBench — лонгитюдный бенчмарк надёжности для инженерии жизненного цикла агентов, который измеряет не только то, деградируют ли развёрнутые агенты, но и какую форму принимает эта деградация, и где следует проводить исправления. AgingBench организует старение агентов по четырём механизмам: старение из-за сжатия, старение из-за интерференции, старение из-за ревизии и старение из-за обслуживания. Для диагностики этих сбоев AgingBench использует графы временных зависимостей и парные контрфактические зонды, которые формируют диагностические профили для этапов записи, извлечения и использования в конвейере памяти. На 7 сценариях, 14 моделях, нескольких политиках управления памятью, а также на управляемых исполнителем и автономных агентах в ходе примерно 400 прогонов, охватывающих от 8 до 200 сессий, было показано, что старение агентов не является одномерным: поведенческие тесты могут оставаться чистыми, в то время как точность фактов снижается; отслеживание производного состояния может резко коллапсировать внутри одной модели; и один и тот же неверный ответ может требовать разных исправлений в зависимости от того, на что указывает диагностический профиль. Эти результаты свидетельствуют о том, что для надёжного развёртывания агентов необходимы оценка срока службы, диагностика на уровне механизмов и целевое исправление на соответствующих этапах, а не только более сильные однодневные модели.

English

Long-lived AI agents are increasingly deployed as persistent operational systems, yet they are still evaluated like freshly initialized models. Day-one benchmarks miss a basic systems question: how long does an agent remain reliable after deployment? Even when model weights are frozen, an agent's effective state keeps changing as it compresses interaction history, retrieves from a growing memory store, revises facts after updates, and undergoes routine maintenance. Reliability therefore becomes a lifespan property of the full agent harness, not only a snapshot property of the base model. We introduce AgingBench, a longitudinal reliability benchmark for agent lifespan engineering: measuring not only whether deployed agents degrade, but what form the degradation takes and where repair should target. AgingBench organizes agent aging into four mechanisms: compression aging, interference aging, revision aging, and maintenance aging. To diagnose these failures, AgingBench uses temporal dependency graphs and paired counterfactual probes that produce diagnostic profiles for the write, retrieval, and utilization stages of the memory pipeline. Across 7 scenarios, 14 models, multiple memory policies, and both runner-controlled and autonomous agents, over ~400 runs spanning 8 - 200 sessions show that agent aging is not one-dimensional: behavioral tests can remain clean while factual precision decays; derived-state tracking can collapse sharply within a single model; and the same wrong answer can require different repairs depending on what the diagnostic profile points to. These results suggest that reliable agent deployment requires lifespan evaluation, mechanism-level diagnosis, and stage-targeted repair, not only stronger day-one models.