Seus Agentes Também Estão Envelhecendo: Engenharia do Ciclo de Vida de Agentes para Sistemas Implantados

Resumo

Agentes de IA de longa duração estão cada vez mais sendo implantados como sistemas operacionais persistentes, mas ainda são avaliados como modelos recém-inicializados. Benchmarks de primeiro dia ignoram uma questão fundamental de sistemas: por quanto tempo um agente permanece confiável após a implantação? Mesmo quando os pesos do modelo são congelados, o estado efetivo do agente continua mudando à medida que ele comprime o histórico de interações, recupera informações de um repositório de memória em crescimento, revisa fatos após atualizações e passa por manutenção de rotina. A confiabilidade torna-se, portanto, uma propriedade de ciclo de vida de todo o arcabouço do agente, e não apenas uma propriedade instantânea do modelo base. Apresentamos o AgingBench, um benchmark de confiabilidade longitudinal para engenharia de ciclo de vida de agentes: medindo não apenas se agentes implantados degradam, mas também qual forma a degradação assume e onde o reparo deve ser direcionado. O AgingBench organiza o envelhecimento de agentes em quatro mecanismos: envelhecimento por compressão, envelhecimento por interferência, envelhecimento por revisão e envelhecimento por manutenção. Para diagnosticar essas falhas, o AgingBench utiliza gráficos de dependência temporal e sondas contrafactuais emparelhadas que produzem perfis diagnósticos para os estágios de escrita, recuperação e utilização do pipeline de memória. Em 7 cenários, 14 modelos, múltiplas políticas de memória e agentes tanto controlados por executor quanto autônomos, cerca de 400 execuções abrangendo de 8 a 200 sessões mostram que o envelhecimento de agentes não é unidimensional: testes comportamentais podem permanecer limpos enquanto a precisão factual decai; o rastreamento de estados derivados pode colapsar abruptamente dentro de um único modelo; e a mesma resposta errada pode exigir reparos diferentes, dependendo do perfil diagnóstico apontado. Esses resultados sugerem que a implantação confiável de agentes requer avaliação de ciclo de vida, diagnóstico em nível de mecanismo e reparo direcionado por estágio, e não apenas modelos de primeiro dia mais robustos.

English

Long-lived AI agents are increasingly deployed as persistent operational systems, yet they are still evaluated like freshly initialized models. Day-one benchmarks miss a basic systems question: how long does an agent remain reliable after deployment? Even when model weights are frozen, an agent's effective state keeps changing as it compresses interaction history, retrieves from a growing memory store, revises facts after updates, and undergoes routine maintenance. Reliability therefore becomes a lifespan property of the full agent harness, not only a snapshot property of the base model. We introduce AgingBench, a longitudinal reliability benchmark for agent lifespan engineering: measuring not only whether deployed agents degrade, but what form the degradation takes and where repair should target. AgingBench organizes agent aging into four mechanisms: compression aging, interference aging, revision aging, and maintenance aging. To diagnose these failures, AgingBench uses temporal dependency graphs and paired counterfactual probes that produce diagnostic profiles for the write, retrieval, and utilization stages of the memory pipeline. Across 7 scenarios, 14 models, multiple memory policies, and both runner-controlled and autonomous agents, over ~400 runs spanning 8 - 200 sessions show that agent aging is not one-dimensional: behavioral tests can remain clean while factual precision decays; derived-state tracking can collapse sharply within a single model; and the same wrong answer can require different repairs depending on what the diagnostic profile points to. These results suggest that reliable agent deployment requires lifespan evaluation, mechanism-level diagnosis, and stage-targeted repair, not only stronger day-one models.