あなたのエージェントも経年劣化する：実運用システムのためのエージェント寿命設計

要旨

長期稼働するAIエージェントは、持続的な運用システムとしてますます導入されているが、依然として初期化直後のモデルのように評価されている。導入初日のベンチマークでは、基本的なシステム上の疑問が見過ごされている。すなわち、エージェントは導入後どの程度の期間、信頼性を維持できるのかという点である。モデルの重みが固定されていても、エージェントの実効状態は、対話履歴の圧縮、拡大する記憶ストアからの検索、更新後の事実修正、定期的なメンテナンスを通じて常に変化し続ける。したがって、信頼性はベースモデルのスナップショット特性だけでなく、エージェント全体のハーネスの寿命特性となる。本稿では、エージェントの寿命工学のための縦断的信頼性ベンチマークであるAgingBenchを提案する。これは、導入されたエージェントが劣化するかどうかだけでなく、劣化の形態と修復の標的部位を測定するものである。AgingBenchは、エージェントの経年劣化を4つのメカニズム、すなわち圧縮劣化、干渉劣化、修正劣化、メンテナンス劣化に分類する。これらの故障を診断するため、AgingBenchは時間的依存関係グラフと対になった反事実的プローブを用いて、メモリパイプラインの書き込み、検索、利用の各段階に対する診断プロファイルを生成する。7つのシナリオ、14のモデル、複数のメモリポリシー、ランナー制御エージェントと自律エージェントの両方にわたる、8〜200セッションに及ぶ約400回の実行から、エージェントの経年劣化は一元的ではないことが示された。行動テストは良好なままでも事実の正確性が低下することがあり、導出状態追跡は単一モデル内で急激に崩壊することがあり、同一の誤った回答でも診断プロファイルの示す内容によって異なる修復が必要となる。これらの結果は、信頼性の高いエージェント導入には、初日のモデル強化だけでなく、寿命評価、メカニズムレベルの診断、段階に応じた修復が必要であることを示唆している。

English

Long-lived AI agents are increasingly deployed as persistent operational systems, yet they are still evaluated like freshly initialized models. Day-one benchmarks miss a basic systems question: how long does an agent remain reliable after deployment? Even when model weights are frozen, an agent's effective state keeps changing as it compresses interaction history, retrieves from a growing memory store, revises facts after updates, and undergoes routine maintenance. Reliability therefore becomes a lifespan property of the full agent harness, not only a snapshot property of the base model. We introduce AgingBench, a longitudinal reliability benchmark for agent lifespan engineering: measuring not only whether deployed agents degrade, but what form the degradation takes and where repair should target. AgingBench organizes agent aging into four mechanisms: compression aging, interference aging, revision aging, and maintenance aging. To diagnose these failures, AgingBench uses temporal dependency graphs and paired counterfactual probes that produce diagnostic profiles for the write, retrieval, and utilization stages of the memory pipeline. Across 7 scenarios, 14 models, multiple memory policies, and both runner-controlled and autonomous agents, over ~400 runs spanning 8 - 200 sessions show that agent aging is not one-dimensional: behavioral tests can remain clean while factual precision decays; derived-state tracking can collapse sharply within a single model; and the same wrong answer can require different repairs depending on what the diagnostic profile points to. These results suggest that reliable agent deployment requires lifespan evaluation, mechanism-level diagnosis, and stage-targeted repair, not only stronger day-one models.