PAST-Bench: パーソナルエージェントにおける再帰的自己改善の基盤のベンチマーキング

要旨

再帰的自己改善には、エージェントが蓄積された経験を将来のより良い行動に転換することが必要である。パーソナルAIエージェントは、セッションをまたいで嗜好、タスク履歴、ツールのルーチン、学習済みスキルを保持するため、この能力を研究するための具体的な環境を提供する。しかし、保持された経験が実際に時間とともにエージェントを改善するかどうかは、体系的に検証されていない。我々は、この問いを切り分けるために設計されたベンチマークであるPAST-Benchを紹介する。各エージェントは、保持経験の有無を切り替える整合された条件下で、新しいセッションのタスクの順序付き系列を実行する。これは、記憶、手続きの再利用、情報収集、更新にわたり、26シナリオと204エピソードを含む。我々は、後続タスクでの向上と、その向上が意図された保存・取得・更新の経路に沿っているかどうかの両方を報告する。7つのベースモデルと4つのエージェントフレームワークにわたって、改善は実際に確認できるが、その程度は能力によって不均一である。同じ見かけ上の向上を示すエージェントでも、その向上が意図された経路の証拠に裏付けられているかどうかは大きく異なり得る。これらの知見に基づき、我々はエージェントループの各段階にわたる5つの的を絞った介入をHermesに加えたHermes+を開発する。Hermes+は、保持経験からの平均的な向上を高め、より明確な経路の証拠を提供する。特に、古い状態の置き換えを必要とするタスクで最も強い改善を示すが、その効果は依然として能力とモデルに依存する。まとめると、PAST-BenchとHermes+は、永続的エージェントが経験の保持から、その経験を通じた体系的な改善へと進む仕組みを研究するための、評価および診断の基盤を提供する。コード: https://github.com/Gen-Verse/PAST-Bench

English

Recursive self-improvement requires agents to turn accumulated experience into better future behavior. Personal AI agents offer a concrete setting for studying this capability because they retain preferences, task histories, tool routines, and learned skills across sessions. Yet whether retained experience actually improves them over time has not been systematically tested. We introduce PAST-Bench, a benchmark designed to isolate this question. Each agent runs through ordered sequences of fresh-session tasks under matched conditions that turn retained experience on and off. It spans 26 scenarios and 204 episodes across memory, procedural reuse, information gathering, and update. We report both later-task gains and whether those gains follow the intended save, retrieve, and update pathway. Across seven base models and four agent frameworks, improvement is real but uneven across capabilities. Agents with the same headline gain can differ markedly in whether that gain is supported by evidence of the intended pathway. Guided by these findings, we develop Hermes+, which extends Hermes with five targeted interventions across stages of the agent loop. Hermes+ raises the average gain from retained experience and provides clearer pathway evidence, with its strongest improvement on tasks requiring outdated state to be replaced, although the effect remains capability- and model-dependent. Together, PAST-Bench and Hermes+ provide an evaluation and diagnostic foundation for studying how persistent agents can progress from retaining experience to systematically improving through it. Code: https://github.com/Gen-Verse/PAST-Bench