GDPevo: 実ビジネスタスクにおけるエージェント自己進化の評価

要旨

エージェントの自己進化は、事前の経験からエージェントの永続的状態を更新し、それを再利用して関連するタスクをより効果的に解決する。自己進化の評価は難しい。既存のベンチマークは、経済的に価値のあるタスク領域のカバレッジが限られており、テスト時の利得をトレーニング経験に帰属できるようなトレーニングおよびテストタスクを常に設計しているとは限らず、データ汚染に対しても脆弱なままである。我々は、GDP関連のエンタープライズワークフローに基づく自己進化ネイティブなベンチマークであるGDPevoと、それを生成する完全自動化データパイプラインを提示する。その中核メカニズムであるルールのハイブリッド化は、各エンタープライズワークフローを原子的なビジネスルールに分解し、これらのルールのサブセットをトレーニングタスクに分散し、ホールドアウトテストタスクで再結合することで、テスト時の利得を帰属可能にする。GDPevoはCRM、ERP、財務、ヘルスケア、法務、データ中心のワークフローを網羅する。V1リリースには12グループに120タスクが含まれ、各グループに5つのトレーニングタスクと5つのホールドアウトテストタスクがある。完全自動化により、パイプラインはスイートを2日以内に24グループ240タスク（V2）へ拡張でき、汚染への実用的な対応を提供する。GDPevoを用いて、我々はそれぞれがハーネスとモデルからなる4つのエージェントを、4種類の教師信号タイプの下で評価する。自己進化は、ホールドアウト精度を最大16.44パーセントポイント一貫して向上させる。しかし、最良の進化済みエージェントの成績は、完全な情報を与えられたオラクルの上限91.6%には依然として大きく及ばず、現在のエージェントの自己進化能力が完全には実現されていないことを示している。我々は、パイプライン、ベンチマーク、および完全な評価結果をhttps://github.com/Prism-Shadow/GDPevoで公開する。

English

Agent self-evolution updates an agent's persistent state from prior experience and reuses it to solve related tasks more effectively. Evaluating self-evolution is difficult: existing benchmarks provide limited coverage of economically valuable task domains, do not always design training and test tasks such that test-time gains can be attributed to training experience, and remain vulnerable to data contamination. We present GDPevo, an evolution-native benchmark grounded in GDP-related enterprise workflows, together with the fully automated data pipeline that generates it. Its core mechanism, rule hybridization, decomposes each enterprise workflow into atomic business rules, distributes subsets of these rules across training tasks, and recombines them in held-out test tasks so that test-time gains are attributable. GDPevo spans CRM, ERP, finance, healthcare, legal, and data-centric workflows. Its V1 release contains 120 tasks in 12 groups, with five training and five held-out test tasks per group. Full automation enables the pipeline to expand the suite to 240 tasks in 24 groups (V2) within two days, providing a practical response to contamination. Using GDPevo, we evaluate four agents, each comprising a harness and a model, under four supervision types. Self-evolution consistently improves held-out accuracy by up to 16.44 percentage points. But the best evolved agents remain far below the fully informed oracle ceiling of 91.6%, indicating that the self-evolution ability of current agents remains far from fully realized. We publicly release the pipeline, benchmark, and full evaluation results at https://github.com/Prism-Shadow/GDPevo.