GDPevo: 실제 비즈니스 작업에서 에이전트 자기 진화 평가

초록

에이전트 자기 진화는 이전 경험으로부터 에이전트의 지속 상태를 갱신하고 이를 재사용하여 관련 작업을 더 효과적으로 해결한다. 자기 진화를 평가하는 것은 어렵다. 기존 벤치마크는 경제적 가치가 있는 작업 영역을 제한적으로만 다루고, 테스트 시점의 성능 향상이 훈련 경험에 귀속될 수 있도록 훈련 및 테스트 작업을 설계하지 않는 경우가 많으며, 데이터 오염에도 여전히 취약하다. 우리는 GDP 관련 기업 워크플로우에 기반한 자기 진화 평가에 특화된 벤치마크인 GDPevo와 이를 생성하는 완전 자동화 데이터 파이프라인을 제시한다. 핵심 메커니즘인 규칙 혼성화는 각 기업 워크플로우를 원자적 비즈니스 규칙들로 분해하고, 이 규칙들의 부분집합을 훈련 작업에 분배한 뒤, 분리된 테스트 작업에서 재결합하여 테스트 시점의 성능 향상이 훈련 경험에 귀속될 수 있게 한다. GDPevo는 CRM, ERP, 금융, 의료, 법률, 데이터 중심 워크플로우를 아우른다. V1 릴리스는 12개 그룹의 120개 작업을 포함하며, 각 그룹에는 훈련 작업 5개와 분리된 테스트 작업 5개가 있다. 완전 자동화 덕분에 파이프라인은 이틀 내에 스위트를 24개 그룹의 240개 작업(V2)으로 확장할 수 있어 데이터 오염에 대한 실질적 대응이 가능하다. GDPevo를 사용하여 우리는 각각 하네스와 모델로 구성된 네 에이전트를 네 가지 지도 유형 하에서 평가한다. 자기 진화는 분리 테스트 정확도를 최대 16.44퍼센트 포인트까지 일관되게 향상시킨다. 그러나 가장 우수한 진화 에이전트들도 완전한 정보를 갖춘 오라클 상한 91.6%에 크게 미치지 못하며, 이는 현재 에이전트의 자기 진화 능력이 완전히 실현되기에는 아직 멀었음을 시사한다. 우리는 파이프라인, 벤치마크, 전체 평가 결과를 https://github.com/Prism-Shadow/GDPevo에서 공개한다.

English

Agent self-evolution updates an agent's persistent state from prior experience and reuses it to solve related tasks more effectively. Evaluating self-evolution is difficult: existing benchmarks provide limited coverage of economically valuable task domains, do not always design training and test tasks such that test-time gains can be attributed to training experience, and remain vulnerable to data contamination. We present GDPevo, an evolution-native benchmark grounded in GDP-related enterprise workflows, together with the fully automated data pipeline that generates it. Its core mechanism, rule hybridization, decomposes each enterprise workflow into atomic business rules, distributes subsets of these rules across training tasks, and recombines them in held-out test tasks so that test-time gains are attributable. GDPevo spans CRM, ERP, finance, healthcare, legal, and data-centric workflows. Its V1 release contains 120 tasks in 12 groups, with five training and five held-out test tasks per group. Full automation enables the pipeline to expand the suite to 240 tasks in 24 groups (V2) within two days, providing a practical response to contamination. Using GDPevo, we evaluate four agents, each comprising a harness and a model, under four supervision types. Self-evolution consistently improves held-out accuracy by up to 16.44 percentage points. But the best evolved agents remain far below the fully informed oracle ceiling of 91.6%, indicating that the self-evolution ability of current agents remains far from fully realized. We publicly release the pipeline, benchmark, and full evaluation results at https://github.com/Prism-Shadow/GDPevo.