일반 에이전트 평가

초록

범용 에이전트 - 즉, 도메인 특화 엔지니어링 없이도 익숙하지 않은 환경에서 작업을 수행하는 시스템 - 의 가능성은 여전히 대부분 실현되지 않은 상태입니다. 기존 에이전트는 대부분 특화되어 있으며, OpenAI SDK Agent나 Claude Code와 같은 새로운 구현체들이 더 넓은 능력을 암시하기는 하지만, 이들의 일반적인 성능에 대한 체계적인 평가는 이루어지지 않았습니다. 현재의 에이전트 벤치마크는 도메인 특화 통합을 전제로 하여, 작업 정보를 범용 에이전트의 공정한 평가를 방해하는 방식으로 인코딩합니다. 본 논문은 범용 에이전트 평가를 1차 연구 목표로 설정합니다. 우리는 이러한 평가를 위한 개념적 원칙, 에이전트-벤치마크 통합을 가능하게 하는 통합 프로토콜, 그리고 실용적인 범용 에이전트 평가 프레임워크인 Exgentic을 제안합니다. 우리는 최초의 공개 범용 에이전트 리더보드로서 6가지 환경에서 5개의 주요 에이전트 구현체에 대한 벤치마크를 수행합니다. 우리의 실험 결과, 범용 에이전트는 다양한 환경에 걸쳐 일반화 능력을 보여주며, 환경 특화 조정 없이도 도메인 특화 에이전트에 버금가는 성능을 달성함을 확인했습니다. 우리는 평가 프로토콜, 프레임워크, 리더보드를 공개하여 범용 에이전트에 대한 체계적인 연구의 기초를 마련하고자 합니다.

English

The promise of general-purpose agents - systems that perform tasks in unfamiliar environments without domain-specific engineering - remains largely unrealized. Existing agents are predominantly specialized, and while emerging implementations like OpenAI SDK Agent and Claude Code hint at broader capabilities, no systematic evaluation of their general performance has been pursued. Current agentic benchmarks assume domain-specific integration, encoding task information in ways that preclude fair evaluation of general agents. This paper frames general-agent evaluation as a first-class research objective. We propose conceptual principles for such evaluation, a Unified Protocol enabling agent-benchmark integration, and Exgentic - a practical framework for general agent evaluation. We benchmark five prominent agent implementations across six environments as the first Open General Agent Leaderboard. Our experiments show that general agents generalize across diverse environments, achieving performance comparable to domain-specific agents without any environment-specific tuning. We release our evaluation protocol, framework, and leaderboard to establish a foundation for systematic research on general-purpose agents.

일반 에이전트 평가

General Agent Evaluation

초록

Support