総合エージェント評価

要旨

汎用エージェント - ドメイン固有の設計を必要とせずに未知の環境でタスクを実行するシステム - の実現は未だ大部分が未達の領域である。既存のエージェントは専ら特化型が主流であり、OpenAI SDK AgentやClaude Codeといった新興の実装が広範な能力を示唆するものの、それらの汎用的性能に関する体系的な評価は行われていない。現行のエージェント評価基準はドメイン固有の統合を前提としており、タスク情報の符号化方法が汎用エージェントの公平な評価を妨げている。本論文は、汎用エージェント評価を第一級の研究目標として位置付ける。我々は、そのような評価のための概念的指針、エージェントと評価基準の統合を可能にする統一プロトコル、そして実践的な汎用エージェント評価フレームワークであるExgenticを提案する。5つの著名なエージェント実装を6環境で評価し、初のオープンな汎用エージェントリーダーボードを構築した。実験結果は、汎用エージェントが多様な環境にわたって一般化し、環境固有の調整なしでドメイン固有エージェントに匹敵する性能を達成することを示す。評価プロトコル、フレームワーク、リーダーボードを公開し、汎用エージェントに関する体系的研究の基盤確立を目指す。

English

The promise of general-purpose agents - systems that perform tasks in unfamiliar environments without domain-specific engineering - remains largely unrealized. Existing agents are predominantly specialized, and while emerging implementations like OpenAI SDK Agent and Claude Code hint at broader capabilities, no systematic evaluation of their general performance has been pursued. Current agentic benchmarks assume domain-specific integration, encoding task information in ways that preclude fair evaluation of general agents. This paper frames general-agent evaluation as a first-class research objective. We propose conceptual principles for such evaluation, a Unified Protocol enabling agent-benchmark integration, and Exgentic - a practical framework for general agent evaluation. We benchmark five prominent agent implementations across six environments as the first Open General Agent Leaderboard. Our experiments show that general agents generalize across diverse environments, achieving performance comparable to domain-specific agents without any environment-specific tuning. We release our evaluation protocol, framework, and leaderboard to establish a foundation for systematic research on general-purpose agents.

総合エージェント評価

General Agent Evaluation

要旨

Support