A2Eval: 身体化知能のためのエージェント的・自動的評価

要旨

現在の具現化VLM評価は、静的な専門家定義の手動注釈ベンチマークに依存しており、深刻な冗長性とカバレッジの不均衡を示している。この労力を要するパラダイムは、計算リソースと注釈リソースを浪費し、コストを膨張させ、モデル順位を歪め、最終的に反復的開発を阻害している。この問題に対処するため、我々は協働する2つのエージェントを通じてベンチマーク選定と評価を自動化する、初のエージェント型フレームワークであるAgentic Automatic Evaluation（A2Eval）を提案する。Data Agentは能力次元を自律的に導出し、均衡の取れたコンパクトな評価スイートを構築する。一方、Eval Agentは実行可能な評価パイプラインを統合・検証し、完全自律的な高精度評価を実現する。10のベンチマークと13のモデルで評価した結果、A2Evalは評価スイートを85%圧縮し、総計算コストを77%削減、評価品質を維持したまま4.6倍の高速化を達成した。決定的に、A2Evalは系統的な順位バイアスを補正し、Spearmanのρ=0.85という高い人間整合性を実現し、高い順位忠実性（Kendallのτ=0.81）を維持することで、高精度かつ低コストな具現化評価の新たな標準を確立する。コードとデータは近日公開予定である。

English

Current embodied VLM evaluation relies on static, expert-defined, manually annotated benchmarks that exhibit severe redundancy and coverage imbalance. This labor intensive paradigm drains computational and annotation resources, inflates costs, and distorts model rankings, ultimately stifling iterative development. To address this, we propose Agentic Automatic Evaluation (A2Eval), the first agentic framework that automates benchmark curation and evaluation through two collaborative agents. The Data Agent autonomously induces capability dimensions and assembles a balanced, compact evaluation suite, while the Eval Agent synthesizes and validates executable evaluation pipelines, enabling fully autonomous, high-fidelity assessment. Evaluated across 10 benchmarks and 13 models, A2Eval compresses evaluation suites by 85%, reduces overall computational costs by 77%, and delivers a 4.6x speedup while preserving evaluation quality. Crucially, A2Eval corrects systematic ranking biases, improves human alignment to Spearman's rho=0.85, and maintains high ranking fidelity (Kendall's tau=0.81), establishing a new standard for high-fidelity, low-cost embodied assessment. Our code and data will be public soon.

A2Eval: 身体化知能のためのエージェント的・自動的評価

A2Eval: Agentic and Automated Evaluation for Embodied Brain

要旨

Support