A2Eval: Agent-gebaseerde en Geautomatiseerde Evaluatie voor Belichaamde Intelligentie
A2Eval: Agentic and Automated Evaluation for Embodied Brain
February 2, 2026
Auteurs: Shuai Zhang, Jiayu Hu, Zijie Chen, Zeyuan Ding, Yi Zhang, Yingji Zhang, Ziyi Zhou, Junwei Liao, Shengjie Zhou, Yong Dai, Zhenzhong Lan, Xiaozhu Ju
cs.AI
Samenvatting
De huidige evaluatie van belichaamde VLM's steunt op statische, door experts gedefinieerde, handmatig geannoteerde benchmarks die ernstige redundantie en een onevenwichtige dekking vertonen. Dit arbeidsintensieve paradigma put computationele en annotatiebronnen uit, drijft de kosten op en verstoort modelrangschikkingen, wat uiteindelijk de iteratieve ontwikkeling belemmert. Om dit aan te pakken, stellen wij Agentic Automatic Evaluation (A2Eval) voor, het eerste agent-gebaseerde raamwerk dat de benchmarkcuratie en -evaluatie automatiseert via twee samenwerkende agents. De Data Agent induceert autonoom capaciteitsdimensies en stelt een gebalanceerde, compacte evaluatieset samen, terwijl de Eval Agent uitvoerbare evaluatiepijplijnen synthetiseert en valideert, waardoor een volledig autonome, hoogwaardige beoordeling mogelijk wordt. Geëvalueerd over 10 benchmarks en 13 modellen, comprimeert A2Eval evaluatiesets met 85%, vermindert de totale computationele kosten met 77% en levert een 4,6x versnelling op, waarbij de evaluatiekwaliteit behouden blijft. Cruciaal is dat A2Eval systematische rangschikkingsvooroordelen corrigeert, de menselijke afstemming verbetert tot Spearman's rho=0,85 en een hoge rangschikkingsbetrouwbaarheid handhaaft (Kendall's tau=0,81), waarmee een nieuwe standaard wordt gevestigd voor hoogwaardige, low-cost belichaamde evaluatie. Onze code en data zullen binnenkort openbaar worden.
English
Current embodied VLM evaluation relies on static, expert-defined, manually annotated benchmarks that exhibit severe redundancy and coverage imbalance. This labor intensive paradigm drains computational and annotation resources, inflates costs, and distorts model rankings, ultimately stifling iterative development. To address this, we propose Agentic Automatic Evaluation (A2Eval), the first agentic framework that automates benchmark curation and evaluation through two collaborative agents. The Data Agent autonomously induces capability dimensions and assembles a balanced, compact evaluation suite, while the Eval Agent synthesizes and validates executable evaluation pipelines, enabling fully autonomous, high-fidelity assessment. Evaluated across 10 benchmarks and 13 models, A2Eval compresses evaluation suites by 85%, reduces overall computational costs by 77%, and delivers a 4.6x speedup while preserving evaluation quality. Crucially, A2Eval corrects systematic ranking biases, improves human alignment to Spearman's rho=0.85, and maintains high ranking fidelity (Kendall's tau=0.81), establishing a new standard for high-fidelity, low-cost embodied assessment. Our code and data will be public soon.