A2Eval: Agentische und automatisierte Evaluation für verkörpertes Gehirn
A2Eval: Agentic and Automated Evaluation for Embodied Brain
February 2, 2026
papers.authors: Shuai Zhang, Jiayu Hu, Zijie Chen, Zeyuan Ding, Yi Zhang, Yingji Zhang, Ziyi Zhou, Junwei Liao, Shengjie Zhou, Yong Dai, Zhenzhong Lan, Xiaozhu Ju
cs.AI
papers.abstract
Die derzeitige Evaluation verkörperter VLMs stützt sich auf statische, von Experten definierte und manuell annotierte Benchmarks, die eine starke Redundanz und ein Ungleichgewicht in der Abdeckung aufweisen. Dieses arbeitsintensive Paradigma zehrt an Rechen- und Annotationsressourcen, treibt die Kosten in die Höhe und verzerrt Modellrankings, was letztlich die iterative Entwicklung hemmt. Um dies zu adressieren, schlagen wir Agentic Automatic Evaluation (A2Eval) vor, den ersten agentenbasierten Rahmen, der die Benchmark-Kuration und Evaluation durch zwei kollaborative Agenten automatisiert. Der Data Agent leitet autonom Fähigkeitsdimensionen ab und erstellt eine ausgewogene, kompakte Testsuite, während der Eval Agent ausführbare Evaluationspipelines synthetisiert und validiert, wodurch eine vollständig autonome, hochpräzise Bewertung ermöglicht wird. In Evaluierungen über 10 Benchmarks und 13 Modelle hinweg komprimiert A2Eval Testsuiten um 85%, senkt die gesamten Rechenkosten um 77% und erreicht eine 4,6-fache Beschleunigung bei gleichbleibender Evaluationsqualität. Entscheidend ist, dass A2Eval systematische Ranking-Verzerrungen korrigiert, die Übereinstimmung mit menschlichen Bewertungen auf Spearmans Rho=0,85 verbessert und eine hohe Ranking-Treue (Kendalls Tau=0,81) beibehält, wodurch ein neuer Standard für hochpräzise, kostengünstige verkörperte Evaluation gesetzt wird. Unser Code und unsere Daten werden in Kürze veröffentlicht.
English
Current embodied VLM evaluation relies on static, expert-defined, manually annotated benchmarks that exhibit severe redundancy and coverage imbalance. This labor intensive paradigm drains computational and annotation resources, inflates costs, and distorts model rankings, ultimately stifling iterative development. To address this, we propose Agentic Automatic Evaluation (A2Eval), the first agentic framework that automates benchmark curation and evaluation through two collaborative agents. The Data Agent autonomously induces capability dimensions and assembles a balanced, compact evaluation suite, while the Eval Agent synthesizes and validates executable evaluation pipelines, enabling fully autonomous, high-fidelity assessment. Evaluated across 10 benchmarks and 13 models, A2Eval compresses evaluation suites by 85%, reduces overall computational costs by 77%, and delivers a 4.6x speedup while preserving evaluation quality. Crucially, A2Eval corrects systematic ranking biases, improves human alignment to Spearman's rho=0.85, and maintains high ranking fidelity (Kendall's tau=0.81), establishing a new standard for high-fidelity, low-cost embodied assessment. Our code and data will be public soon.