A2Eval : Évaluation Agentique et Automatisée pour le Cerveau Incarné
A2Eval: Agentic and Automated Evaluation for Embodied Brain
February 2, 2026
papers.authors: Shuai Zhang, Jiayu Hu, Zijie Chen, Zeyuan Ding, Yi Zhang, Yingji Zhang, Ziyi Zhou, Junwei Liao, Shengjie Zhou, Yong Dai, Zhenzhong Lan, Xiaozhu Ju
cs.AI
papers.abstract
L'évaluation actuelle des VLM incarnés repose sur des benchmarks statiques, définis par des experts et annotés manuellement, qui présentent une redondance sévère et un déséquilibre de couverture. Ce paradigme laborieux draine les ressources computationnelles et d'annotation, gonfle les coûts et fausse le classement des modèles, freinant in fine le développement itératif. Pour y remédier, nous proposons l'Évaluation Automatique Agentique (A2Eval), premier cadre agentique automatisant la curation et l'évaluation des benchmarks via deux agents collaboratifs. L'Agent Données induit de manière autonome des dimensions de capacité et assemble une suite d'évaluation équilibrée et compacte, tandis que l'Agent Éval synthétise et valide des pipelines d'évaluation exécutables, permettant une évaluation entièrement autonome et haute fidélité. Évalué sur 10 benchmarks et 13 modèles, A2Eval compresse les suites d'évaluation de 85%, réduit les coûts computationnels globaux de 77% et offre une accélération de 4,6x tout en préservant la qualité de l'évaluation. Surtout, A2Eval corrige les biais systématiques de classement, améliore l'alignement humain jusqu'à un rho de Spearman=0,85 et maintient une haute fidélité de classement (tau de Kendall=0,81), établissant un nouveau standard pour l'évaluation incarnée haute fidélité et faible coût. Notre code et nos données seront bientôt publics.
English
Current embodied VLM evaluation relies on static, expert-defined, manually annotated benchmarks that exhibit severe redundancy and coverage imbalance. This labor intensive paradigm drains computational and annotation resources, inflates costs, and distorts model rankings, ultimately stifling iterative development. To address this, we propose Agentic Automatic Evaluation (A2Eval), the first agentic framework that automates benchmark curation and evaluation through two collaborative agents. The Data Agent autonomously induces capability dimensions and assembles a balanced, compact evaluation suite, while the Eval Agent synthesizes and validates executable evaluation pipelines, enabling fully autonomous, high-fidelity assessment. Evaluated across 10 benchmarks and 13 models, A2Eval compresses evaluation suites by 85%, reduces overall computational costs by 77%, and delivers a 4.6x speedup while preserving evaluation quality. Crucially, A2Eval corrects systematic ranking biases, improves human alignment to Spearman's rho=0.85, and maintains high ranking fidelity (Kendall's tau=0.81), establishing a new standard for high-fidelity, low-cost embodied assessment. Our code and data will be public soon.