A2Eval: Evaluación Agéntica y Automatizada para Cerebro Encarnado
A2Eval: Agentic and Automated Evaluation for Embodied Brain
February 2, 2026
Autores: Shuai Zhang, Jiayu Hu, Zijie Chen, Zeyuan Ding, Yi Zhang, Yingji Zhang, Ziyi Zhou, Junwei Liao, Shengjie Zhou, Yong Dai, Zhenzhong Lan, Xiaozhu Ju
cs.AI
Resumen
La evaluación actual de VLM corporizados se basa en puntos de referencia estáticos, definidos por expertos y anotados manualmente que presentan una grave redundancia y un desequilibrio en la cobertura. Este paradigma intensivo en mano de obra agota los recursos computacionales y de anotación, infla los costos y distorsiona la clasificación de los modelos, sofocando en última instancia el desarrollo iterativo. Para abordar esto, proponemos Evaluación Automática Agéntica (A2Eval), el primer marco agéntico que automatiza la curación y evaluación de benchmarks mediante dos agentes colaborativos. El Agente de Datos induce de forma autónoma dimensiones de capacidad y ensambla un conjunto de evaluación equilibrado y compacto, mientras que el Agente de Eval sintetiza y valida pipelines de evaluación ejecutables, permitiendo una evaluación completamente autónoma y de alta fidelidad. Evaluado en 10 benchmarks y 13 modelos, A2Eval comprime los conjuntos de evaluación en un 85%, reduce los costos computacionales totales en un 77% y ofrece una aceleración de 4.6x manteniendo la calidad de la evaluación. Crucialmente, A2Eval corrige los sesgos sistemáticos de clasificación, mejora la alineación humana a un rho de Spearman=0.85 y mantiene una alta fidelidad en la clasificación (tau de Kendall=0.81), estableciendo un nuevo estándar para la evaluación corporizada de alta fidelidad y bajo costo. Nuestro código y datos serán públicos próximamente.
English
Current embodied VLM evaluation relies on static, expert-defined, manually annotated benchmarks that exhibit severe redundancy and coverage imbalance. This labor intensive paradigm drains computational and annotation resources, inflates costs, and distorts model rankings, ultimately stifling iterative development. To address this, we propose Agentic Automatic Evaluation (A2Eval), the first agentic framework that automates benchmark curation and evaluation through two collaborative agents. The Data Agent autonomously induces capability dimensions and assembles a balanced, compact evaluation suite, while the Eval Agent synthesizes and validates executable evaluation pipelines, enabling fully autonomous, high-fidelity assessment. Evaluated across 10 benchmarks and 13 models, A2Eval compresses evaluation suites by 85%, reduces overall computational costs by 77%, and delivers a 4.6x speedup while preserving evaluation quality. Crucially, A2Eval corrects systematic ranking biases, improves human alignment to Spearman's rho=0.85, and maintains high ranking fidelity (Kendall's tau=0.81), establishing a new standard for high-fidelity, low-cost embodied assessment. Our code and data will be public soon.