A2Eval: Avaliação Agente e Automatizada para Cérebros Embarcados
A2Eval: Agentic and Automated Evaluation for Embodied Brain
February 2, 2026
Autores: Shuai Zhang, Jiayu Hu, Zijie Chen, Zeyuan Ding, Yi Zhang, Yingji Zhang, Ziyi Zhou, Junwei Liao, Shengjie Zhou, Yong Dai, Zhenzhong Lan, Xiaozhu Ju
cs.AI
Resumo
A avaliação atual de VLMs incorporados depende de benchmarks estáticos, definidos por especialistas e anotados manualmente, que exibem severa redundância e desequilíbrio de cobertura. Este paradigma intensivo em mão de obra drena recursos computacionais e de anotação, inflaciona custos e distorce o ranking dos modelos, sufocando, em última análise, o desenvolvimento iterativo. Para resolver isso, propomos a Avaliação Automática Agêntica (A2Eval), o primeiro framework agêntico que automatiza a curadoria e avaliação de benchmarks através de dois agentes colaborativos. O Agente de Dados induz autonomamente dimensões de capacidade e monta um conjunto de avaliação balanceado e compacto, enquanto o Agente de Avaliação sintetiza e valida pipelines de avaliação executáveis, permitindo uma avaliação totalmente autónoma e de alta fidelidade. Avaliado em 10 benchmarks e 13 modelos, o A2Eval comprime os conjuntos de avaliação em 85%, reduz os custos computacionais totais em 77% e proporciona uma aceleração de 4,6x, mantendo a qualidade da avaliação. Crucialmente, o A2Eval corrige vieses sistemáticos de ranking, melhora o alinhamento humano para Spearman's rho=0,85 e mantém alta fidelidade de ranking (Kendall's tau=0,81), estabelecendo um novo padrão para avaliação incorporada de alta fidelidade e baixo custo. O nosso código e dados serão públicos em breve.
English
Current embodied VLM evaluation relies on static, expert-defined, manually annotated benchmarks that exhibit severe redundancy and coverage imbalance. This labor intensive paradigm drains computational and annotation resources, inflates costs, and distorts model rankings, ultimately stifling iterative development. To address this, we propose Agentic Automatic Evaluation (A2Eval), the first agentic framework that automates benchmark curation and evaluation through two collaborative agents. The Data Agent autonomously induces capability dimensions and assembles a balanced, compact evaluation suite, while the Eval Agent synthesizes and validates executable evaluation pipelines, enabling fully autonomous, high-fidelity assessment. Evaluated across 10 benchmarks and 13 models, A2Eval compresses evaluation suites by 85%, reduces overall computational costs by 77%, and delivers a 4.6x speedup while preserving evaluation quality. Crucially, A2Eval corrects systematic ranking biases, improves human alignment to Spearman's rho=0.85, and maintains high ranking fidelity (Kendall's tau=0.81), establishing a new standard for high-fidelity, low-cost embodied assessment. Our code and data will be public soon.