A2Eval: Агентная и автоматизированная оценка для воплощенного интеллекта
A2Eval: Agentic and Automated Evaluation for Embodied Brain
February 2, 2026
Авторы: Shuai Zhang, Jiayu Hu, Zijie Chen, Zeyuan Ding, Yi Zhang, Yingji Zhang, Ziyi Zhou, Junwei Liao, Shengjie Zhou, Yong Dai, Zhenzhong Lan, Xiaozhu Ju
cs.AI
Аннотация
Современная оценка воплощенных VLMs опирается на статические, экспертно-определенные, ручным образом аннотированные бенчмарки, которые демонстрируют серьезную избыточность и дисбаланс охвата. Эта трудоемкая парадигма истощает вычислительные и аннотационные ресурсы, завышает стоимость и искажает рейтинги моделей, в конечном счете сдерживая итеративную разработку. Для решения этой проблемы мы предлагаем Agentic Automatic Evaluation (A2Eval) — первую агентскую структуру, которая автоматизирует курацию бенчмарков и оценку с помощью двух совместно работающих агентов. Data Agent автономно выявляет параметры способностей и формирует сбалансированный, компактный набор для оценки, в то время как Eval Agent синтезирует и проверяет исполняемые конвейеры оценки, обеспечивая полностью автономную оценку с высокой точностью. Протестированная на 10 бенчмарках и 13 моделях, A2Eval сжимает наборы для оценки на 85%, сокращает общие вычислительные затраты на 77% и обеспечивает ускорение в 4,6 раза при сохранении качества оценки. Что особенно важно, A2Eval корректирует системные смещения в ранжировании, улучшает соответствие человеческим оценкам до коэффициента Спирмена ρ=0,85 и сохраняет высокую достоверность ранжирования (тау Кендалла τ=0,81), устанавливая новый стандарт для высокоточной и низкозатратной воплощенной оценки. Наш код и данные скоро будут опубликованы.
English
Current embodied VLM evaluation relies on static, expert-defined, manually annotated benchmarks that exhibit severe redundancy and coverage imbalance. This labor intensive paradigm drains computational and annotation resources, inflates costs, and distorts model rankings, ultimately stifling iterative development. To address this, we propose Agentic Automatic Evaluation (A2Eval), the first agentic framework that automates benchmark curation and evaluation through two collaborative agents. The Data Agent autonomously induces capability dimensions and assembles a balanced, compact evaluation suite, while the Eval Agent synthesizes and validates executable evaluation pipelines, enabling fully autonomous, high-fidelity assessment. Evaluated across 10 benchmarks and 13 models, A2Eval compresses evaluation suites by 85%, reduces overall computational costs by 77%, and delivers a 4.6x speedup while preserving evaluation quality. Crucially, A2Eval corrects systematic ranking biases, improves human alignment to Spearman's rho=0.85, and maintains high ranking fidelity (Kendall's tau=0.81), establishing a new standard for high-fidelity, low-cost embodied assessment. Our code and data will be public soon.