Gaia2: Avaliação de Agentes de LLM em Ambientes Dinâmicos e Assíncronos
Gaia2: Benchmarking LLM Agents on Dynamic and Asynchronous Environments
February 12, 2026
Autores: Romain Froger, Pierre Andrews, Matteo Bettini, Amar Budhiraja, Ricardo Silveira Cabral, Virginie Do, Emilien Garreau, Jean-Baptiste Gaya, Hugo Laurençon, Maxime Lecanu, Kunal Malkan, Dheeraj Mekala, Pierre Ménard, Gerard Moreno-Torres Bertran, Ulyana Piterbarg, Mikhail Plekhanov, Mathieu Rita, Andrey Rusakov, Vladislav Vorotilov, Mengjue Wang, Ian Yu, Amine Benhalloum, Grégoire Mialon, Thomas Scialom
cs.AI
Resumo
Apresentamos o Gaia2, um benchmark para avaliação de agentes de modelos de linguagem grande em ambientes realistas e assíncronos. Diferentemente de avaliações estáticas ou síncronas anteriores, o Gaia2 introduz cenários onde os ambientes evoluem independentemente das ações do agente, exigindo que os agentes operem sob restrições temporais, adaptem-se a eventos dinâmicos e ruidosos, resolvam ambiguidades e colaborem com outros agentes. Cada cenário é emparelhado com um verificador de ação de escrita, permitindo uma avaliação refinada a nível de ação e tornando o Gaia2 diretamente utilizável para aprendizagem por reforço a partir de recompensas verificáveis. Nossa avaliação dos modelos proprietários e de código aberto mais avançados mostra que nenhum modelo domina todas as capacidades: o GPT-5 (high) atinge a pontuação geral mais forte de 42% pass@1, mas falha em tarefas sensíveis ao tempo; o Claude-4 Sonnet troca precisão e velocidade por custo; o Kimi-K2 lidera entre os modelos de código aberto com 21% pass@1. Esses resultados destacam trade-offs fundamentais entre raciocínio, eficiência, robustez e expõem desafios para fechar a lacuna "sim2real". O Gaia2 é construído em um ambiente de consumo com a plataforma de código aberto Agents Research Environments e projetado para ser facilmente estendido. Ao lançar o Gaia2 juntamente com a estrutura fundamental ARE, visamos fornecer à comunidade uma infraestrutura flexível para desenvolver, comparar e treinar a próxima geração de sistemas de agentes práticos.
English
We introduce Gaia2, a benchmark for evaluating large language model agents in realistic, asynchronous environments. Unlike prior static or synchronous evaluations, Gaia2 introduces scenarios where environments evolve independently of agent actions, requiring agents to operate under temporal constraints, adapt to noisy and dynamic events, resolve ambiguity, and collaborate with other agents. Each scenario is paired with a write-action verifier, enabling fine-grained, action-level evaluation and making Gaia2 directly usable for reinforcement learning from verifiable rewards. Our evaluation of state-of-the-art proprietary and open-source models shows that no model dominates across capabilities: GPT-5 (high) reaches the strongest overall score of 42% pass@1 but fails on time-sensitive tasks, Claude-4 Sonnet trades accuracy and speed for cost, Kimi-K2 leads among open-source models with 21% pass@1. These results highlight fundamental trade-offs between reasoning, efficiency, robustness, and expose challenges in closing the "sim2real" gap. Gaia2 is built on a consumer environment with the open-source Agents Research Environments platform and designed to be easy to extend. By releasing Gaia2 alongside the foundational ARE framework, we aim to provide the community with a flexible infrastructure for developing, benchmarking, and training the next generation of practical agent systems.