Gaia2: Prestaties meten van LLM-agenten in dynamische en asynchrone omgevingen

Gaia2: Benchmarking LLM Agents on Dynamic and Asynchronous Environments

February 12, 2026

Auteurs: Romain Froger, Pierre Andrews, Matteo Bettini, Amar Budhiraja, Ricardo Silveira Cabral, Virginie Do, Emilien Garreau, Jean-Baptiste Gaya, Hugo Laurençon, Maxime Lecanu, Kunal Malkan, Dheeraj Mekala, Pierre Ménard, Gerard Moreno-Torres Bertran, Ulyana Piterbarg, Mikhail Plekhanov, Mathieu Rita, Andrey Rusakov, Vladislav Vorotilov, Mengjue Wang, Ian Yu, Amine Benhalloum, Grégoire Mialon, Thomas Scialom

cs.AI

Samenvatting

Wij introduceren Gaia2, een benchmark voor het evalueren van agenten op basis van grote taalmodellen in realistische, asynchrone omgevingen. In tegenstelling tot eerdere statische of synchrone evaluaties, introduceert Gaia2 scenario's waarin omgevingen onafhankelijk van agentacties evolueren. Dit vereist dat agenten opereren onder temporele beperkingen, zich aanpassen aan ruis en dynamische gebeurtenissen, ambiguïteit oplossen en samenwerken met andere agenten. Elk scenario is gekoppeld aan een write-action-verifier, wat fijnmazige, actieniveau-evaluatie mogelijk maakt en Gaia2 direct bruikbaar maakt voor reinforcement learning met verifieerbare beloningen. Onze evaluatie van state-of-the-art propriëtaire en open-source modellen toont aan dat geen enkel model domineert op alle capaciteiten: GPT-5 (high) behaalt de hoogste algemene score van 42% pass@1 maar faalt bij tijdgevoelige taken, Claude-4 Sonnet ruilt nauwkeurigheid en snelheid in voor kosten, Kimi-K2 leidt bij open-source modellen met 21% pass@1. Deze resultaten belichten fundamentele afwegingen tussen redenering, efficiëntie, robuustheid, en tonen de uitdagingen in het dichten van de "sim2real"-kloof. Gaia2 is gebouwd op een consumentenomgeving met het open-source Agents Research Environments-platform en ontworpen om eenvoudig uitbreidbaar te zijn. Door Gaia2 samen met het fundamentele ARE-framework vrij te geven, willen we de gemeenschap voorzien van een flexibele infrastructuur voor het ontwikkelen, benchmarken en trainen van de volgende generatie praktische agentsystemen.

English

We introduce Gaia2, a benchmark for evaluating large language model agents in realistic, asynchronous environments. Unlike prior static or synchronous evaluations, Gaia2 introduces scenarios where environments evolve independently of agent actions, requiring agents to operate under temporal constraints, adapt to noisy and dynamic events, resolve ambiguity, and collaborate with other agents. Each scenario is paired with a write-action verifier, enabling fine-grained, action-level evaluation and making Gaia2 directly usable for reinforcement learning from verifiable rewards. Our evaluation of state-of-the-art proprietary and open-source models shows that no model dominates across capabilities: GPT-5 (high) reaches the strongest overall score of 42% pass@1 but fails on time-sensitive tasks, Claude-4 Sonnet trades accuracy and speed for cost, Kimi-K2 leads among open-source models with 21% pass@1. These results highlight fundamental trade-offs between reasoning, efficiency, robustness, and expose challenges in closing the "sim2real" gap. Gaia2 is built on a consumer environment with the open-source Agents Research Environments platform and designed to be easy to extend. By releasing Gaia2 alongside the foundational ARE framework, we aim to provide the community with a flexible infrastructure for developing, benchmarking, and training the next generation of practical agent systems.