Gaia2: Benchmarking von LLM-Agenten in dynamischen und asynchronen Umgebungen

Gaia2: Benchmarking LLM Agents on Dynamic and Asynchronous Environments

February 12, 2026

papers.authors: Romain Froger, Pierre Andrews, Matteo Bettini, Amar Budhiraja, Ricardo Silveira Cabral, Virginie Do, Emilien Garreau, Jean-Baptiste Gaya, Hugo Laurençon, Maxime Lecanu, Kunal Malkan, Dheeraj Mekala, Pierre Ménard, Gerard Moreno-Torres Bertran, Ulyana Piterbarg, Mikhail Plekhanov, Mathieu Rita, Andrey Rusakov, Vladislav Vorotilov, Mengjue Wang, Ian Yu, Amine Benhalloum, Grégoire Mialon, Thomas Scialom

cs.AI

papers.abstract

Wir stellen Gaia2 vor, einen Benchmark zur Bewertung von Agenten großer Sprachmodelle in realistischen, asynchronen Umgebungen. Im Gegensatz zu früheren statischen oder synchronen Evaluationen führt Gaia2 Szenarien ein, in denen sich Umgebungen unabhängig von Agentenaktionen entwickeln. Dies erfordert, dass Agenten unter zeitlichen Beschränkungen operieren, sich an verrauschte und dynamische Ereignisse anpassen, Mehrdeutigkeiten auflösen und mit anderen Agenten zusammenarbeiten. Jedes Szenario ist mit einem Write-Action-Verifier gepaart, der eine feingranulare, aktionsbasierte Evaluation ermöglicht und Gaia2 direkt für bestärkendes Lernen aus verifizierbaren Belohnungen nutzbar macht. Unsere Evaluation aktueller proprietärer und Open-Source-Modelle zeigt, dass kein Modell in allen Fähigkeiten dominiert: GPT-5 (high) erreicht die höchste Gesamtpunktzahl von 42% pass@1, scheitert jedoch bei zeitkritischen Aufgaben; Claude-4 Sonnet opfert Genauigkeit und Geschwindigkeit für Kostenersparnis; Kimi-K2 führt unter den Open-Source-Modellen mit 21% pass@1. Diese Ergebnisse verdeutlichen grundlegende Zielkonflikte zwischen logischem Denken, Effizienz und Robustheit und zeigen Herausforderungen bei der Schließung der "Sim2Real"-Lücke auf. Gaia2 basiert auf einer Consumer-Umgebung mit der Open-Source-Plattform Agents Research Environments und ist für einfache Erweiterbarkeit konzipiert. Durch die Veröffentlichung von Gaia2 zusammen mit dem grundlegenden ARE-Framework wollen wir der Community eine flexible Infrastruktur zur Entwicklung, Bewertung und Ausbildung der nächsten Generation praktischer Agentensysteme bereitstellen.

English

We introduce Gaia2, a benchmark for evaluating large language model agents in realistic, asynchronous environments. Unlike prior static or synchronous evaluations, Gaia2 introduces scenarios where environments evolve independently of agent actions, requiring agents to operate under temporal constraints, adapt to noisy and dynamic events, resolve ambiguity, and collaborate with other agents. Each scenario is paired with a write-action verifier, enabling fine-grained, action-level evaluation and making Gaia2 directly usable for reinforcement learning from verifiable rewards. Our evaluation of state-of-the-art proprietary and open-source models shows that no model dominates across capabilities: GPT-5 (high) reaches the strongest overall score of 42% pass@1 but fails on time-sensitive tasks, Claude-4 Sonnet trades accuracy and speed for cost, Kimi-K2 leads among open-source models with 21% pass@1. These results highlight fundamental trade-offs between reasoning, efficiency, robustness, and expose challenges in closing the "sim2real" gap. Gaia2 is built on a consumer environment with the open-source Agents Research Environments platform and designed to be easy to extend. By releasing Gaia2 alongside the foundational ARE framework, we aim to provide the community with a flexible infrastructure for developing, benchmarking, and training the next generation of practical agent systems.