Gaia2: 動的・非同期環境におけるLLMエージェントのベンチマーキング

Gaia2: Benchmarking LLM Agents on Dynamic and Asynchronous Environments

February 12, 2026

著者: Romain Froger, Pierre Andrews, Matteo Bettini, Amar Budhiraja, Ricardo Silveira Cabral, Virginie Do, Emilien Garreau, Jean-Baptiste Gaya, Hugo Laurençon, Maxime Lecanu, Kunal Malkan, Dheeraj Mekala, Pierre Ménard, Gerard Moreno-Torres Bertran, Ulyana Piterbarg, Mikhail Plekhanov, Mathieu Rita, Andrey Rusakov, Vladislav Vorotilov, Mengjue Wang, Ian Yu, Amine Benhalloum, Grégoire Mialon, Thomas Scialom

cs.AI

要旨

本論文では、現実的な非同期環境における大規模言語モデルエージェントを評価するためのベンチマーク「Gaia2」を提案する。従来の静的または同期的な評価とは異なり、Gaia2は環境がエージェントの行動とは独立して変化するシナリオを導入する。これにより、エージェントは時間的制約下での動作、ノイズの多い動的イベントへの適応、あいまいさの解消、他のエージェントとの協調が要求される。各シナリオには書き込みアクション検証器が組み合わされており、きめ細かいアクションレベルの評価が可能で、検証可能な報酬からの強化学習に直接利用できる。最先端のプロプライエタリモデルおよびオープンソースモデルの評価結果では、いずれのモデルも全能力で優位に立つことはなかった。GPT-5（高機能版）は42%のpass@1で最高総合スコアを達成したが、時間制約タスクでは失敗した。Claude-4 Sonnetは精度と速度をコストと引き換えにしており、オープンソースモデルではKimi-K2が21%のpass@1で首位となった。これらの結果は、推論、効率性、頑健性の間の根本的なトレードオフを浮き彫りにし、「シミュレーションtoリアル」ギャップの解消における課題を明らかにする。Gaia2はオープンソースのAgents Research Environmentsプラットフォーム上に構築された消費者環境を基盤とし、拡張性を重視して設計されている。基盤となるAREフレームワークとともにGaia2を公開することで、実用的な次世代エージェントシステムの開発、ベンチマーク評価、学習のための柔軟なインフラをコミュニティに提供することを目指す。

English

We introduce Gaia2, a benchmark for evaluating large language model agents in realistic, asynchronous environments. Unlike prior static or synchronous evaluations, Gaia2 introduces scenarios where environments evolve independently of agent actions, requiring agents to operate under temporal constraints, adapt to noisy and dynamic events, resolve ambiguity, and collaborate with other agents. Each scenario is paired with a write-action verifier, enabling fine-grained, action-level evaluation and making Gaia2 directly usable for reinforcement learning from verifiable rewards. Our evaluation of state-of-the-art proprietary and open-source models shows that no model dominates across capabilities: GPT-5 (high) reaches the strongest overall score of 42% pass@1 but fails on time-sensitive tasks, Claude-4 Sonnet trades accuracy and speed for cost, Kimi-K2 leads among open-source models with 21% pass@1. These results highlight fundamental trade-offs between reasoning, efficiency, robustness, and expose challenges in closing the "sim2real" gap. Gaia2 is built on a consumer environment with the open-source Agents Research Environments platform and designed to be easy to extend. By releasing Gaia2 alongside the foundational ARE framework, we aim to provide the community with a flexible infrastructure for developing, benchmarking, and training the next generation of practical agent systems.