Gaia2: Evaluación de Agentes LLM en Entornos Dinámicos y Asincrónicos

Resumen

Presentamos Gaia2, un benchmark para evaluar agentes de modelos de lenguaje grande en entornos realistas y asíncronos. A diferencia de las evaluaciones estáticas o síncronas previas, Gaia2 introduce escenarios donde los entornos evolucionan de forma independiente a las acciones del agente, lo que requiere que los agentes operen bajo restricciones temporales, se adapten a eventos dinámicos y con ruido, resuelvan ambigüedades y colaboren con otros agentes. Cada escenario se empareja con un verificador de acciones de escritura, permitiendo una evaluación detallada a nivel de acción y haciendo que Gaia2 sea directamente utilizable para el aprendizaje por refuerzo a partir de recompensas verificables. Nuestra evaluación de modelos propietarios y de código abierto de última generación muestra que ningún modelo domina en todas las capacidades: GPT-5 (high) alcanza la puntuación general más fuerte con un 42% en pass@1, pero falla en tareas sensibles al tiempo; Claude-4 Sonnet intercambia precisión y velocidad por coste; Kimi-K2 lidera entre los modelos de código abierto con un 21% en pass@1. Estos resultados resaltan compensaciones fundamentales entre razonamiento, eficiencia, robustez y exponen los desafíos para cerrar la brecha de "sim2real". Gaia2 está construido sobre un entorno de consumo con la plataforma de código abierto Agents Research Environments y está diseñado para ser fácil de extender. Al liberar Gaia2 junto con el framework fundacional ARE, nuestro objetivo es proporcionar a la comunidad una infraestructura flexible para desarrollar, comparar y entrenar la próxima generación de sistemas de agentes prácticos.

English

We introduce Gaia2, a benchmark for evaluating large language model agents in realistic, asynchronous environments. Unlike prior static or synchronous evaluations, Gaia2 introduces scenarios where environments evolve independently of agent actions, requiring agents to operate under temporal constraints, adapt to noisy and dynamic events, resolve ambiguity, and collaborate with other agents. Each scenario is paired with a write-action verifier, enabling fine-grained, action-level evaluation and making Gaia2 directly usable for reinforcement learning from verifiable rewards. Our evaluation of state-of-the-art proprietary and open-source models shows that no model dominates across capabilities: GPT-5 (high) reaches the strongest overall score of 42% pass@1 but fails on time-sensitive tasks, Claude-4 Sonnet trades accuracy and speed for cost, Kimi-K2 leads among open-source models with 21% pass@1. These results highlight fundamental trade-offs between reasoning, efficiency, robustness, and expose challenges in closing the "sim2real" gap. Gaia2 is built on a consumer environment with the open-source Agents Research Environments platform and designed to be easy to extend. By releasing Gaia2 alongside the foundational ARE framework, we aim to provide the community with a flexible infrastructure for developing, benchmarking, and training the next generation of practical agent systems.

Gaia2: Evaluación de Agentes LLM en Entornos Dinámicos y Asincrónicos

Gaia2: Benchmarking LLM Agents on Dynamic and Asynchronous Environments

Resumen

Support