Gaia2: Оценка производительности агентов на основе больших языковых моделей в динамических и асинхронных средах

Аннотация

Мы представляем Gaia2 — эталонный тест для оценки агентов на основе больших языковых моделей в реалистичных асинхронных средах. В отличие от предыдущих статических или синхронных оценок, Gaia2 предлагает сценарии, где среда эволюционирует независимо от действий агента, требуя от агентов работы в условиях временных ограничений, адаптации к зашумленным и динамическим событиям, разрешения неоднозначности и взаимодействия с другими агентами. Каждый сценарий снабжен верификатором действий, что позволяет проводить детальную оценку на уровне действий и делает Gaia2 пригодным для обучения с подкреплением на основе проверяемых вознаграждений. Наша оценка передовых проприетарных и открытых моделей показывает, что ни одна модель не доминирует по всем параметрам: GPT-5 (high) демонстрирует наивысший общий показатель 42% pass@1, но не справляется с задачами, чувствительными ко времени; Claude-4 Sonnet жертвует точностью и скоростью ради стоимости; Kimi-K2 лидирует среди открытых моделей с 21% pass@1. Эти результаты выявляют фундаментальные компромиссы между логическим выводом, эффективностью, устойчивостью и подчеркивают сложности преодоления разрыва между симуляцией и реальностью. Gaia2 построен на потребительской среде с использованием платформы Agents Research Environments с открытым исходным кодом и спроектирован для простого расширения. Публикуя Gaia2 вместе с базовой платформой ARE, мы стремимся предоставить сообществу гибкую инфраструктуру для разработки, тестирования и обучения следующего поколения практических агентных систем.

English

We introduce Gaia2, a benchmark for evaluating large language model agents in realistic, asynchronous environments. Unlike prior static or synchronous evaluations, Gaia2 introduces scenarios where environments evolve independently of agent actions, requiring agents to operate under temporal constraints, adapt to noisy and dynamic events, resolve ambiguity, and collaborate with other agents. Each scenario is paired with a write-action verifier, enabling fine-grained, action-level evaluation and making Gaia2 directly usable for reinforcement learning from verifiable rewards. Our evaluation of state-of-the-art proprietary and open-source models shows that no model dominates across capabilities: GPT-5 (high) reaches the strongest overall score of 42% pass@1 but fails on time-sensitive tasks, Claude-4 Sonnet trades accuracy and speed for cost, Kimi-K2 leads among open-source models with 21% pass@1. These results highlight fundamental trade-offs between reasoning, efficiency, robustness, and expose challenges in closing the "sim2real" gap. Gaia2 is built on a consumer environment with the open-source Agents Research Environments platform and designed to be easy to extend. By releasing Gaia2 alongside the foundational ARE framework, we aim to provide the community with a flexible infrastructure for developing, benchmarking, and training the next generation of practical agent systems.

Gaia2: Оценка производительности агентов на основе больших языковых моделей в динамических и асинхронных средах

Gaia2: Benchmarking LLM Agents on Dynamic and Asynchronous Environments

Аннотация

Support