ARE: Escalonando Ambientes e Avaliações de Agentes

ARE: Scaling Up Agent Environments and Evaluations

September 21, 2025

Autores: Pierre Andrews, Amine Benhalloum, Gerard Moreno-Torres Bertran, Matteo Bettini, Amar Budhiraja, Ricardo Silveira Cabral, Virginie Do, Romain Froger, Emilien Garreau, Jean-Baptiste Gaya, Hugo Laurençon, Maxime Lecanu, Kunal Malkan, Dheeraj Mekala, Pierre Ménard, Grégoire Mialon, Ulyana Piterbarg, Mikhail Plekhanov, Mathieu Rita, Andrey Rusakov, Thomas Scialom, Vladislav Vorotilov, Mengjue Wang, Ian Yu

cs.AI

Resumo

Apresentamos o Meta Agents Research Environments (ARE), uma plataforma de pesquisa para a criação escalável de ambientes, integração de aplicações sintéticas ou reais e execução de orquestrações agentivas. O ARE fornece abstrações simples para construir ambientes complexos e diversos, cada um com suas próprias regras, ferramentas, conteúdos e verificadores, ajudando a preencher a lacuna entre o desenvolvimento de modelos e a implantação no mundo real. Também propomos o Gaia2, um benchmark construído no ARE e projetado para medir as capacidades gerais de agentes. Além de busca e execução, o Gaia2 exige que os agentes lidem com ambiguidades e ruídos, se adaptem a ambientes dinâmicos, colaborem com outros agentes e operem sob restrições temporais. Diferente de benchmarks anteriores, o Gaia2 funciona de forma assíncrona, revelando novos modos de falha que são invisíveis em configurações estáticas. Nossos experimentos mostram que nenhum sistema domina todo o espectro de inteligência: raciocínios mais fortes frequentemente vêm ao custo de eficiência, e as curvas de escalonamento de orçamento atingem platôs, destacando a necessidade de novas arquiteturas e estratégias de computação adaptativa. Talvez mais importante, as abstrações do ARE permitem a extensão contínua do Gaia2 para outros ambientes, capacitando a comunidade a criar rapidamente novos benchmarks adaptados aos seus domínios. Na segunda metade da IA, o progresso depende cada vez mais da definição de tarefas significativas e avaliações robustas para impulsionar as capacidades de fronteira.

English

We introduce Meta Agents Research Environments (ARE), a research platform for scalable creation of environments, integration of synthetic or real applications, and execution of agentic orchestrations. ARE provides simple abstractions to build complex and diverse environments, each with their own rules, tools, content, and verifiers, helping to bridge the gap between model development and real-world deployment. We also propose Gaia2, a benchmark built in ARE and designed to measure general agent capabilities. Beyond search and execution, Gaia2 requires agents to handle ambiguities and noise, adapt to dynamic environments, collaborate with other agents, and operate under temporal constraints. Unlike prior benchmarks, Gaia2 runs asynchronously, surfacing new failure modes that are invisible in static settings. Our experiments show that no system dominates across the intelligence spectrum: stronger reasoning often comes at the cost of efficiency, and budget scaling curves plateau, highlighting the need for new architectures and adaptive compute strategies. Perhaps more importantly, ARE abstractions enable continuous extension of Gaia2 to other environments, empowering the community to rapidly create new benchmarks tailored to their domains. In AI's second half, progress increasingly depends on defining meaningful tasks and robust evaluations to drive frontier capabilities forward.