ARE: Масштабирование сред и оценок для агентов

ARE: Scaling Up Agent Environments and Evaluations

September 21, 2025

Авторы: Pierre Andrews, Amine Benhalloum, Gerard Moreno-Torres Bertran, Matteo Bettini, Amar Budhiraja, Ricardo Silveira Cabral, Virginie Do, Romain Froger, Emilien Garreau, Jean-Baptiste Gaya, Hugo Laurençon, Maxime Lecanu, Kunal Malkan, Dheeraj Mekala, Pierre Ménard, Grégoire Mialon, Ulyana Piterbarg, Mikhail Plekhanov, Mathieu Rita, Andrey Rusakov, Thomas Scialom, Vladislav Vorotilov, Mengjue Wang, Ian Yu

cs.AI

Аннотация

Мы представляем Meta Agents Research Environments (ARE) — исследовательскую платформу для масштабируемого создания сред, интеграции синтетических или реальных приложений и выполнения агентских оркестраций. ARE предоставляет простые абстракции для построения сложных и разнообразных сред, каждая из которых имеет свои собственные правила, инструменты, контент и верификаторы, что помогает сократить разрыв между разработкой моделей и их развертыванием в реальном мире. Мы также предлагаем Gaia2 — бенчмарк, созданный в ARE и предназначенный для измерения общих способностей агентов. Помимо поиска и выполнения, Gaia2 требует от агентов умения справляться с неоднозначностью и шумом, адаптироваться к динамическим средам, сотрудничать с другими агентами и работать в условиях временных ограничений. В отличие от предыдущих бенчмарков, Gaia2 работает асинхронно, выявляя новые режимы сбоев, которые не видны в статических условиях. Наши эксперименты показывают, что ни одна система не доминирует на всем спектре интеллекта: более сильные рассуждения часто достигаются за счет эффективности, а кривые масштабирования бюджета выходят на плато, что подчеркивает необходимость новых архитектур и адаптивных стратегий вычислений. Возможно, что более важно, абстракции ARE позволяют непрерывно расширять Gaia2 на другие среды, давая сообществу возможность быстро создавать новые бенчмарки, адаптированные к их областям. Во второй половине развития ИИ прогресс все больше зависит от определения значимых задач и надежных оценок, чтобы продвигать передовые возможности вперед.

English

We introduce Meta Agents Research Environments (ARE), a research platform for scalable creation of environments, integration of synthetic or real applications, and execution of agentic orchestrations. ARE provides simple abstractions to build complex and diverse environments, each with their own rules, tools, content, and verifiers, helping to bridge the gap between model development and real-world deployment. We also propose Gaia2, a benchmark built in ARE and designed to measure general agent capabilities. Beyond search and execution, Gaia2 requires agents to handle ambiguities and noise, adapt to dynamic environments, collaborate with other agents, and operate under temporal constraints. Unlike prior benchmarks, Gaia2 runs asynchronously, surfacing new failure modes that are invisible in static settings. Our experiments show that no system dominates across the intelligence spectrum: stronger reasoning often comes at the cost of efficiency, and budget scaling curves plateau, highlighting the need for new architectures and adaptive compute strategies. Perhaps more importantly, ARE abstractions enable continuous extension of Gaia2 to other environments, empowering the community to rapidly create new benchmarks tailored to their domains. In AI's second half, progress increasingly depends on defining meaningful tasks and robust evaluations to drive frontier capabilities forward.