SimWorld: Открытый реалистичный симулятор для автономных агентов в физических и социальных мирах

Аннотация

Хотя ИИ-агенты на основе больших языковых моделей (LLM) и визуально-языковых моделей (VLM) быстро развиваются в области математики, программирования и работы с компьютером, их применение в сложных физических и социальных средах остается проблематичным. Создание агентов, способных выживать и процветать в реальном мире (например, автономно зарабатывать доход или управлять бизнесом), требует масштабного взаимодействия, рассуждений, обучения и оценки в разнообразных воплощенных сценариях. Однако существующие симуляторы мира для такой разработки несовершенны: они часто опираются на ограниченные ручно созданные среды, моделируют упрощенные игровые физику и социальные правила и не имеют встроенной поддержки агентов LLM/VLM. Мы представляем SimWorld — новый симулятор, построенный на Unreal Engine 5, предназначенный для разработки и оценки агентов LLM/VLM в богатых, приближенных к реальности условиях. SimWorld предлагает три ключевые возможности: (1) реалистичное, открытое моделирование мира, включая точные физические и социальные динамики и процедурное генерацию среды на основе языка; (2) богатый интерфейс для агентов LLM/VLM с мультимодальными входами мира и действиями с открытым словарем на различных уровнях абстракции; и (3) разнообразные и расширяемые сценарии физического и социального мышления, которые легко настраиваются пользователями. Мы демонстрируем SimWorld, развертывая передовые агенты LLM (например, GPT-4o, Gemini-2.5-Flash, Claude-3.5 и DeepSeek-Prover-V2) в долгосрочных многозадачных миссиях доставки, предполагающих стратегическое сотрудничество и конкуренцию. Результаты выявляют различные модели рассуждений и ограничения across моделей. Мы открываем исходный код SimWorld и надеемся, что он станет фундаментальной платформой для развития интеллекта агентов в реальном мире across дисциплин: https://simworld.org.

English

While LLM/VLM-powered AI agents have advanced rapidly in math, coding, and computer use, their applications in complex physical and social environments remain challenging. Building agents that can survive and thrive in the real world (for example, by autonomously earning income or running a business) requires massive-scale interaction, reasoning, training, and evaluation across diverse embodied scenarios. However, existing world simulators for such development fall short: they often rely on limited hand-crafted environments, simulate simplified game-like physics and social rules, and lack native support for LLM/VLM agents. We introduce SimWorld, a new simulator built on Unreal Engine 5, designed for developing and evaluating LLM/VLM agents in rich, real-world-like settings. SimWorld offers three core capabilities: (1) realistic, open-ended world simulation, including accurate physical and social dynamics and language-driven procedural environment generation; (2) a rich interface for LLM/VLM agents, with multimodal world inputs and open-vocabulary actions at varying levels of abstraction; and (3) diverse and extensible physical and social reasoning scenarios that are easily customizable by users. We demonstrate SimWorld by deploying frontier LLM agents (e.g., GPT-4o, Gemini-2.5-Flash, Claude-3.5, and DeepSeek-Prover-V2) on long-horizon multi-agent delivery tasks involving strategic cooperation and competition. The results reveal distinct reasoning patterns and limitations across models. We open-source SimWorld and hope it becomes a foundational platform for advancing real-world agent intelligence across disciplines: https://simworld.org.

SimWorld: Открытый реалистичный симулятор для автономных агентов в физических и социальных мирах

SimWorld: An Open-ended Realistic Simulator for Autonomous Agents in Physical and Social Worlds

Аннотация

Support