SimWorld: Un Simulador Realista de Código Abierto para Agentes Autónomos en Mundos Físicos y Sociales

Resumen

Si bien los agentes de IA impulsados por LLM/VLM han avanzado rápidamente en matemáticas, codificación y uso de computadoras, sus aplicaciones en entornos físicos y sociales complejos siguen siendo un desafío. Construir agentes que puedan sobrevivir y prosperar en el mundo real (por ejemplo, generando ingresos de forma autónoma o gestionando un negocio) requiere una interacción, razonamiento, entrenamiento y evaluación a gran escala en diversos escenarios corporizados. Sin embargo, los simuladores del mundo existentes para dicho desarrollo son insuficientes: a menudo dependen de entornos limitados creados manualmente, simulan reglas físicas y sociales simplificadas similares a juegos, y carecen de soporte nativo para agentes LLM/VLM. Presentamos SimWorld, un nuevo simulador construido sobre Unreal Engine 5, diseñado para desarrollar y evaluar agentes LLM/VLM en entornos ricos y similares al mundo real. SimWorld ofrece tres capacidades principales: (1) simulación realista y de mundo abierto, incluyendo dinámicas físicas y sociales precisas y generación procedural de entornos impulsada por lenguaje; (2) una interfaz rica para agentes LLM/VLM, con entradas multimodales del mundo y acciones de vocabulario abierto en distintos niveles de abstracción; y (3) escenarios diversos y extensibles de razonamiento físico y social que son fácilmente personalizables por los usuarios. Demostramos SimWorld desplegando agentes LLM de vanguardia (por ejemplo, GPT-4o, Gemini-2.5-Flash, Claude-3.5 y DeepSeek-Prover-V2) en tareas de entrega multiagente de largo horizonte que implican cooperación y competencia estratégicas. Los resultados revelan distintos patrones y limitaciones de razonamiento entre los modelos. Liberamos SimWorld como código abierto y esperamos que se convierta en una plataforma fundamental para avanzar en la inteligencia de agentes del mundo real en diversas disciplinas: https://simworld.org.

English

While LLM/VLM-powered AI agents have advanced rapidly in math, coding, and computer use, their applications in complex physical and social environments remain challenging. Building agents that can survive and thrive in the real world (for example, by autonomously earning income or running a business) requires massive-scale interaction, reasoning, training, and evaluation across diverse embodied scenarios. However, existing world simulators for such development fall short: they often rely on limited hand-crafted environments, simulate simplified game-like physics and social rules, and lack native support for LLM/VLM agents. We introduce SimWorld, a new simulator built on Unreal Engine 5, designed for developing and evaluating LLM/VLM agents in rich, real-world-like settings. SimWorld offers three core capabilities: (1) realistic, open-ended world simulation, including accurate physical and social dynamics and language-driven procedural environment generation; (2) a rich interface for LLM/VLM agents, with multimodal world inputs and open-vocabulary actions at varying levels of abstraction; and (3) diverse and extensible physical and social reasoning scenarios that are easily customizable by users. We demonstrate SimWorld by deploying frontier LLM agents (e.g., GPT-4o, Gemini-2.5-Flash, Claude-3.5, and DeepSeek-Prover-V2) on long-horizon multi-agent delivery tasks involving strategic cooperation and competition. The results reveal distinct reasoning patterns and limitations across models. We open-source SimWorld and hope it becomes a foundational platform for advancing real-world agent intelligence across disciplines: https://simworld.org.

SimWorld: Un Simulador Realista de Código Abierto para Agentes Autónomos en Mundos Físicos y Sociales

SimWorld: An Open-ended Realistic Simulator for Autonomous Agents in Physical and Social Worlds

Resumen

Support