SimWorld: Un Simulatore Realistico e Aperto per Agenti Autonomi nei Mondi Fisici e Sociali

Abstract

Mentre gli agenti IA basati su LLM/VLM hanno fatto rapidi progressi in matematica, programmazione e utilizzo del computer, le loro applicazioni in ambienti fisici e sociali complessi rimangono una sfida. La costruzione di agenti in grado di sopravvivere e prosperare nel mondo reale (ad esempio, guadagnando reddito in modo autonomo o gestendo un'impresa) richiede un'interazione, un ragionamento, un addestramento e una valutazione su larga scala attraverso scenari embodied diversificati. Tuttavia, i simulatori del mondo esistenti per tale sviluppo sono carenti: spesso si basano su ambienti limitati e creati manualmente, simulano fisiche e regole sociali semplificate simili a quelle dei giochi e mancano di un supporto nativo per gli agenti LLM/VLM. Introduciamo SimWorld, un nuovo simulatore basato su Unreal Engine 5, progettato per sviluppare e valutare agenti LLM/VLM in ambienti ricchi e simili al mondo reale. SimWorld offre tre capacità fondamentali: (1) una simulazione realistica e aperta del mondo, che include dinamiche fisiche e sociali accurate e una generazione procedurale di ambienti guidata dal linguaggio; (2) un'interfaccia ricca per gli agenti LLM/VLM, con input mondiali multimodali e azioni a vocabolario aperto a diversi livelli di astrazione; e (3) scenari di ragionamento fisico e sociale diversificati ed estensibili, facilmente personalizzabili dagli utenti. Dimostriamo SimWorld distribuendo agenti LLM all'avanguardia (ad esempio, GPT-4o, Gemini-2.5-Flash, Claude-3.5 e DeepSeek-Prover-V2) in compiti di consegna multi-agente a lungo termine che coinvolgono cooperazione e competizione strategica. I risultati rivelano distinti modelli di ragionamento e limitazioni tra i modelli. Rilasciamo SimWorld come open-source e speriamo che diventi una piattaforma fondamentale per far progredire l'intelligenza degli agenti nel mondo reale in tutte le discipline: https://simworld.org.

English

While LLM/VLM-powered AI agents have advanced rapidly in math, coding, and computer use, their applications in complex physical and social environments remain challenging. Building agents that can survive and thrive in the real world (for example, by autonomously earning income or running a business) requires massive-scale interaction, reasoning, training, and evaluation across diverse embodied scenarios. However, existing world simulators for such development fall short: they often rely on limited hand-crafted environments, simulate simplified game-like physics and social rules, and lack native support for LLM/VLM agents. We introduce SimWorld, a new simulator built on Unreal Engine 5, designed for developing and evaluating LLM/VLM agents in rich, real-world-like settings. SimWorld offers three core capabilities: (1) realistic, open-ended world simulation, including accurate physical and social dynamics and language-driven procedural environment generation; (2) a rich interface for LLM/VLM agents, with multimodal world inputs and open-vocabulary actions at varying levels of abstraction; and (3) diverse and extensible physical and social reasoning scenarios that are easily customizable by users. We demonstrate SimWorld by deploying frontier LLM agents (e.g., GPT-4o, Gemini-2.5-Flash, Claude-3.5, and DeepSeek-Prover-V2) on long-horizon multi-agent delivery tasks involving strategic cooperation and competition. The results reveal distinct reasoning patterns and limitations across models. We open-source SimWorld and hope it becomes a foundational platform for advancing real-world agent intelligence across disciplines: https://simworld.org.

SimWorld: Un Simulatore Realistico e Aperto per Agenti Autonomi nei Mondi Fisici e Sociali

SimWorld: An Open-ended Realistic Simulator for Autonomous Agents in Physical and Social Worlds

Abstract

Support