SimWorld: Een Open-Einde Realistische Simulator voor Autonome Agenten in Fysieke en Sociale Werelden

Samenvatting

Hoewel door LLM/VLM aangedreven AI-agenten snel zijn gevorderd op gebieden zoals wiskunde, programmeren en computergebruik, blijven hun toepassingen in complexe fysieke en sociale omgevingen uitdagend. Het bouwen van agenten die kunnen overleven en gedijen in de echte wereld (bijvoorbeeld door autonoom inkomen te genereren of een bedrijf te runnen) vereist grootschalige interactie, redenering, training en evaluatie in uiteenlopende belichaamde scenario's. Bestaande wereldsimulators voor dergelijke ontwikkeling schieten echter tekort: ze zijn vaak gebaseerd op beperkte handmatig gemaakte omgevingen, simuleren vereenvoudigde game-achtige fysica en sociale regels, en missen native ondersteuning voor LLM/VLM-agenten. Wij introduceren SimWorld, een nieuwe simulator gebouwd op Unreal Engine 5, ontworpen voor het ontwikkelen en evalueren van LLM/VLM-agenten in rijke, realistische omgevingen. SimWorld biedt drie kernmogelijkheden: (1) realistische, open-ended wereldsimulatie, inclusief accurate fysieke en sociale dynamiek en taalgestuurde procedurele omgevingsgeneratie; (2) een rijke interface voor LLM/VLM-agenten, met multimodale wereldinput en open-vocabulary acties op verschillende abstractieniveaus; en (3) diverse en uitbreidbare fysieke en sociale redeneerscenario's die eenvoudig door gebruikers kunnen worden aangepast. We demonstreren SimWorld door geavanceerde LLM-agenten (zoals GPT-4o, Gemini-2.5-Flash, Claude-3.5 en DeepSeek-Prover-V2) in te zetten voor langetermijn multi-agent bezorgtaken met strategische samenwerking en competitie. De resultaten onthullen duidelijke redeneerpatronen en beperkingen tussen modellen. We maken SimWorld open-source en hopen dat het een fundamenteel platform wordt voor het bevorderen van real-world agent-intelligentie across disciplines: https://simworld.org.

English

While LLM/VLM-powered AI agents have advanced rapidly in math, coding, and computer use, their applications in complex physical and social environments remain challenging. Building agents that can survive and thrive in the real world (for example, by autonomously earning income or running a business) requires massive-scale interaction, reasoning, training, and evaluation across diverse embodied scenarios. However, existing world simulators for such development fall short: they often rely on limited hand-crafted environments, simulate simplified game-like physics and social rules, and lack native support for LLM/VLM agents. We introduce SimWorld, a new simulator built on Unreal Engine 5, designed for developing and evaluating LLM/VLM agents in rich, real-world-like settings. SimWorld offers three core capabilities: (1) realistic, open-ended world simulation, including accurate physical and social dynamics and language-driven procedural environment generation; (2) a rich interface for LLM/VLM agents, with multimodal world inputs and open-vocabulary actions at varying levels of abstraction; and (3) diverse and extensible physical and social reasoning scenarios that are easily customizable by users. We demonstrate SimWorld by deploying frontier LLM agents (e.g., GPT-4o, Gemini-2.5-Flash, Claude-3.5, and DeepSeek-Prover-V2) on long-horizon multi-agent delivery tasks involving strategic cooperation and competition. The results reveal distinct reasoning patterns and limitations across models. We open-source SimWorld and hope it becomes a foundational platform for advancing real-world agent intelligence across disciplines: https://simworld.org.

SimWorld: Een Open-Einde Realistische Simulator voor Autonome Agenten in Fysieke en Sociale Werelden

SimWorld: An Open-ended Realistic Simulator for Autonomous Agents in Physical and Social Worlds

Samenvatting

Support