SimWorld: Um Simulador Realista de Escopo Aberto para Agentes Autônomos em Mundos Físicos e Sociais
SimWorld: An Open-ended Realistic Simulator for Autonomous Agents in Physical and Social Worlds
November 30, 2025
Autores: Jiawei Ren, Yan Zhuang, Xiaokang Ye, Lingjun Mao, Xuhong He, Jianzhi Shen, Mrinaal Dogra, Yiming Liang, Ruixuan Zhang, Tianai Yue, Yiqing Yang, Eric Liu, Ryan Wu, Kevin Benavente, Rajiv Mandya Nagaraju, Muhammad Faayez, Xiyan Zhang, Dhruv Vivek Sharma, Xianrui Zhong, Ziqiao Ma, Tianmin Shu, Zhiting Hu, Lianhui Qin
cs.AI
Resumo
Embora os agentes de IA baseados em LLMs/VLMs tenham avançado rapidamente em matemática, codificação e uso de computadores, suas aplicações em ambientes físicos e sociais complexos permanecem desafiadoras. Construir agentes que possam sobreviver e prosperar no mundo real (por exemplo, ganhando renda de forma autônoma ou administrando um negócio) requer interação, raciocínio, treinamento e avaliação em grande escala em diversos cenários corporificados. No entanto, os simuladores de mundo existentes para tal desenvolvimento são insuficientes: eles frequentemente dependem de ambientes limitados e artesanais, simulam regras sociais e físicas simplificadas semelhantes a jogos e carecem de suporte nativo para agentes LLM/VLM. Apresentamos o SimWorld, um novo simulador construído na Unreal Engine 5, projetado para desenvolver e avaliar agentes LLM/VLM em ambientes ricos e realistas. O SimWorld oferece três capacidades principais: (1) simulação de mundo realista e aberta, incluindo dinâmicas físicas e sociais precisas e geração procedural de ambientes orientada por linguagem; (2) uma interface rica para agentes LLM/VLM, com entradas multimodais do mundo e ações de vocabulário aberto em diferentes níveis de abstração; e (3) cenários diversos e extensíveis de raciocínio físico e social que são facilmente personalizáveis pelos usuários. Demonstramos o SimWorld implantando agentes LLM de ponta (por exemplo, GPT-4o, Gemini-2.5-Flash, Claude-3.5 e DeepSeek-Prover-V2) em tarefas de entrega multiagente de longo prazo envolvendo cooperação e competição estratégicas. Os resultados revelam padrões e limitações de raciocínio distintos entre os modelos. Disponibilizamos o SimWorld como código aberto e esperamos que ele se torne uma plataforma fundamental para o avanço da inteligência de agentes no mundo real em todas as disciplinas: https://simworld.org.
English
While LLM/VLM-powered AI agents have advanced rapidly in math, coding, and computer use, their applications in complex physical and social environments remain challenging. Building agents that can survive and thrive in the real world (for example, by autonomously earning income or running a business) requires massive-scale interaction, reasoning, training, and evaluation across diverse embodied scenarios. However, existing world simulators for such development fall short: they often rely on limited hand-crafted environments, simulate simplified game-like physics and social rules, and lack native support for LLM/VLM agents. We introduce SimWorld, a new simulator built on Unreal Engine 5, designed for developing and evaluating LLM/VLM agents in rich, real-world-like settings. SimWorld offers three core capabilities: (1) realistic, open-ended world simulation, including accurate physical and social dynamics and language-driven procedural environment generation; (2) a rich interface for LLM/VLM agents, with multimodal world inputs and open-vocabulary actions at varying levels of abstraction; and (3) diverse and extensible physical and social reasoning scenarios that are easily customizable by users. We demonstrate SimWorld by deploying frontier LLM agents (e.g., GPT-4o, Gemini-2.5-Flash, Claude-3.5, and DeepSeek-Prover-V2) on long-horizon multi-agent delivery tasks involving strategic cooperation and competition. The results reveal distinct reasoning patterns and limitations across models. We open-source SimWorld and hope it becomes a foundational platform for advancing real-world agent intelligence across disciplines: https://simworld.org.