SimWorld: 물리적·사회적 세계에서 자율 에이전트를 위한 개방형 리얼리스틱 시뮬레이터

초록

LLM/VLM 기반 AI 에이전트는 수학, 코딩, 컴퓨터 활용 분야에서 급속히 발전했지만, 복잡한 물리적·사회적 환경에서의 적용은 여전히 과제로 남아 있습니다. 현실 세계에서 생존하고 번성하는 에이전트(예: 수익을 자율적으로 창출하거나 비즈니스를 운영하는 에이전트)를 구축하기 위해서는 다양한 구체화 시나리오에서의 대규모 상호작용, 추론, 훈련 및 평가가 필요합니다. 그러나 이러한 개발을 위한 기존의 세계 시뮬레이터는 한계가 있습니다: 제한된 수작업 환경에 의존하고, 단순화된 게임 같은 물리 법칙과 사회 규칙을 시뮬레이션하며, LLM/VLM 에이전트에 대한 기본적인 지원이 부족합니다. 우리는 Unreal Engine 5 기반의 새로운 시뮬레이터인 SimWorld를 소개합니다. SimWorld는 풍부하고 현실 세계 같은 환경에서 LLM/VLM 에이전트를 개발하고 평가하기 위해 설계되었습니다. SimWorld는 세 가지 핵심 기능을 제공합니다: (1) 정확한 물리적·사회적 역학 및 언어 기반 절차적 환경 생성을 포함한 현실적이고 개방된 세계 시뮬레이션, (2) 다중 모드 세계 입력과 다양한 추상화 수준의 개방형 어휘 행동을 갖춘 LLM/VLM 에이전트용 풍부한 인터페이스, (3) 사용자가 쉽게 사용자 정의할 수 있는 다양하고 확장 가능한 물리적·사회적 추론 시나리오. 우리는 전략적 협력과 경쟁을 수반하는 장기적 다중 에이전트 배송 작업에 최첨단 LLM 에이전트(GPT-4o, Gemini-2.5-Flash, Claude-3.5, DeepSeek-Prover-V2 등)를 배포하여 SimWorld를 시연합니다. 결과는 모델별로 뚜렷한 추론 패턴과 한계를 보여줍니다. 우리는 SimWorld를 오픈소스로 공개하며, 이 것이 다양한 학문 분야에 걸쳐 현실 세계 에이전트 지능을 발전시키는 기반 플랫폼이 되기를 기대합니다: https://simworld.org.

English

While LLM/VLM-powered AI agents have advanced rapidly in math, coding, and computer use, their applications in complex physical and social environments remain challenging. Building agents that can survive and thrive in the real world (for example, by autonomously earning income or running a business) requires massive-scale interaction, reasoning, training, and evaluation across diverse embodied scenarios. However, existing world simulators for such development fall short: they often rely on limited hand-crafted environments, simulate simplified game-like physics and social rules, and lack native support for LLM/VLM agents. We introduce SimWorld, a new simulator built on Unreal Engine 5, designed for developing and evaluating LLM/VLM agents in rich, real-world-like settings. SimWorld offers three core capabilities: (1) realistic, open-ended world simulation, including accurate physical and social dynamics and language-driven procedural environment generation; (2) a rich interface for LLM/VLM agents, with multimodal world inputs and open-vocabulary actions at varying levels of abstraction; and (3) diverse and extensible physical and social reasoning scenarios that are easily customizable by users. We demonstrate SimWorld by deploying frontier LLM agents (e.g., GPT-4o, Gemini-2.5-Flash, Claude-3.5, and DeepSeek-Prover-V2) on long-horizon multi-agent delivery tasks involving strategic cooperation and competition. The results reveal distinct reasoning patterns and limitations across models. We open-source SimWorld and hope it becomes a foundational platform for advancing real-world agent intelligence across disciplines: https://simworld.org.

SimWorld: 물리적·사회적 세계에서 자율 에이전트를 위한 개방형 리얼리스틱 시뮬레이터

SimWorld: An Open-ended Realistic Simulator for Autonomous Agents in Physical and Social Worlds

초록

Support