SimWorld: 物理世界と社会世界における自律エージェントのためのオープンエンド現実シミュレータ

要旨

LLM/VLMを駆動するAIエージェントは、数学、コーディング、コンピュータ操作において急速な進化を遂げているが、複雑な物理的・社会的環境への応用は依然として困難な課題である。現実世界で自律的に収入を得たり事業を運営したりするような、生存し繁栄するエージェントを構築するには、多様な身体化シナリオにおける大規模なインタラクション、推論、訓練、評価が必要とされる。しかし、そのような開発のための既存の世界シミュレータは不十分である。それらは限定的な手作り環境に依存し、単純化されたゲーム的な物理法則や社会ルールをシミュレートし、LLM/VLMエージェントへのネイティブなサポートを欠いていることが多い。我々は、Unreal Engine 5上に構築された新しいシミュレータ「SimWorld」を紹介する。SimWorldは、豊かで現実世界に似た環境下でLLM/VLMエージェントを開発・評価するために設計されている。SimWorldは以下の3つの核となる機能を提供する：(1) 正確な物理・社会ダイナミクスと言語駆動のプロシージャル環境生成を含む、現実的で開放的な世界シミュレーション；(2) マルチモーダルな世界入力と、様々な抽象度でのオープン語彙アクションを備えた、LLM/VLMエージェントのための豊富なインターフェース；(3) ユーザーが容易にカスタマイズ可能な、多様で拡張性のある物理的・社会的推論シナリオ。我々は、戦略的協力と競争を伴う長期的なマルチエージェント配送タスクに、最先端のLLMエージェント（GPT-4o、Gemini-2.5-Flash、Claude-3.5、DeepSeek-Prover-V2など）を配置することでSimWorldの実証を行う。結果は、モデル間における特有の推論パターンと限界を明らかにしている。我々はSimWorldをオープンソースとして公開し、これが学際的な実世界エージェント知能の発展のための基盤プラットフォームとなることを期待する：https://simworld.org

English

While LLM/VLM-powered AI agents have advanced rapidly in math, coding, and computer use, their applications in complex physical and social environments remain challenging. Building agents that can survive and thrive in the real world (for example, by autonomously earning income or running a business) requires massive-scale interaction, reasoning, training, and evaluation across diverse embodied scenarios. However, existing world simulators for such development fall short: they often rely on limited hand-crafted environments, simulate simplified game-like physics and social rules, and lack native support for LLM/VLM agents. We introduce SimWorld, a new simulator built on Unreal Engine 5, designed for developing and evaluating LLM/VLM agents in rich, real-world-like settings. SimWorld offers three core capabilities: (1) realistic, open-ended world simulation, including accurate physical and social dynamics and language-driven procedural environment generation; (2) a rich interface for LLM/VLM agents, with multimodal world inputs and open-vocabulary actions at varying levels of abstraction; and (3) diverse and extensible physical and social reasoning scenarios that are easily customizable by users. We demonstrate SimWorld by deploying frontier LLM agents (e.g., GPT-4o, Gemini-2.5-Flash, Claude-3.5, and DeepSeek-Prover-V2) on long-horizon multi-agent delivery tasks involving strategic cooperation and competition. The results reveal distinct reasoning patterns and limitations across models. We open-source SimWorld and hope it becomes a foundational platform for advancing real-world agent intelligence across disciplines: https://simworld.org.

SimWorld: 物理世界と社会世界における自律エージェントのためのオープンエンド現実シミュレータ

SimWorld: An Open-ended Realistic Simulator for Autonomous Agents in Physical and Social Worlds

要旨

Support