WorldAgents : Les modèles d'images de base peuvent-ils être des agents pour les modèles de monde 3D ?
WorldAgents: Can Foundation Image Models be Agents for 3D World Models?
March 20, 2026
Auteurs: Ziya Erkoç, Angela Dai, Matthias Nießner
cs.AI
Résumé
Étant donné la capacité remarquable des modèles de fondation d'images 2D à générer des résultats de haute fidélité, nous investiguons une question fondamentale : les modèles de fondation d'images 2D possèdent-ils intrinsèquement des capacités de modélisation du monde 3D ? Pour y répondre, nous évaluons systématiquement plusieurs modèles de génération d'images et modèles vision-langage (VLM) de pointe sur la tâche de synthèse de mondes 3D. Pour exploiter et évaluer leur potentielle capacité 3D implicite, nous proposons un cadrage agentique pour faciliter la génération de mondes 3D. Notre approche emploie une architecture multi-agents : un directeur basé sur un VLM qui formule des prompts pour guider la synthèse d'images, un générateur qui synthétise de nouvelles vues d'images, et un vérificateur en deux étapes soutenu par un VLM qui évalue et sélectionne de manière curatoriale les images générées, à la fois dans l'espace de l'image 2D et de la reconstruction 3D. De manière cruciale, nous démontrons que notre approche agentique fournit une reconstruction 3D cohérente et robuste, produisant des scènes de sortie qui peuvent être explorées en rendant de nouvelles vues. Par des expériences approfondies sur divers modèles de fondation, nous démontrons que les modèles 2D encapsulent bel et bien une compréhension des mondes 3D. En exploitant cette compréhension, notre méthode synthétise avec succès des mondes expansifs, réalistes et cohérents en 3D.
English
Given the remarkable ability of 2D foundation image models to generate high-fidelity outputs, we investigate a fundamental question: do 2D foundation image models inherently possess 3D world model capabilities? To answer this, we systematically evaluate multiple state-of-the-art image generation models and Vision-Language Models (VLMs) on the task of 3D world synthesis. To harness and benchmark their potential implicit 3D capability, we propose an agentic framing to facilitate 3D world generation. Our approach employs a multi-agent architecture: a VLM-based director that formulates prompts to guide image synthesis, a generator that synthesizes new image views, and a VLM-backed two-step verifier that evaluates and selectively curates generated frames from both 2D image and 3D reconstruction space. Crucially, we demonstrate that our agentic approach provides coherent and robust 3D reconstruction, producing output scenes that can be explored by rendering novel views. Through extensive experiments across various foundation models, we demonstrate that 2D models do indeed encapsulate a grasp of 3D worlds. By exploiting this understanding, our method successfully synthesizes expansive, realistic, and 3D-consistent worlds.