WorldAgents: Kunnen foundation-beeldmodellen als agents fungeren voor 3D-wereldmodellen?
WorldAgents: Can Foundation Image Models be Agents for 3D World Models?
March 20, 2026
Auteurs: Ziya Erkoç, Angela Dai, Matthias Nießner
cs.AI
Samenvatting
Gezien de opmerkelijke capaciteit van 2D-fundamentmodellen voor beeldgeneratie om hoogwaardige resultaten te produceren, onderzoeken we een fundamentele vraag: beschikken 2D-fundamentmodellen voor beeld van nature over mogelijkheden voor 3D-wereldmodellering? Om dit te beantwoorden, evalueren we systematisch meerdere state-of-the-art beeldgeneratiemodellen en Vision-Language Models (VLM's) voor de taak van 3D-wereldsynthese. Om hun potentiële impliciete 3D-capaciteit te benutten en te benchmarken, stellen we een agent-gebaseerde aanpak voor om 3D-wereldgeneratie te vergemakkelijken. Onze methode gebruikt een multi-agentarchitectuur: een VLM-gestuurde regisseur die prompts formuleert om de beeld synthese te sturen, een generator die nieuwe beeldaanzichten synthetiseert, en een VLM-gestuurde tweestapsverifier die gegenereerde frames evalueert en selectief curaat, zowel vanuit de 2D-beeld- als de 3D-reconstructieruimte. Cruciaal is dat we aantonen dat onze agent-gebaseerde aanpak coherente en robuuste 3D-reconstructies oplevert, waarbij outputscènes worden geproduceerd die verkend kunnen worden door het renderen van nieuwe aanzichten. Door middel van uitgebreide experimenten met diverse fundamentmodellen tonen we aan dat 2D-modellen inderdaad een begrip van 3D-werelden bevatten. Door dit begrip te exploiteren, synthetiseert onze methode met succes uitgebreide, realistische en 3D-consistente werelden.
English
Given the remarkable ability of 2D foundation image models to generate high-fidelity outputs, we investigate a fundamental question: do 2D foundation image models inherently possess 3D world model capabilities? To answer this, we systematically evaluate multiple state-of-the-art image generation models and Vision-Language Models (VLMs) on the task of 3D world synthesis. To harness and benchmark their potential implicit 3D capability, we propose an agentic framing to facilitate 3D world generation. Our approach employs a multi-agent architecture: a VLM-based director that formulates prompts to guide image synthesis, a generator that synthesizes new image views, and a VLM-backed two-step verifier that evaluates and selectively curates generated frames from both 2D image and 3D reconstruction space. Crucially, we demonstrate that our agentic approach provides coherent and robust 3D reconstruction, producing output scenes that can be explored by rendering novel views. Through extensive experiments across various foundation models, we demonstrate that 2D models do indeed encapsulate a grasp of 3D worlds. By exploiting this understanding, our method successfully synthesizes expansive, realistic, and 3D-consistent worlds.