WorldAgents: Können Foundation-Image-Modelle als Agenten für 3D-Weltmodelle fungieren?
WorldAgents: Can Foundation Image Models be Agents for 3D World Models?
March 20, 2026
Autoren: Ziya Erkoç, Angela Dai, Matthias Nießner
cs.AI
Zusammenfassung
Angesichts der bemerkenswerten Fähigkeit von 2D-Foundation-Modellen für die Bildgenerierung, hochwertige Ausgaben zu erzeugen, untersuchen wir eine grundlegende Frage: Verfügen 2D-Foundation-Modelle inhärent über Fähigkeiten eines 3D-Weltmodells? Um dies zu beantworten, evaluieren wir systematisch mehrere state-of-the-art Bildgenerierungsmodelle und Vision-Language-Models (VLMs) für die Aufgabe der 3D-Weltsynthese. Um ihr potenzielles implizites 3D-Vermögen zu nutzen und zu bewerten, schlagen wir einen agentenbasierten Rahmen zur Erleichterung der 3D-Weltgenerierung vor. Unser Ansatz verwendet eine Multi-Agenten-Architektur: einen VLM-basierten Direktor, der Prompts formuliert, um die Bildsynthese zu steuern, einen Generator, der neue Bildansichten synthetisiert, und einen VLM-gestützten zweistufigen Verifizierer, der generierte Frames sowohl aus dem 2D-Bild- als auch dem 3D-Rekonstruktionsraum bewertet und gezielt kuratiert. Entscheidend ist, dass wir zeigen, dass unser agentenbasierter Ansatz kohärente und robuste 3D-Rekonstruktionen liefert und Ausgabeszenen erzeugt, die durch das Rendern neuer Ansichten erkundet werden können. Durch umfangreiche Experimente mit verschiedenen Foundation-Modellen demonstrieren wir, dass 2D-Modelle tatsächlich ein Verständnis von 3D-Welten verkapseln. Indem wir dieses Verständnis ausnutzen, synthetisiert unsere Methode erfolgreich weitläufige, realistische und 3D-konsistente Welten.
English
Given the remarkable ability of 2D foundation image models to generate high-fidelity outputs, we investigate a fundamental question: do 2D foundation image models inherently possess 3D world model capabilities? To answer this, we systematically evaluate multiple state-of-the-art image generation models and Vision-Language Models (VLMs) on the task of 3D world synthesis. To harness and benchmark their potential implicit 3D capability, we propose an agentic framing to facilitate 3D world generation. Our approach employs a multi-agent architecture: a VLM-based director that formulates prompts to guide image synthesis, a generator that synthesizes new image views, and a VLM-backed two-step verifier that evaluates and selectively curates generated frames from both 2D image and 3D reconstruction space. Crucially, we demonstrate that our agentic approach provides coherent and robust 3D reconstruction, producing output scenes that can be explored by rendering novel views. Through extensive experiments across various foundation models, we demonstrate that 2D models do indeed encapsulate a grasp of 3D worlds. By exploiting this understanding, our method successfully synthesizes expansive, realistic, and 3D-consistent worlds.