WorldAgents: ¿Pueden los Modelos de Imagen Fundacional ser Agentes para Modelos de Mundos 3D?
WorldAgents: Can Foundation Image Models be Agents for 3D World Models?
March 20, 2026
Autores: Ziya Erkoç, Angela Dai, Matthias Nießner
cs.AI
Resumen
Dada la notable capacidad de los modelos fundacionales de imágenes 2D para generar resultados de alta fidelidad, investigamos una pregunta fundamental: ¿poseen inherentemente los modelos fundacionales de imágenes 2D capacidades de modelos del mundo 3D? Para responder esto, evaluamos sistemáticamente múltiples modelos de generación de imágenes y Modelos de Visión y Lenguaje (VLM) de vanguardia en la tarea de síntesis de mundos 3D. Para aprovechar y evaluar su potencial capacidad implícita en 3D, proponemos un enfoque agentivo para facilitar la generación de mundos 3D. Nuestro método emplea una arquitectura multiagente: un director basado en VLM que formula instrucciones para guiar la síntesis de imágenes, un generador que sintetiza nuevas vistas de imagen y un verificador respaldado por VLM en dos pasos que evalúa y selecciona meticulosamente los fotogramas generados, tanto desde el espacio de imagen 2D como desde el de reconstrucción 3D. Crucialmente, demostramos que nuestro enfoque agentivo proporciona una reconstrucción 3D coherente y robusta, produciendo escenas de salida que pueden explorarse mediante la renderización de nuevas vistas. A través de extensos experimentos con varios modelos fundacionales, demostramos que los modelos 2D efectivamente encapsulan una comprensión de los mundos 3D. Al explotar esta comprensión, nuestro método sintetiza con éxito mundos expansivos, realistas y consistentes en 3D.
English
Given the remarkable ability of 2D foundation image models to generate high-fidelity outputs, we investigate a fundamental question: do 2D foundation image models inherently possess 3D world model capabilities? To answer this, we systematically evaluate multiple state-of-the-art image generation models and Vision-Language Models (VLMs) on the task of 3D world synthesis. To harness and benchmark their potential implicit 3D capability, we propose an agentic framing to facilitate 3D world generation. Our approach employs a multi-agent architecture: a VLM-based director that formulates prompts to guide image synthesis, a generator that synthesizes new image views, and a VLM-backed two-step verifier that evaluates and selectively curates generated frames from both 2D image and 3D reconstruction space. Crucially, we demonstrate that our agentic approach provides coherent and robust 3D reconstruction, producing output scenes that can be explored by rendering novel views. Through extensive experiments across various foundation models, we demonstrate that 2D models do indeed encapsulate a grasp of 3D worlds. By exploiting this understanding, our method successfully synthesizes expansive, realistic, and 3D-consistent worlds.