WorldAgents: Могут ли базовые модели изображений быть агентами для 3D-мировых моделей?

WorldAgents: Can Foundation Image Models be Agents for 3D World Models?

March 20, 2026

Авторы: Ziya Erkoç, Angela Dai, Matthias Nießner

cs.AI

Аннотация

Обладая впечатляющей способностью генерировать высококачественные изображения, двумерные фундаментальные модели поднимают фундаментальный вопрос: присущи ли им изначально возможности моделирования трехмерного мира? Для ответа на него мы систематически оцениваем современные модели генерации изображений и Vision-Language Models (VLM) на задаче синтеза 3D-сцен. Чтобы раскрыть и оценить их потенциальные скрытые 3D-способности, мы предлагаем агентский подход для облегчения генерации трехмерных миров. Наша методология использует многоагентную архитектуру: VLM-режиссера, формулирующего промпты для управления синтезом изображений; генератора, создающего новые ракурсы; и двухэтапного VLM-верификатора, который оценивает и выборочно курирует сгенерированные кадры как в 2D-изображениях, так и в 3D-реконструкциях. Ключевым результатом является демонстрация того, что наш агентский подход обеспечивает согласованную и устойчивую 3D-реконструкцию, создавая сцены, пригодные для навигации через рендеринг новых ракурсов. Многочисленные эксперименты с различными фундаментальными моделями подтверждают, что 2D-модели действительно содержат представление о трехмерных мирах. Используя это понимание, наш метод успешно синтезирует масштабные, реалистичные и 3D-согласованные среды.

English

Given the remarkable ability of 2D foundation image models to generate high-fidelity outputs, we investigate a fundamental question: do 2D foundation image models inherently possess 3D world model capabilities? To answer this, we systematically evaluate multiple state-of-the-art image generation models and Vision-Language Models (VLMs) on the task of 3D world synthesis. To harness and benchmark their potential implicit 3D capability, we propose an agentic framing to facilitate 3D world generation. Our approach employs a multi-agent architecture: a VLM-based director that formulates prompts to guide image synthesis, a generator that synthesizes new image views, and a VLM-backed two-step verifier that evaluates and selectively curates generated frames from both 2D image and 3D reconstruction space. Crucially, we demonstrate that our agentic approach provides coherent and robust 3D reconstruction, producing output scenes that can be explored by rendering novel views. Through extensive experiments across various foundation models, we demonstrate that 2D models do indeed encapsulate a grasp of 3D worlds. By exploiting this understanding, our method successfully synthesizes expansive, realistic, and 3D-consistent worlds.