WorldFlow3D: Durchfließen von 3D-Verteilungen für unbegrenzte Welterzeugung

WorldFlow3D: Flowing Through 3D Distributions for Unbounded World Generation

March 31, 2026

Autoren: Amogh Joshi, Julian Ost, Felix Heide

cs.AI

Zusammenfassung

Die Erzeugung unbegrenzter 3D-Welten etabliert sich zunehmend als grundlegende Aufgabe für die Szenenmodellierung in Computer Vision, Grafik und Robotik. In dieser Arbeit stellen wir WorldFlow3D vor, eine neuartige Methode zur Generierung unbegrenzter 3D-Welten. Aufbauend auf einer grundlegenden Eigenschaft des Flow Matchings – nämlich der Definition eines Transportpfades zwischen zwei Datenverteilungen – modellieren wir 3D-Generierung allgemeiner als ein Problem des Flusses durch 3D-Datenverteilungen, der nicht auf bedingtes Entrauschen beschränkt ist. Wir stellen fest, dass unser latenzfreier Flow-Ansatz kausale und präzise 3D-Strukturen erzeugt und diese als Zwischenverteilung nutzen kann, um die Generierung komplexerer Strukturen und hochwertiger Texturen zu steuern – und das bei schnellerer Konvergenz als bestehende Methoden. Wir ermöglichen Kontrolle über generierte Szenen durch vektorisierte Szenenlayout-Bedingungen zur Steuerung der geometrischen Struktur und visueller Textursteuerung über Szenenattribute. Wir bestätigen die Wirksamkeit von WorldFlow3D sowohl auf realen Außenfahrtszenen als auch auf synthetischen Innenszenen und validieren damit domänenübergreifende Generalisierbarkeit und hochwertige Generierung auf realen Datenverteilungen. Unsere Methode erzielt eine überlegene Szenengenerierungsqualität gegenüber verglichenen Ansätzen in allen getesteten Settings für die unbegrenzte Szenengenerierung. Weitere Informationen unter https://light.princeton.edu/worldflow3d.

English

Unbounded 3D world generation is emerging as a foundational task for scene modeling in computer vision, graphics, and robotics. In this work, we present WorldFlow3D, a novel method capable of generating unbounded 3D worlds. Building upon a foundational property of flow matching - namely, defining a path of transport between two data distributions - we model 3D generation more generally as a problem of flowing through 3D data distributions, not limited to conditional denoising. We find that our latent-free flow approach generates causal and accurate 3D structure, and can use this as an intermediate distribution to guide the generation of more complex structure and high-quality texture - all while converging more rapidly than existing methods. We enable controllability over generated scenes with vectorized scene layout conditions for geometric structure control and visual texture control through scene attributes. We confirm the effectiveness of WorldFlow3D on both real outdoor driving scenes and synthetic indoor scenes, validating cross-domain generalizability and high-quality generation on real data distributions. We confirm favorable scene generation fidelity over approaches in all tested settings for unbounded scene generation. For more, see https://light.princeton.edu/worldflow3d.