OneWorld: Zähmung der Szenengenerierung mit 3D-Autoencoder für vereinheitlichte Repräsentation
OneWorld: Taming Scene Generation with 3D Unified Representation Autoencoder
March 17, 2026
Autoren: Sensen Gao, Zhaoqing Wang, Qihang Cao, Dongdong Yu, Changhu Wang, Tongliang Liu, Mingming Gong, Jiawang Bian
cs.AI
Zusammenfassung
Bestehende diffusionsbasierte Methoden zur 3D-Szenengenerierung operieren primär in 2D-Bild-/Video-Latenzräumen, was die Wahrung von konsistenten Erscheinungsbildern und Geometrien über verschiedene Blickwinkel hinweg inhärent schwierig gestaltet. Um diese Lücke zu schließen, präsentieren wir OneWorld, ein Framework, das Diffusion direkt in einem kohärenten 3D-Repräsentationsraum durchführt. Kernstück unseres Ansatzes ist der 3D Unified Representation Autoencoder (3D-URAE); dieser nutzt vortrainierte 3D-Foundation-Modelle und erweitert deren geometriezentrierte Natur, indem er Erscheinungsbild einspielt und Semantik in einen vereinheitlichten 3D-Latenzraum destilliert. Darüber hinaus führen wir einen Token-level Cross-View-Correspondence (CVC) Consistency Loss ein, um strukturelle Ausrichtung über Blickwinkel explizit zu erzwingen, und schlagen Manifold-Drift Forcing (MDF) vor, um den Trainings-Inferenz-Exposure-Bias zu mildern und durch das Mischen von verdrifteten und originalen Repräsentationen einen robusten 3D-Manifold zu formen. Umfassende Experimente zeigen, dass OneWorld hochwertige 3D-Szenen mit überlegener Blickwinkelkonsistenz im Vergleich zu state-of-the-art, auf 2D basierenden Methoden generiert. Unser Code wird unter https://github.com/SensenGao/OneWorld verfügbar sein.
English
Existing diffusion-based 3D scene generation methods primarily operate in 2D image/video latent spaces, which makes maintaining cross-view appearance and geometric consistency inherently challenging. To bridge this gap, we present OneWorld, a framework that performs diffusion directly within a coherent 3D representation space. Central to our approach is the 3D Unified Representation Autoencoder (3D-URAE); it leverages pretrained 3D foundation models and augments their geometry-centric nature by injecting appearance and distilling semantics into a unified 3D latent space. Furthermore, we introduce token-level Cross-View-Correspondence (CVC) consistency loss to explicitly enforce structural alignment across views, and propose Manifold-Drift Forcing (MDF) to mitigate train-inference exposure bias and shape a robust 3D manifold by mixing drifted and original representations. Comprehensive experiments demonstrate that OneWorld generates high-quality 3D scenes with superior cross-view consistency compared to state-of-the-art 2D-based methods. Our code will be available at https://github.com/SensenGao/OneWorld.