OneWorld: Domesticando la Generación de Escenas con un Autoencoder de Representación Unificada 3D
OneWorld: Taming Scene Generation with 3D Unified Representation Autoencoder
March 17, 2026
Autores: Sensen Gao, Zhaoqing Wang, Qihang Cao, Dongdong Yu, Changhu Wang, Tongliang Liu, Mingming Gong, Jiawang Bian
cs.AI
Resumen
Los métodos existentes de generación de escenas 3D basados en difusión operan principalmente en espacios latentes de imágenes/videos 2D, lo que hace inherentemente difícil mantener la consistencia geométrica y de apariencia entre vistas. Para cerrar esta brecha, presentamos OneWorld, un marco que realiza la difusión directamente dentro de un espacio de representación 3D coherente. El elemento central de nuestro enfoque es el Autoencoder de Representación Unificada 3D (3D-URAE); este aprovecha modelos fundacionales 3D preentrenados y aumenta su naturaleza centrada en la geometría inyectando apariencia y destilando semántica en un espacio latente 3D unificado. Además, introducimos una pérdida de consistencia de Correspondencia Cruzada de Vistas (CVC) a nivel de token para imponer explícitamente una alineación estructural entre vistas, y proponemos el Forzado de Deriva en la Variedad (MDF) para mitigar el sesgo de exposición entrenamiento-inferencia y conformar una variedad 3D robusta mediante la mezcla de representaciones originales y desviadas. Experimentos exhaustivos demuestran que OneWorld genera escenas 3D de alta calidad con una consistencia entre vistas superior en comparación con los métodos state-of-the-art basados en 2D. Nuestro código estará disponible en https://github.com/SensenGao/OneWorld.
English
Existing diffusion-based 3D scene generation methods primarily operate in 2D image/video latent spaces, which makes maintaining cross-view appearance and geometric consistency inherently challenging. To bridge this gap, we present OneWorld, a framework that performs diffusion directly within a coherent 3D representation space. Central to our approach is the 3D Unified Representation Autoencoder (3D-URAE); it leverages pretrained 3D foundation models and augments their geometry-centric nature by injecting appearance and distilling semantics into a unified 3D latent space. Furthermore, we introduce token-level Cross-View-Correspondence (CVC) consistency loss to explicitly enforce structural alignment across views, and propose Manifold-Drift Forcing (MDF) to mitigate train-inference exposure bias and shape a robust 3D manifold by mixing drifted and original representations. Comprehensive experiments demonstrate that OneWorld generates high-quality 3D scenes with superior cross-view consistency compared to state-of-the-art 2D-based methods. Our code will be available at https://github.com/SensenGao/OneWorld.