Latente Strahlungsfelder mit 3D-bewussten 2D-Repräsentationen

Latent Radiance Fields with 3D-aware 2D Representations

February 13, 2025

Autoren: Chaoyi Zhou, Xi Liu, Feng Luo, Siyu Huang

cs.AI

Zusammenfassung

Die latente 3D-Rekonstruktion hat großes Potenzial gezeigt, um das semantische Verständnis von 3D und die 3D-Generierung zu verbessern, indem 2D-Merkmale in den 3D-Raum destilliert werden. Allerdings haben bestehende Ansätze Schwierigkeiten mit der Domänenlücke zwischen dem 2D-Merkmalraum und den 3D-Repräsentationen, was zu einer beeinträchtigten Rendering-Performance führt. Um diese Herausforderung anzugehen, schlagen wir ein neuartiges Framework vor, das 3D-Bewusstsein in den 2D-latenten Raum integriert. Das Framework besteht aus drei Phasen: (1) einer korrespondenzbewussten Autoencoding-Methode, die die 3D-Konsistenz der 2D-latenten Repräsentationen verbessert, (2) einem latenten Strahlungsfeld (LRF), das diese 3D-bewussten 2D-Repräsentationen in den 3D-Raum überführt, und (3) einer VAE-Strahlungsfeld (VAE-RF)-Ausrichtungsstrategie, die die Bilddecodierung aus den gerenderten 2D-Repräsentationen verbessert. Umfangreiche Experimente zeigen, dass unsere Methode die latenten 3D-Rekonstruktionsansätze auf dem neuesten Stand der Technik in Bezug auf Syntheseprofessionalität und die Generalisierbarkeit über verschiedene Innen- und Außenszenen hinweg übertrifft. Unseres Wissens nach ist dies die erste Arbeit, die zeigt, dass die Strahlungsfeld-Repräsentationen, die aus 2D-latenten Repräsentationen konstruiert wurden, eine fotorealistische 3D-Rekonstruktionsleistung erbringen können.

English

Latent 3D reconstruction has shown great promise in empowering 3D semantic understanding and 3D generation by distilling 2D features into the 3D space. However, existing approaches struggle with the domain gap between 2D feature space and 3D representations, resulting in degraded rendering performance. To address this challenge, we propose a novel framework that integrates 3D awareness into the 2D latent space. The framework consists of three stages: (1) a correspondence-aware autoencoding method that enhances the 3D consistency of 2D latent representations, (2) a latent radiance field (LRF) that lifts these 3D-aware 2D representations into 3D space, and (3) a VAE-Radiance Field (VAE-RF) alignment strategy that improves image decoding from the rendered 2D representations. Extensive experiments demonstrate that our method outperforms the state-of-the-art latent 3D reconstruction approaches in terms of synthesis performance and cross-dataset generalizability across diverse indoor and outdoor scenes. To our knowledge, this is the first work showing the radiance field representations constructed from 2D latent representations can yield photorealistic 3D reconstruction performance.