Latente Stralingsvelden met 3D-bewuste 2D-representaties

Latent Radiance Fields with 3D-aware 2D Representations

February 13, 2025

Auteurs: Chaoyi Zhou, Xi Liu, Feng Luo, Siyu Huang

cs.AI

Samenvatting

Latente 3D-reconstructie heeft veelbelovende resultaten laten zien bij het versterken van 3D-semantisch begrip en 3D-generatie door 2D-kenmerken te destilleren in de 3D-ruimte. Echter, bestaande benaderingen worstelen met het domeingat tussen 2D-kenmerkenruimte en 3D-representaties, wat resulteert in verminderde renderprestaties. Om dit probleem aan te pakken, stellen we een nieuw raamwerk voor dat 3D-bewustzijn integreert in de 2D-latente ruimte. Het raamwerk bestaat uit drie fasen: (1) een correspondentie-bewuste auto-encoderingsmethode die de 3D-consistentie van 2D-latente representaties verbetert, (2) een latente stralingsveld (LSV) dat deze 3D-bewuste 2D-representaties naar de 3D-ruimte verheft, en (3) een VAE-Stralingsveld (VAE-SV) uitlijningsstrategie die de beelddecodering verbetert vanuit de gerenderde 2D-representaties. Uitgebreide experimenten tonen aan dat onze methode beter presteert dan de state-of-the-art benaderingen voor latente 3D-reconstructie wat betreft synthese-prestaties en algemene generaliseerbaarheid over diverse binnen- en buitenomgevingen. Voor zover wij weten, is dit het eerste werk dat aantoont dat stralingsveldrepresentaties geconstrueerd uit 2D-latente representaties fotorealistische 3D-reconstructieprestaties kunnen opleveren.

English

Latent 3D reconstruction has shown great promise in empowering 3D semantic understanding and 3D generation by distilling 2D features into the 3D space. However, existing approaches struggle with the domain gap between 2D feature space and 3D representations, resulting in degraded rendering performance. To address this challenge, we propose a novel framework that integrates 3D awareness into the 2D latent space. The framework consists of three stages: (1) a correspondence-aware autoencoding method that enhances the 3D consistency of 2D latent representations, (2) a latent radiance field (LRF) that lifts these 3D-aware 2D representations into 3D space, and (3) a VAE-Radiance Field (VAE-RF) alignment strategy that improves image decoding from the rendered 2D representations. Extensive experiments demonstrate that our method outperforms the state-of-the-art latent 3D reconstruction approaches in terms of synthesis performance and cross-dataset generalizability across diverse indoor and outdoor scenes. To our knowledge, this is the first work showing the radiance field representations constructed from 2D latent representations can yield photorealistic 3D reconstruction performance.